В статье дано краткое описание работы систем распознавания изображений на основе свёрточных нейронных сетей, приведен обзор способов обмана систем распознавания образов с помощью нейронных сетей, а также проблемы, к которым могут привести успешные атаки на такие системы.
Ключевые слова: нейронная сеть, свёрточная нейронная сеть, система распознавания образов, распознавание образов.
Введение.
В современном мире активно внедряются инновационные технологии, которые сильно упрощают жизнь людям. Одной из таких технологий являются нейронные сети, а именно, их применение в распознавании образов. Их уже давно используют в камерах контроля дорожного движения (распознавание номеров), в системах наружного видеонаблюдения (распознавание лиц прохожих), в медицине (постановка диагноза по изображению томографии), в беспилотных автомобилях и так далее. Поскольку эти системы становятся частью нашей жизни, закономерно возникает вопрос о безопасности таких систем.
Свёрточная нейронная сеть для распознавания образов.
Для распознавания образов на изображениях используются различные типы нейронных сетей. Одним из самых точных типов нейронных сетей для решения данной задачи является свёрточная нейронная сеть (для ResNet-151 ошибка распознавания одного объекта равна 19,38 %) [1]. Она, получая на вход исходное изображение разбивает (субдискретизирует) его на более мелкие части и пытается найти среди них паттерны уже известных образов. Субдискретизация может происходить несколько раз.
Эта особенность составляет одно из преимуществ свёрточной нейронной сети: устойчивость к сдвигу позиции объекта во входных данных [2]. С другой стороны, она делает нейронную сеть очень чувствительной к различного рода попыткам ее обмана.
Варианты обмана системы распознавания изображений.
Группа разработчиков из Google разработала способ [3] создания рисунка, который при (даже физическом) добавлении его к исходному изображению, который подается на вход нейронной сети, изменяет результат ее работы. Опасность, по словам авторов, заключается в том, что такие атаки на нейронные сети могут быть разработаны однажды, а затем широко распространены. Более того, многие системы автоматического распознавания изображений работают без непрерывного человеческого контроля (беспилотные автомобили, например), и добавление наклейки с особым рисунком, например, на дорожный знак, или рекламный баннер, может привести к неправильной трактовке ситуации системой, которая принимает решение, что в свою очередь неприятно скажется уже на человеке.
В некоторых странах в последние годы активно используются системы распознавания лиц для идентификации личности. Существует возможность применения этой технологии для совершения платежей, а также для наложения штрафов за нарушение каких-либо законов (подобно системам контроля превышения скорости). Но внедрение таких систем тоже не безопасно. Уязвимость систем распознавания изображений (лиц) подтверждает исследование [4]. Потенциальная угроза заключается в том, что злоумышленник сможет, обманув систему распознавания лиц, выдать себя за вас, и совершить какую-либо операцию с вашим банковским счетом, или специально получить штраф, навредив вашей репутации.
Разработать и нанести текстуру, обманывающую системы распознавания изображений, на 3d модель удалось исследователям из MIT [5]. В их работе система распознавания образов в режиме реального времени классифицировала объемную фигуру черепашки как ружье. Использование такого метода может ввести в заблуждение автоматическую систему безопасности в банке или аэропорту (камера может распознать по-особому раскрашенный чемодан как угрозу, что приведет к убыткам.)
Исследователи из Японии задались вопросом «Насколько маленьким может быть «дорисовываемое» изображение, чтобы система распознавания образов показала неправильный результат?» [6]. Оказывается, достаточно изменить всего 1 пиксель в изображении 32х32 (примерно 0,1 %) чтобы изменить результат работы нейронной сети. Это является большой угрозой для системы распознавания изображений в медицине, ведь от правильности постановки диагноза зависит здоровье пациента.
Методы борьбы.
Существует особый тип нейронных сетей — генеративные нейронные сети. Они созданы для того, чтобы из входных данных создавать изображения для тренировки систем распознавания образов. Работая вместе, (генеративная НС и система распознавания образов) система распознавания образов может лучше научиться определять реальный объект от попытки подмены. Такой способ, однако, нельзя назвать абсолютным средством защиты, поскольку его же можно использовать наоборот, т. е. использовать генеративные НС для создания обманывающих изображений.
Заключение.
Если бы технологии внедрялись после того, как были бы сведены к минимуму риски для человека, технологический прогресс остановился бы после изобретения палки-копалки (ведь она могла использоваться для протыкания соплеменника). Технология распознавания изображений автоматизирует человеческую жизнь и снижает трудозатраты в различных областях экономики. Риски, которые связаны с использованием этой технологии, конечно, велики, но стремление человека к более удобной и комфортной жизни все равно возьмет вверх.
Литература:
- Сикорский О. С. Обзор свёрточных нейронных сетей для задачи классификации изображений / О. С. Сикорский // Новые информационные технологии в автоматизированных системах. — 2017
- Ле Мань Ха Свёрточная нейронная сеть для решения задачи классификации / Ле Мань Ха // Труды МФТИ — 2016. — Том 8. — № 3. — С.91–97.
- Tom B. Brown, Dandelion Mané, Aurko Roy, Martín Abadi, Justin Gilmer. Adversarial Patch / Tom B. Brown, Dandelion Mané, Aurko Roy, Martín Abadi, Justin Gilmer // Proc. Conference on Neural Information Processing Systems. (NIPS 2017) — 2017. URL: https://arxiv.org/pdf/1712.09665.pdf (дата обращения 10.10.2019)
- Mahmood Sharif, Sruti Bhagavatula, Michael K. Reiter, Lujo Bauer. Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition // Proc. 2016 ACM SIGSAC Conference on Computer and Communications Security. — 2016. — P.1528–1540.
- Anish Athalye, Logan Engstrom, Andrew Ilyas, Kevin Kwok. Synthesizing Robust Adversarial Examples / Anish Athalye, Logan Engstrom, Andrew Ilyas, Kevin Kwok // Proc. 35th International Conference on Machine Learning. — 2018. URL: https://arxiv.org/pdf/1707.07397v3.pdf (дата обращения 10.10.2019)
- Jiawei Su, Danilo Vasconcellos Vargas and Kouichi Sakurai. One Pixel Attack for Fooling Deep Neural Networks. / Jiawei Su, Danilo Vasconcellos Vargas and Kouichi Sakurai // arXiv:1710.08864v6 [cs.LG] 3 May 2019. URL: https://arxiv.org/pdf/1710.08864v6.pdf (дата обращения 10.10.2019)
