Поиск границ радужной оболочки при помощи свёрточных нейронных сетей



Технология идентификации личности по радужной оболочке глаза находит своё применение в самых разнообразных областях быта. Однако, её применение в устройствах с ограниченными вычислительными ресурсами, таких как современные смартфоны, может быть ограничено ввиду сравнительно высокой алгоритмической сложности компонентов подобных биометрических систем. К таким компонентам относится алгоритм сегментации области радужной оболочки на изображении глаза, состоящий как правило из следующих этапов: поиск её границ и выделение областей перекрытия ресницами и веками. В данной работе предлагается алгоритм выделения области радужки через аппроксимацию её границ двумя окружностями. Алгоритм основан на применении свёрточной нейронной сети с малым количеством параметров, которая позволяет решать задачу аппроксимации с ошибкой не более 5 % относительно диаметра радужки. Применение предлагаемого подхода позволяет превзойти описанные в современной литературе классические методы решения задачи сегментации.

Ключевые слова: распознавание по радужной оболочке, биометрия, распознавание образов, сегментация, глубокое обучение, компьютерное зрение

1. Введение

Технологии биометрического распознавания личности активно внедряются в повседневную жизнь людей. Среди способов биометрической идентификации стоит выделить методы, основанные на использовании рисунка радужной оболочки глаза, который практически не изменяется с течением жизни человека и обладает богатой индивидуальной для каждой личности текстурой. Применение этого биометрического признака позволяет достигать высочайшей точности идентификации.

Классическая система распознавания по радужке состоит из трёх основных этапов: локализация области радужной оболочки, извлечение и сравнение признаков. Этап локализации состоит, как правило, из нескольких шагов: нахождение области глаза, поиск внешней и внутренней границ радужной оболочки и выделение перекрытий области внутри найденных границ ресницами и веками. Одним из способов решения задачи поиска границ является их аппроксимация кривыми, такими как окружности или эллипсы, с целью последующего уточнения области радужной оболочки иными методами.

В данной работе предлагается метод аппроксимации границ радужки окружностями с допустимой ошибкой аппроксимации не более 5 % от диаметра её региона. В основе метода лежит применение свёрточной нейронной сети с небольшим количеством параметров, обучаемой при помощи функции потерь, применяемой для задач классификации.

2. Обзор литературы

Часто при решении задачи локализации радужки предлагается моделировать границы её области на изображении кривыми из заданного параметрического семейства, чаще всего окружностями. Решением в данном случае будет оптимальный по некоторому критерию набор параметров.

В работе [1] предлагается модель концентрических окружностей для аппроксимации границ радужной оболочки. Для определения оптимального набора их параметров используется интегро-дифференциальный оператор. Независимо от работ Даугмана в 1992 г. Р. Вильдс предложил альтернативный метод [2] сегментации радужки и хранения информации о её текстуре.

Поиск пары окружностей в трёхмерном пространстве параметров является вычислительно затратным, поэтому впоследствии предлагались различные модификации первоначальной идеи, оптимизированные непосредственно для решения задачи сегментации [3].

Зачастую при решении задачи локализации области радужки в первую очередь определяется положение зрачка, а только затем внешней границы радужной оболочки [4]. Это связано с тем, что эта часть человеческого глаза на изображении представлена характерной тёмной областью округлой формы. Детектирование зрачка позволяет сузить спектр допустимых параметров для контура другой границы радужки [5].

Помимо подходов, основанных на аппроксимации границ радужной оболочки окружностями, существуют методы, моделирующие контуры области радужки более сложными кривыми [6–9].

Решение задачи локализации области радужки на изображении глаза усложняется в случае ослабления ограничений на допустимые условия регистрации. Большие изменения освещённости или размера глаза в поле зрения камеры могут вызвать значительные изменения в видимой структуре глаза в целом, что способно вызывать ошибки в работе классических алгоритмов локализации.

Распознавание изображений методами машинного обучения получила сильное развитие в последние годы вследствие увеличения объёма доступных данных и роста производительности вычислительных систем. Впечатляющие достижения методов глубокого обучения в области обработки изображений побуждают применять их и при решении задачи сегментации радужной оболочки.

В некоторых работах, основанных на применении глубокого обучения, предлагается решать задачи локализации, выделения и сравнения признаков при помощи единственной нейронной сети [10]. Подобные методы позволяют добиться высокой точности распознавания, однако их высокая вычислительная сложность затрудняет их применение в небольших вычислительных системах, таких как мобильные устройства. В [11] предлагается иной подход к решении задачи сегментации при помощи глубокого обучения, основанный на предсказании центра зрачка при помощи небольшой свёрточной нейронной сети, которая, несмотря на это всё ещё является достаточно большой для современных мобильных устройств.

3. Аппроксимация границ
   1. Постановка задачи

Как было упомянуто выше, этап поиска границ радужной оболочки применяется на том этапе работы системы распознавания, когда известно расположение периокулярной области на изображении. Входными данными для предлагаемого метода является изображение, на котором заведомо содержится глаз. Без ограничения общности будем предполагать, что входное изображение I является квадратным растром размером , внешняя и внутренняя границы радужной оболочки на котором задаются двумя окружностями: и, Рис. 1. Индексы i и p соответствуют границам «склера-радужка» и «радужка-зрачок» соответственно. Значения координат центров и диаметров окружностей при этом удовлетворяют неравенствам

(1)

Результатом работы предлагаемого метода являются параметры аппроксимирующих границы радужной оболочки окружностей:

− — внешняя граница, «радужка-склера»,

− — внутренняя граница, «радужка-зрачок».

Рис. 1. Примеры истинных границ радужной оболочки

Предлагается считать, что параметры окружностей были определены корректно, если абсолютная ошибка детектирования не превышает α=5 % истинного диаметра радужки на изображении:

(2)

(3)

Помимо введённой метрики качества предсказания, предлагается также использовать следующие:

− Среднеквадратичная ошибка оценки диаметра:

(4)

− Распределение относительных расстояний между предсказанным и истинным центром окружности:

,(5)

где .

− Распределение относительных ошибок детектирования параметров окружности:

(6)

где .

3.2 Переход кзадаче классификации

В соответствии с постановкой задачи, параметры границ радужки могут быть рассчитаны с относительной ошибкой до 5 %. Поэтому отсутствует необходимость обрабатывать входные изображения в полном разрешении, и решение задачи может быть получено без потерь точности при помощи масштабированного к меньшему разрешению изображения при условии корректности условий (1). Размер такого изображения может быть выбран как минимальный, позволяющий притом допустить относительную ошибку не более 5 %. В дальнейших рассуждениях нижние индексы i и p.

В предположении, что диаметр радужки принимает своё наименьшее возможное значение и с учётом неравенств (1), то после масштабирования изображения глаза к размеру диаметр будет равен . Тогда максимальная допустимая ошибка аппроксимации будет составлять

. (7)

Таким образом, чтобы максимально возможная ошибка составляла не более одного пикселя, требуется выполнение неравенства . Поэтому в данной работе значение W выбрано равным 80 пикселям, как наименьшее допустимое значение.

Поскольку W было выбрано таким образом, чтобы неравенство всегда выполняется, тогда параметры могут оцениваться как целочисленные. Это означает, что каждый параметр может принимать конечное количество значений:

Значит, все возможные изображения глаз могут быть отнесены к одному из W=80 классам: , где - класс изображений, для которых верно . Аналогично, можно отнести изображения к одному из классов значений и классов значений .

Таким образом, задача определения параметров x, y и d может быть сведена к решению трёх задач классификации: 1) на классы , 2) на классы 3) на классы .

Если для входного изображения верно то, что тогда будут корректными параметрами аппроксимации радужки в смысле условий (1).

3.3 Решение задачи классификации

Для решения задачи классификации в данной работе предлагается использовать свёрточную нейронную сеть с небольшим количеством параметров в соответствии с идеями, предложенными в работе [12]. Особое строение свёрточных слоёв, описанное в этой работе, упрощает применение подобных нейронных сетей в мобильных устройствах.

Основным компонентом, из которых состоит предлагаемая свёрточная сеть является блок операций, описанный в Таблице 1. В дальнейшем предлагается называть такую последовательность операций MobileConvBlock или MCB. M и s — параметры MCB, которые определяют соответственно количество каналов тензора после применения блока и шаг применения фильтра в первой операции свёртки «depth-wise».

Таблица 1

Строение блока MobileConvBlock(M,s)

Слой	Размер ядра	Шаг	Размер входного тензора
Depth-wise свёртка	3x3	2
Batch Normalization	-	-
Активация ReLU	-	-
Свёртка	1x1	1
Batch Normalization	-	-
Активация ReLU	-	-

Строение предлагаемой в данной работе свёрточной нейронной сети дано в Таблице 2. Гиперпараметры её архитектуры были выбраны в серии экспериментов как те, которые позволили достичь наилучшей точности решения задачи детектирования на валидационной выборке.

Таблица 2

Строение нейронной сети для аппроксимации границ радужки

Слой	Размер входного тензора
Свёртка с ядрами размера
MCB(16, 2)
MCB(32,1)
MCB(64,2)
MCB(128,1)
MCB(128,2)
Global Average Pooling
Полносвязный слой предсказания x	128
Полносвязный слой предсказания y	128
Полносвязный слой предсказания d	128
Softmax предсказания x	80
Softmax предсказания y	80
Softmax предсказания d	80

Описанное в Таблице 2 строение нейронной сети применяется как для детектирования внешней границы радужной оболочки, так и для внутренней. Будем в дальнейшем называть первую модель IrisModel, а вторую — PupilModel.

3.4 Применение метода кдетектированию

В данной работе предлагается определять параметры границ радужной оболочки в два этапа.

Этап 1. Определяются параметры внешней границы радужной оболочки, что позволяет сократить регион поиска окружности зрачка на втором этапе. Входными данными для нейронной сети первого этапа является изображение глаза. Результатом — параметры окружности «радужка-склера» , полученные как решения трёх задач классификации в соответствии с п.3.2.

Этап 2. С их учётом осуществляется поиск параметров внутренней окружности . Исходя из особенностей строения человеческого глаза, можно ввести ограничения, связывающие между собой упомянутые выше параметры:

.(8)

Исходя из (8), имеет смысл осуществлять поиск зрачка внутри региона изображения глаза, описанного как квадратная область, содержащаяся между точками и :

.(9)

Извлечённый с учётом регион изображения масштабируется к размеру с учётом (7) и подаётся в свёрточную нейронную сеть, которая осуществляет поиск как решение трёх задач классификации, п.3.2.

4. Результаты

Для обучения и тестирования моделей глубокого обучения, осуществляющих поиск параметров границ радужки, применялись данные открытых баз изображений.

Использованные базы можно разделить на две группы. Первую составляют базы, содержащие изображения высокого разрешения CASIA 2 [13], ES, ICE [14] и MMU [15], а также UBIRIS v.1 [16], содержащая примеры изображений низкого качества.

Вторую группу составляли изображения низкого разрешения, характерные для растров, получаемых с небольших камер, встраиваемых в мобильные устройства: CASIA Mobile [17] и собранная вручную база изображений Raspberri DB.

База изображений CASIA Mobile составлена из трёх частей: M1, M2 и M3. В данной работе, однако, были использованы только последние две части, поскольку первая содержит изображения недопустимо низкого в соответствии с (7) разрешения.

База изображений Raspberri DB была получена вручную при помощи одноимённого портативного компьютера, оборудованного совместимой инфракрасной камерой с активной инфракрасной подсветкой.

Более подробная информация об упомянутых базах изображений приведена в Таблице 3.

Таблица 3

Использованные базы изображений радужки

Название	Код	Кол-во изображений, тыс.	Размер
CASIA2-Iris-Lamp	CAS	5	640x480
ICE Database	ICE	3	640x480
CASIA-IrisM1-S2	CM2	5	1968x1024
CASIA-IrisM1-S3	CM3	1	1920x1920
ES	ES	25	640x480
MMU GASPFA	MMU	2	320x486
Raspberri DB	RAS	1	640x480

Целью поставленного вычислительного эксперимента была проверка качества работы предлагаемого метода на изображениях разного качества, полученных из разных доменов. Параметры истинных аппроксимирующих границы радужки окружностей идля используемых баз были получены с использованием разметки, полученной при помощи человека-эксперта.

4.1 Подготовка данных

Все эксперименты с обучением нейронных сетей проводились при помощи обучающей выборке, составленной из изображений баз CASIA2, CASIA Mobile S2 и ES. В качестве валидационной выборки были использованы базы изображений MMU, CASIA Mobile S3, а также половина изображений из базы ICE. В качестве отложенной тестовой выборки была использована другая половина изображений базы ICE и база изображений низкого качества UBIRIS v.1.

А. CAS	Б. ICE	В. CM2
Г. MMU	Д. ES	Е. CM3
	Ж. RAS

Рис. 2. Примеры изображений.

Во время обучения для повышения обобщаемости модели были использованы аугментации случайной цветовой коррекции, наложения случайного гауссового шума, случайного аффинного поворота, случайного отображения по горизонтали и извлечения случайного региона внутри изображения. Масштабирование изображений к целевому разрешению (7) производилось после применения описанных аугментаций.

Обучение моделей осуществлялось методом стохастического градиентного спуска с адаптивным моментом. Первоначальное значение темпа обучения составляло 0.001 и уменьшалось экспоненциально в 0.9 раз каждые 10 эпох.

4.2 Процедура обучения иподбор гиперпараметров

Архитектура предлагаемых нейронных сетей такова, что их выходной слой может содержать произвольное количество нейронов, а значит осуществлять предсказание произвольного количества классов для координат центра и диаметра. В случае, если количество предсказываемых классов будет превосходить размеры изображения, можно утверждать, что модель будет обучена находить параметры границ радужки с субпиксельной точностью. Однако, в данной работе подобный эксперимент не был произведён. Напротив, для поиска оптимального размеры выходных слоёв нейронной сети, был произведён вычислительный эксперимент. Осуществлялось сравнение моделей, предсказывающей количество классов, соразмерное разрешению входного изображения 'original' и уменьшенное вдвое 'reduced'. Постановка этого эксперимента имела смысл ввиду большого количества возможных искажений видимого качества изображений и неизбежных ошибок экспертной разметки. Каждая модель была обучена на протяжении 50 эпох, после чего производилось сравнение по метрике (5) со значением . Результаты сравнения приведены в Таблице 4. Интересно заметить, что наилучшую точность на валидационной выборке достигли модели типа ‘reduced’, поэтому в дальнейших экспериментах были использованы именно они.

Таблица 5

Сравнение точности моделей для разного размера выходных слоёв

Тип модели	Качество IrisModel,%	Качество PupilModel,%
Original	90.01	98.86
Reduced	98.9	99.24

После выбора размеров выходных слоёв обе модели обучались на протяжении 100 эпох на независимых выборках. Полученные значения метрик качества приведены в Таблицах 6 и 7. Пример детектирования параметров границ радужки с применением этих моделей дан на Рисунке 3.

Таблица 6

Качество IrisModel на валидационной итестовой выборках

Выборка
Валидация	73.36	98.76	99.72	2.54
Тест	69.7	96.32	99.19	3.01

Таблица 7

Качество PupilModel на валидационной итестовой выборках

Выборка
Валидация	85.76	98.41	99.89	4.48
Тест	83.37	98.12	99.51	4.13

4.3 Применение моделей вкомбинации

Детектирование границ радужной оболочки на изображении глаза осущесвляется в два этапа, как описано в п.3.4. Качество работы комбинации двух моделей оценивается при помощи метрики (6). В данном эксперименте применялись следующие базы изображений: CASIA Mobile S3, Raspberri DB, UBIRIS v.1, MMU и ICE, как составляющие валидационную и тестовую выборки. Результаты применения комбинации приведены в Таблице 8.

Таблица 8

Результаты применения комбинации моделей

База изображений
Raspberri DB	99.81	98.34
CASIA Mobile S3	99.99	99.99
UBIRIS v.1	96.52	99.42
ICE	99.97	99.83
MMU	98.55	98.34

Для оценки точности метода на мобильной базе изображений CASIA Mobile S3 требовалось бы применение постороннего алгоритма выделения региона глаза на входном изображении, поскольку это изображение содержит обширный регион лица участника. В данной работе мы предложили иной способ оценки точности, использующий искусственное создание выборки изображений лица с применением экспертной разметки. Для каждого изображения лица из данной базы извлекается 5 случайных прямоугольных регионов глаза следующим образом:

− Размер региона глаза выбирается случайно из равномерного распределения ,

− Координаты центра региона выбираются случайно из равномерного распредления .

Таким образом удаётся оценить точность детектирования радужки в условиях ошибочной работы детектора региона глаза.

4.4 Сравнение ссуществующими методами

Предлагаемый метод детектирования границ радужной оболочки на изображении глаза также сравнивался с иными методами, описанными в современной литературе: Вильдса [2], Дугмана [19], Мазека [18], Ма [19] и Ганькина [10]. Сравнение производилось с применением базы изображений MMU при помощи следующих метрик:

− относительная ошибка детектирования центров

(10)

− относительная ошибка детектирования радиусов

.(11)

Помимо точности детектирования в сравнение было включено медианное время выполнения на одном ядре процессора Snapdragon 845. Результаты сравнения приведены в Таблице 9.

Таблица 9

Результаты сравнения ссуществующими методами

	Метод детектирования
	Уильдс	Дугман	Мазек	Ма	Ганькин	Предлагаемый
	3.15	2.61	4.98	3.92	0.97	2.8
	6.12	4.39	5.15	5.39	1.13	3.7
	379	29	97	363	106	10

5. Вывод

Предложен метод детектирования параметров аппроксимирующих границы радужки окружностей для мобильных биометрических систем. Метод состоит из двух свёрточных нейронных сетей небольшого размера. Предлагаемый подход достигает сравнимых показателей точности детектирования по сравнению с описанными в современной литературе, однако обладает существенно меньшим временем выполнения на современных мобильных процессорах. Метод может быть использован для получения грубой оценки границ, которая может быть использована в дальнейшем для её улучшения иными методами.

Литература:

1. Daugman. J. How iris recognition works // IEEE Transactions on Circuits and Systems for Video Technology. — 2004. — № 14(1). — С. 21–30.
2. Wildes R. P. Iris Recognition: An Emerging Biometric Technology // Proceedings of the IEEE. — 1997. — № 85(9). — С. 1348–1363.
3. Matveev I. A. Iris center location using Hough transform with two-dimensional parameter space. // Journal of Computer and Systems Sciences International. — 2012. — № 51(6). — С. 785–791.
4. Matveev I. A., Gankin K. A. Iris segmentation system based on approximate feature detection with subsequent refinements // 2014 22nd International Conference on Pattern Recognition. — 2014. — № 1. — С. 1704–1709.
5. Szczepański A., Misztal K., Saeed K. Computer Information Systems and Industrial Management. — Berlin, Heidelberg: Springer Berlin Heidelberg, 2014. — 141–150 с.
6. Santini T., Fuhl W., Kasneci E. PuRe: Robust pupil detection for real-time pervasive eye tracking // Computer Vision and Image Understanding. — 2018. — № 1. — С. 141–150.
7. Matveev I. A., Simonenko I. V. Detecting precise iris boundaries by circular shortest path method // Pattern recognition and image analysis. — 2014. — № 24(2). — С. 304–309.
8. Alkazzaz A. J., Wang K., Aladool G. M. Precise Pupil Boundary Detection Using Angular Integral Projection and Active Contour Model // ICEMIS '18 Proceedings of the Fourth International Conference on Engineering & MIS. — 2018. — № 62. — С. 139–146.
9. Daugman J. New Methods in Iris Recognition // IEEE Transactions on Systems, Man, and Cybernetics. — 2007. — № 37(5). — С. 1167–1175..
10. Gangwar A., Joshi A., Joshi P., Raghavendra R. DeepIrisNet2: Learning Deep-IrisCodes from Scratchfor Segmentation-Robust Visible Wavelength and Near Infrared Iris Recognition // arXiv preprint — 2019. — № arXiv:1902.05390.2019.
11. Fuhl W., Santini T., Kasneci G., Kasneci E. Pupilnet: Convolutional neural networks for robustpupil detection // arXiv preprint. — 2016. — № arXiv:1601.04902.2016.
12. Howard A., Zhu M., Chen B. Mobilenets: Efficient convolutional neural networks for mobile visionapplications // arXiv preprint. — 2017. — № arXiv:1704.04861.2017.
13. Chinese Academy of Sciences Institute of Automation. CASIA-IrisV2: CASIA-Iris-Lamp image database. URL: http://www.cbsr.ia.ac.cn/IrisDatabase.htm.
14. ICE database URL: http://www.nist.gov/itl/iad/ig/ice.cfm; 2005.
15. Ho C. C., Ng H., Tan W.-H. MMU GASPFA: a COTS multimodal biometric database // PatternRecognition Letters. — 2013. — № 34(15). — С. 2043–2050.
16. Chinese Academy of Sciences Institute of Automation. CASIA-Mobile image database. URL: http://www.cbsr.ia.ac.cn/IrisDatabase.htm.
17. Proenca H., Alexandre H.. UBIRIS: A noisy iris image database // 13th Int. Conf.Image Analysis and Processing. — 2009. — № 1. — С. 970–977.
18. Masek Libor, Kovesi Peter. MATLAB Source Code for a Biometric Identification System Based on Iris Patterns. — 2003.
19. Ma L., Tan T., Wang Y., Zhang D. Local intensity variation analysis for iris recognition // Pattern recognition. — 2004. — № 37(6). — С. 1287–1298.

---

[1] Работа выполнена при финансовой поддержке РФФИ, проект №19-07-01231.