В настоящее время заболевания органов дыхания представляют глобальную медико-социальную и экономическую проблему во всех странах из-за прогрессирующего и инвалидизирующего течения данной патологии, в связи с чем диагностика данных заболеваний на основе современных ИКТ является актуальной проблемой. Каждый день врачи получают множество рентгеновских снимков, результатов электрокардиограмм, эндоскопий и много других изображений и материалов, которые надо проанализировать, чтобы поставить диагноз. Из-за количества материала, который нужно обработать, многие пациенты узнают свой диагноз с задержкой.
Чтобы повысить качество определения легочных заболеваний необходимо реализовать программный модуль для определения легочных заболеваний (ПМ ОЛЗ) на основе средств сверточных нейронных сетей (СНС). Главным критерием их оценки является точность прогнозирования патологии пациента с использованием магнитно-резонансной томографии (МРТ) грудной клетки.
В настоящее время мультиспиральная компьютерная томография (МСКТ) признана золотым стандартом в диагностике заболеваний легких [1]. Однако данное утверждение является не совсем объективным, так как точность МСКТ составляет 86 %, чувствительность — 89 %, специфичность — 73 % [2]. В настоящее время метод магнитно-резонансной томографии (МРТ) в диагностике опухолей легких и других легочных заболеваний по диагностической эффективности не уступает рентгеновской компьютерной томографии. Эти данные свидетельствуют, что МРТ должна применяться так же часто, как МСКТ, для более точного определения различных видов легочных заболеваний.
Магнитно-резонансная томография позволяет более детально оценить:
— структуру опухолевого узла, что дает более достоверную информацию о злокачественной природе образования;
— отношение опухолевой массы к главным бронхам
— и нижней трети трахеи;
— состояние лимфоузлов бронхопульмональной и средостенной групп, их размер, количество, наличие конгломератов;
— состояние костальной и медиастинальной плевры;
Рис. 1. Магнитно-резонансная томография (T2W) пациента
В области распознавания образов на изображениях, наибольших успехов достигли СНC. Ее основная цель — это разработка автоматизированных или полу-автоматизированных инструментов, которые позволяют с минимальным участием человека отнести изображение к одному из классов, например, «есть патология» или «нет патологии».
Рис. 2. Типовая архитектура СНС для задач классификации объектов на изображении
Как можно увидеть из рисунка [3], СНС состоит из следующих типов слоев (слева направо):
— сверточный (convolutional);
— подвыборочный (subsampling), или слой пулинга (pooling);
— полносвязный (full connection);
Сверточный слой производит свертку входной матрицы с ядром свертки. Свертка — это перемножение матрицы изображения (собственно матрица) и ядра/фильтра (еще одна матрица меньшего размера) путем прохождения через длину и ширину. Результат свертки — изображение меньшего размера. Это перемножение матриц является основой извлечения признаков. Опираясь на верные значения в ядре, можно извлечь значимые признаки изображения. Количество ядер свертки определяет количество карт признаков.
Слой пулинга — данный слой принимает результат свертки предыдущего слоя в виде матрицы и сжимает данную матрицу, таким образом он помогает сократить пространственное представление изображения, чтобы уменьшить количество параметров и объем вычислений в сверточной сети. Делается это с целью выделения низкоуровневых признаков и понижения размера данных.
Используя комбинацию слоев свертки и слоев пулинга, мы получаем основной структурный элемент СНС. Свертка и пулинг уменьшают исходные размеры изображения на входе. Применяя свертку с одним ядром, получаем карту признаков. В СНС обычно применяется несколько ядер на одну свертку. Многократное повторение этого процесса приводит к углублению СНС. Каждый слой извлекает признаки из предыдущего. Иерархическая организация слоев способствует последовательному изучению признаков: от контуров к более сложным признакам, созданным из простых, и далее к высокоуровневым признакам, которые уже содержат достаточно информации для составления нейросетью точного прогноза.
Полносвязный слой — слой, чьи нейроны имеют полную связь со всеми нейронами предыдущего и последующего слоя. Он помогает сопоставить представление между данными на входе и выходе.
Поскольку свертка — это линейная операция, а изображения далеки от линейности, непосредственно после сверточного слоя часто размещаются нелинейные слои, чтобы внести нелинейность в карту активации. Существует несколько типов нелинейных операций, самые популярные из которых:
— сигмоида . Берет действительное число и «сжимает» его до диапазона от 0 до 1. Нежелательным свойством сигмоида является обнуление градиента. Если локальный градиент становится очень маленьким, то при обратном распространении он «убивает» градиент;
— t anh. Tanh (гиперболический тангенс числа) сжимает действительное число до диапазона [-1, 1]. Как и с cигмоидой, активация «насыщается», но в отличие от сигмоидных нейронов, ее выход центрирован относительно нуля;
— функция активации выпрямителя (ReLU) стала очень популярной в последние несколько лет. По сравнению с сигмоидом и tanh, ReLU более надежен и ускоряет сходимость в шесть раз. Но есть минус в том, что ReLU может быть хрупким во время тренировки. Большой градиент, протекающий через него, может обновить его таким образом, что нейрон никогда не будет обновляться дальше;
В настоящее время СНС широко применяют в задачах распознавания легочных заболеваний на МРТ-снимках грудной клетки. В данной работе для этих целей мы использовали архитектуру VGG16 [4].
Это СНС, которая содержит 16 слоев. Сеть состоит из двух частей:
— первая часть сети выделяет характерные признаки в изображении. Состоит из чередующихся каскадов свертки и подвыборки;
— вторая часть отвечает за классификацию объекта на изображении по выделенным на предыдущем этапе признакам. Эта часть содержит 3 полносвязных слоя;
На вход сеть VGG16, получает изображение размером 224х224 пиксела, 3 канала цвета (красный, зеленый и синий). На выходе сеть выдает вероятности, что на изображении тот или иной класс объекта. Для обучения данной нейронной сети использовался датасет NIH Chest X-rays [5]. Данный датасет содержит 112120 МРТ снимков грудной клетки 30805 пациентов с 15 классами принадлежности.
Данный ПМ ОЛЗ использует TensorFlow — фреймворк создающий абстрактную структуру данных в виде графа, где каждый узел в графе представляет собой математическую операцию, а каждое ребро — многомерный массив данных, и KERAS — библиотека нейросетей с открытым исходным кодом, работающая поверх Tensorflow. Она управляет тем, как мы создаем модели, определяем слои или настраиваем несколько моделей ввода-вывода.
Результат работы программы записывается в виде файла формата png. В итоге программа при обработке МРТ-снимка грудной клетки пациента выдает результат в виде изображения и процентной вероятностью его класса принадлежности.
Литература:
- Котляров П. М., Свиридов Н. К., Шимановский Н. Л. Диагностическая информативность компьютерной и магнитно-резонансной томографии при патологии легких и средостения // Пульмонология. 1999.
- Ханбабян Б. Б. Томографическое исследование внутригрудных лимфатических узлов при раке легкого // Эксперимент. клинич. медицина. 1991. Т. 31, № 1. С. 7-13.
- Головко, В. А. Нейронные сети: обучение, организация и применение. Кн.4: учеб. пособие для вузов / В. А. Головко; общ. ред. А. И. Галушкина –Москва: ИПРЖР, 2001–256 с.
- Very Deep Convolutional Networks for Large-Scale Image Recognition [Электронный ресурс] / Karen Simonyan, Andrew Zisserman https://arxiv.org/abs/1409.1556v6
- NIH Chest X-rays [Электронный ресурс] / National Institutes of Health https://www.kaggle.com/datasets/nih-chest- xrays/data?select=train_val_list.txt
