Комплексирование данных на основе мультиспектральных представлений



Обработка больших массивов данных всегда требует учета имеющихся ресурсов и происходит при неполной априорной информации о сигналах и помехах. Это существенно как при обработке одномерных временных сигналов, так и при обработке изображений, в том числе движущихся. Во многих случаях как для аналоговых, так и для цифровых сигналов используют спектральные представления, чаще всего — в тригонометрическом (гармоническом) базисе. Далеко не во всех случаях базис гармонических функций оптимален как в отношении погрешности представления, так и в части расхода вычислительных ресурсов. Для сигнала s(t) запишем представление его в виде обобщенного ряда Фурье в базисах :

	,	(1)
	,	(2)

При полном описании (бесконечном числе членов ряда) выражения (1) и (2) равноправны, один спектр может быть выражении через другой в виде равенства:

,

(3)

где функционал называется ядром Фурье.

При использовании усеченных рядов Фурье основная часть информации сигнале может быть передана небольшим количеством коэффициентов, информационная значимость которых будет велика. Если использовать несколько базисов, каждый из которых отображает свои специфические особенности сигнала, то можно использовать следующее очевидное равенство:

,

(4)

В выражении (4) использовано N различных базисных систем, а индексы в суммах соответствуют членам, превышающим некоторый выбранный порог. Если базисы выбраны так, что отображают разные свойства сигналов, то общее число коэффициентов может быть сравнительно невелико по сравнению с использованием одного базиса.

В качестве примера рассмотрим применение двухбазисной системы (функции Уолша и косинусное преобразование [1]) для распознавания трех случайных последовательностей — с экспоненциальной (1), экспоненциально-косинусной (2) функцией корреляции и случайной двухполярной импульсной последовательностью (3). Для распознавания использовался алгоритм с обучением на основе линейных разделяющих гиперплоскостей. В табл. 1 приведены результаты обучения для разного числа спектральных признаков (1, 3, 5) и для разных распознаваемых классов (индексы в вероятностях правильного распознавания). Вероятность ошибочных решений во всех случаях не превышала 0,05.

Таблица 1

Вероятности правильного распознавания для трех классов сигналов в выбранных базисах и в двухбазисной системе

Число признаков	Косинусное преобразование				Базис Уолша				Двухбазисная система
1	0,62	0,65	0,89	0,72	0,88	0,81	0,60	0,77	0,88	0,87	0,82	0,86
3	0,75	0.73	0.93	0,80	1,00	0,88	0,70	0,86	0,95	0,90	0.90	0,92
5	0,86	0,81	0,94	0,87	1,00	0,91	0,63	0,81	0,95	0,92	0,89	0,92

Анализ результатов моделирования показывает, что усредненные оценки вероятностей правильного распознавания сигналов трех классов выше при использовании двухбазисной системы как одного из видов мультиспектрального представления сигналов. При выборе базисов следует использовать системный подход, т. е. учитывать не только сходимость обобщенных рядов Фурье, но и затраты вычислительных ресурсов [2].

Комплексирование имеет смысл при заметном различии характеристик в каждом из каналов: по пространству, по спектру, по вероятностным распределениям. Особенно это существенно для двумерных сигналов (изображений) и для телевизионных сигналов. Естественным разделением качественных характеристик отдельных компонент видеоизображении является использование разных диапазонов электромагнитных волн. Это, прежде всего, следующие диапазоны (рис. 1):

− Диапазон видимого света (длина волны 380 нм ≤ λ ≤ 780 нм),

− Длинноволновой инфракрасный — LWIR — (5000 нм ≤ λ ≤ 8000 нм),

− Коротковолновой инфракрасный — SWIR — (1400 нм ≤ λ ≤ 3000 нм).

а

б

в

Рис. 1. Пример мультиспектральных изображений: а — видимый диапазон, б — коротковолновый инфракрасный диапазон, в — длинноволновый инфракрасный диапазон

Поскольку спектры этих диапазонов не пересекаются, то данные видеокамер этих диапазонов будут слабокоррелированными.

Указанные диапазоны излучений обладают своими особенностями [3]:

• видимое излучение:

− совпадает с воспринимаемым человеком диапазоном;

− позволяет получить информацию о цвете.

• SWIR:

− близок к видимому диапазону, поэтому сохраняет градиентные особенности изображения;

− воспринимается отраженный инфракрасный свет, от любого источника энергии, поэтому уровень яркости может быть существенно выше, чем в видимом диапазоне.

• LWIR:

− проницаем при сложных метеорологических условиях [4];

− передает информацию о тепловых особенностях сцены.

Как правило, системы формирования мультиспектральных данных представляют собой несколько разнесенных в пространстве камер, позволяющих запечатлеть сцену в нескольких электромагнитных диапазонах. Основной задачей данных систем, является получение изображений, признаковые точки которых будут иметь одинаковые пиксельные координаты. Внешний вид данных систем разнообразен ввиду особенностей регистрации различных электромагнитных диапазонов, однако практически все камеры имеют несколько общих характеристик [5].

Система формирования мультиспектральных изображений состоит из трех камер, расположенных на одной плоскости. Для данной системы были использованы следующие камеры (рис. 2):

− Видимое излучение — Allied Vision Prosilica GT 2050;

− SWIR — Allied Vision Goldeye SWIR G-032;

− LWIR — Xenics Gobi-640-GigE, тип детектора на аморфном кремнии.

Рис. 2. Система формирования мультиспектральных изображений

Используемые камеры имеют оптическую систему, а их датчики разнесены в пространстве, поэтому при работе с ними неизбежно возникает параллакс. Для использования данной системы камер необходимо произвести калибровку системы.

Для исследования влияния комплексирования изображений на результаты распознавания изображений была выбрана система машинного обучения YOLO DarkNet, в которой использовалась модель SSD300, как самая устойчивая для задач распознавания человека.

На основе анализа [6] можно сделать вывод, что существующие системы машинного обучения предпочитают текстурные информационные признаки, без информации об их взаимном отношении. Для подтверждения данной гипотезы была использована техника скремблирования изображений на основе матрицы Грема [7]. Изображение разбивается на большое количество отдельных фреймов, каждый из которых переставляется в хаотическом порядке, таким образом информация о пространственном расположении текстуры теряется. Анализ систем машинного обучения показал, что многие сети отдают слабое предпочтение пространственной информации, сосредотачивая основную обработку на текстурных особенностях.

Проверим следующую гипотезу: перенос текстуры с различных диапазонов мультиспектральных изображений позволит повысить качество работы системы машинного обучения.

Методика исследования состояла в следующем.

− На вход системы машинного обучения подавались изображения каждого диапазона в отдельности;

− На вход системы машинного обучения подавались комплексированные изображения;

− Выборка изображений разделена на две составляющие — в дневное время суток и в ночное время суток;

− Производится сравнение результатов детектирования системы машинного обучения.

В табл. 2 приведены оценки вероятностей правильного обнаружения, полученные как для отдельных камер, так и для комплексированных изображений (рис. 3) полученных путем обработки в системе калиброванных мультиспектральных камер.

Таблица 2

Результаты исследования влияния комплексированных данных на систему машинного обучения

День				Ночь
Vid	SWIR	LWIR	Fusion	Vid	SWIR	LWIR	Fusion
0.98	0.78	0.85	0.99	0.47	0.94	0.86	0.99

Рис. 3. Пример комплексированных изображений

Анализируя результаты исследования, можно сделать следующие выводы:

− комплексированные изображения стабильны как в дневное, так и в ночное время;

− комплексирование изображений обеспечивает более надежное распознавание в системах компьютерного зрения;

− комплексированные изображения позволяют добиться существенного повышения качества работы системы в ночное время.

Таким образом, комплексирование данных за счет мультиспектральных представлений сигналов позволяет повысить достоверность решений как при цифровой, так и при аналоговой обработке временных сигналов и изображений.

Литература:

1. Ахмед Н., Рао К. Р. Ортогональные преобразования при обработке цифровых сигналов. — М. Связь, 1980.
2. Воронин В. В., Рыжов В. П. Системный подход в обработке сигналов и изображений. Успехи современной радиоэлектроники. Радиотехника. М.: 2013, № 6. С. 12–16.
3. Hunt R. W. G. The reproduction of colour. — John Wiley & Sons, 2005.
4. Assessing the applicability of terrestrial laser scanning for mapping englacial conduits / J. E. Kamintzis [и др.] // Journal of Glaciology. — 2018. — Т. 64, № 243. — P. 37–48.
5. Заказнов Н., Кирюшин С., Кузичев В. Теория оптических систем. — Машиностроение. — М., 1992.
6. Brendel W., Bethge M. Approximating cnns with bag-of-local-features models works surprisingly well on imagenet //arXiv preprint arXiv:1904.00760. — 2019.
7. Gatys L., Ecker A. S., Bethge M. Texture synthesis using convolutional neural networks //Advances in neural information processing systems. — 2015. — С. 262–270.