Восстановление смазанных изображений в условиях ограниченных ресурсов на мобильных платформах



В работе решается задача восстановления смазанных изображений с использованием алгоритмов восстановления изображений в условиях ограниченных ресурсов на мобильных платформах.

Ключевые слова: восстановление, цифровые изображения, Слепая деконволюция, размытие, смазывание.

In this paper, the image deblurring problem is solved using image recovery algorithms in conditions of limited resources on mobile platforms.

Key words: restoration, digital images, Blind deconvolution, blur

Исправление искаженных фотографий является очень интересной и важной проблемой в ряде задача обработки изображений. Мы будем рассматривать размытие изображений в результате роз фокусировки и смазывания. Данные методы начали разрабатываться приблизительно 70 лет назад, но, все они нашли свое применение только в последнее время. Кроме этого, количество людей, использующих смартфоны, стремительно растет [2], поэтому область цифровой обработки изображений на смартфонах является достаточно перспективной.

К сожалению, по состоянию на сегодня отсутствуют стабильно работающие приложения для смартфонов, которые позволяют восстанавливать размытые изображения, что обусловлено применением сложных методов обработки изображений, которые требуют большой аппаратной мощности в условиях ограниченных ресурсов. Большинство методов, которые дают мало-мальски значимые результаты, требуют большой объем оперативной памяти (более 4 гигабайт оперативной памяти для восстановления изображений размером 1000×1000 пикселей), что зачастую не может обеспечить смартфон.

В данной работе рассматривается задача восстановления изображений на смартфонах. Причем, мы будем рассматривать как более простые алгоритмы восстановления изображений (базовые), среди которых «фильтр Винера», «фильтр Тихонова» так и более сложные (продвинутые) — метод «слепой обратной свертки».

Изображением называется двумерная функция f(x, y), где x и y — координаты в пространстве (конкретно, на плоскости), і значение f которое в любой точке, заданной парой координат (x, y), называется интенсивностью или уровнем серого в этой точке. Если величины x, y и f принимают конечное число дискретных значений, то говорят про цифровые изображения [1]. Цифровой обработкой изображения называется обработка цифровых изображений при помощи электронных вычислительных машин (компьютеров). Отметим, что цифровое изображение состоит из конечного числа элементов каждый из которых расположен в конкретном месте и принимает определенное значение. Эти элементы называются элементами изображения или пикселями [1].

Фильтр Винера учитывает свойства искажающей функции и статические свойства шума, как случайного процесса. Задача заключается в определении оценки для исходного изображения , таким образом, чтобы среднеквадратическое отклонение этих величин было минимальным [1]. Фильтрацию Винера можно задать следующим частотным выражением:

Недостатком данного метода является то, что он даёт хорошие результаты восстановления изображений в тех случаях, когда заранее известна искажающая функция, что на практике невозможно [1].

Проблема, что заключается, в необходимости иметь некоторую информация относительно искажающей функции, является общей для большинства методов восстановления смазанных изображений. Использование фильтра Винера связано с дополнительной сложностью, которая заключается в том, что энергетические спектры неискаженного изображения и шума тоже должны быть известны.

Для фильтрации по Тихонову нужно знать только среднее значение и дисперсию шума. Это является важным преимуществом данного метода, поскольку, обычно можно оценить указанные величины на основе искаженного изображения. Другое важное отличие состоит в тому, что Винеровская фильтрация базируется на минимизации в значении некоторого статистического критерия, то есть, является оптимальной в некотором среднестатистическом смысле. Метод фильтрации по Тихонову, в свою очередь позволяет получить оптимальный результат для каждого конкретного изображения, к которому он применяется.

Главная идея метода состоит в том, чтобы сформулировать задачу в матричном виде с дальнейшим решением соответствующей задачи оптимизации. Решение задачи оптимизации в частотно области обозначается следующей формулой [1]:

,

где — параметр регуляризации;

— превращение Фурье оператора Лапласа [1].

Как и метод Винера, данный метод базируется на том, что искажающая функция заранее известна. И чтобы узнать эту функцию, нужно использовать другой подход.

Исследования показали, что несмотря на то, что реальные изображения имеют большой диапазон значений отдельных пикселей, градиенты этих значений имеют вид распределения з медленно падающими границами [3].

Это совпадает с интуитивным представлением, что на реальных изображениях в большинстве случаев присутствуют большие области с более-менее постоянной яркостью, которые завершаются объектами с резкими и средними перепадами яркости [3].

Но реализация методов, базирующихся на данном подходе, на смартфонах, не представляется возможной из-за аппаратных ограничений.

В таком случае мы можем использовать клиент серверную архитектуру для создания системы восстановления изображений с помощью смартфонов. Смартфон, выступая в роли клиента, отправляет на сервер запросы с изображениями, которые нужно восстановить, при этом нам не известна искажающая кривая. Программное средство при этом позволяет выбрать регион для построения искажающей кривой, дабы уменьшить время работы алгоритма. На сервере происходит построение искажающей кривой при помощи метода «слепой обратной свертки» и восстанавливаем изображение при помощи фильтрации Тихонова (мы можем это сделать, так как искажающая кривая была ранее построена). Дальше восстановленное изображение отправляется назад клиенту.

На изображении ниже показано экран предварительной обработки изображения. На нем располагается информация о изображении, кнопка выбора региона для анализа и кнопка запуска обработки изображения, после нажатия на которую, появляется диалоговое окно, информирующее пользователя о том, что изображение обрабатывается.

Рис. 1. Внешний вид экрана предварительной обработки изображения

Далее показан пример выбора региона для анализа. С рисунка видно, что выбран только тот регион, который влияет на процесс обработки. По завершению выбора региона в правом верхнем углу нужно подтвердить свой выбор.

Рис. 2. Выбор региона для анализа изображения

После обработки изображения программное средство переходит на экран просмотра результатов обработки изображения. Тут можно выполнить обрезку изображения, посмотреть информацию о искажающей кривой и сохранить изображение.

Рис. 3. Экран просмотра результатов обработки

В результате работы над данным программным средством было проанализировано алгоритмы восстановления размытых и смазанных изображений, подобрано оптимальные алгоритмы для разработки программного средства. А также выбрано архитектуру программного средства на основе знания о том, что данные алгоритмы очень ресурсоемкие. Выбор пал на клиент-серверную архитектуру. Результаты работы программного средства приведено ниже.

Литература:

1. Гонсалес Р., Вудс Р. Цифровая обработка изображений — М.: Техносфера, 2005. — 1072 с.
2. Number of smartphone users worldwide from 2014 to 2020 (in billions) // Statista. URL: https://www.statista.com/statistics/330695/number-of-smartphone-users-worldwide/ (дата обращения: 9.05.2018).
3. Blind Deconvolution — автоматическое восстановление смазанных изображений // Habrahabr.ru. URL: https://habr.com/post/175717/ (дата обращения: 12.05.2018).
4. А. с. №79362 Украина. Комп’ютерна програма «Програмний засіб відновлення розмитих зображень». О.О.Денисенко. Бюл. № 49.