Использование предварительного масштабирования для повышения качества видеопотока

Введение

Исследование перспектив развития телекоммуникаций аналитиками компании CISCO [1] показали, то, что к 2013 году суммарный поток видеоданных составит примерно 90% пользовательского телекоммуникационного трафика, включая видеоконференции, мобильную телефонию и видеонаблюдение. Учитывая выше сказанное, все более актуальной становится проблема эффективного сжатия видеоинформации для передачи по телекоммуникационным сетям с сохранением высокого изображения на стороне пользователя. Максимально возможное повышение степени сжатия передаваемых видеоданных без существенного ухудшения качества может обеспечить существенное увеличение доходов магистральных операторов и Интернет-провайдеров за счет увеличения объема передаваемой информации, приходящейся на единицу сетевого трафика. Для систем видеонаблюдения повышение степени сжатия видеоданных с сохранением уровня различимости объектов на отдельных изображениях позволит сократить интенсивность потока передаваемой информации и увеличить информационную емкость устройств хранения.

Постановка задачи

Существующие в настоящее время методы сжатия видеопотока можно условно разделить на две большие группы: основанные на анализе соседних кадров с целью компенсации движения, (стандарты Н.264 или MPEG-4 [2]); выполняющие сжатие каждого кадра в отдельности (стандарты MPEG-2 или JPEG [3]). Методы сжатия второй группы являются симметричными, время компрессии кадра практически совпадает со временем его декомпрессии. Методы первой группы несимметричны время компрессии одного кадра существенно превышает время декомпрессии, причем с увеличением степени сжатия растет и несимметричность метода. Для передачи изображения в режиме on-line предпочтительнее методы второй группы, многие из которых основаны на поблочном дискретном косинусном преобразовании (ДКП) изображения. При высокой степени сжатия такими методами на декомпрессированном изображении становятся заметны границы блоков, на которые разбивается изображение при сжатии, что значительно снижает визуальное качество, например, на рисунке 1а приведено изображение после 10-ти кратного сжатия алгоритмом JPEG.

а б

Рис 1. Сравнение результатов компрессии/декомпрессии различными методами

а – результат компрессии алгоритмом JPEG без масштабирования,
б – результат компрессии алгоритмом JPEG с масштабированием

Проблему искажений при сохранении степени сжатия можно решить, используя предварительное масштабирование кадра перед компрессией, что позволит сжимать изображение с наименьшей потерей качества. На рисунке 1б показано изображение, полученное с использованием предварительного масштабирования. Изображение было отмасштабировано «вниз» с коэффициентом 1.5 и сжато алгоритмом JPEG, с коэффициентом компрессии 25. Коэффициенты масштабирования и сжатия алгоритмом JPEG подбирались такие, чтобы отмасштабированное изображение было равно по размеру изображению без масштабирования, т.е. размеры двух сравниваемых изображений примерно равны 3,5 кБ.

Чтобы рекомендовать данный метод к применению в системах передачи видеопотока в режиме on-line необходимо решить рад задач:

1. выбрать наиболее подходящую методику для количественной оценки качества результирующего изображения по сравнению с исходным;

2. подобрать наилучший по отношению качество/время обработки алгоритм интерполяции;

3. найти оптимальное с точки зрения качества результирующего изображения соотношение коэффициентов масштабирования и компрессии;

4. оценить симметричность метода;

5. проанализировать результаты обработки изображений различного типа (цветные, монохромные, контрастные, размытые, с мелкими деталями и т.д.).

Количественные методики сравнения изображений

В работе необходимо выбрать методику оценки качества изображения для анализа тестовых изображений. Существуют два подхода к оценке качества изображения. Первый – количественная оценка, которая основывается на использовании математических методов, второй – субъективная оценка, она основывается на экспертных оценках. Каждый подход можно разделить на две группы, это абсолютные и сравнительные оценки. Абсолютные мера используют для оценки одного изображения, сравнительные меры используются для ранжирования набора изображений в качественной шкале от «лучше всего» до «хуже всего» или взаимного сравнения двух изображений [4].

Субъективная оценка это долгий и сложный процесс, который требуют наличия опыта у экспертной группы, благоприятных условий труда, а также специальных методов статистической обработки для компенсации человеческого фактора. При выборе количественной оценки следует отдать предпочтение тем из них, которые учитывают особенности восприятия изображений человеческим глазом [5] (цветовое разрешение человеческого зрения ниже яркостного, человек мало восприимчив к мелким цветным деталям и т.п.).

Из-за сложности получения субъективной оценки, для сравнительного анализа изображений была выбрана количественная, сравнительная оценка качества SSIM.

Сравнительная мера оценки качества «Мера структурного подобия» (англ. SSIM - structural similarity), была предложена американским ученым из Нью-Йоркского университета Зоу Вангом для сравнения полутоновых изображений, на данный момент одна из самых «продвинутых». Она основывается на замере трёх компонентов: яркости, контрасту и структуре [6,7]:

(1)

,

, ,

Первая составляющая выражения является коэффициентом корреляции между изображениями X и Y. Вторая составляющая характеризует сходство средних значений яркостей двух сравниваемых изображений. Третья составляющая характеризует сходство контрастов двух сравниваемых изображений. Чем выше значение SSIM, тем больше совпадают сравниваемые изображения. В последнее время данная мера широко используется в силу того, что она наилучшим образом учитывает особенности восприятия человеческим глазом.

Отношение качество/время обработки алгоритмами интерполяции

Эффективность применения предварительного масштабирования зависит от выбор алгоритма интерполяци. Интерполяцией или интерполированием в вычислительной математике называется способ нахождения промежуточных значений величины по имеющемуся дискретному набору известных значений. Наиболее распространенные алгоритмы масштабирования: Nearest neighbor (копирование ближайшего соседа); Bilianer – билинейная интерполяция; Bicubic – бикубическая интерполяция; Hermite – основан на интерполяционном полиноме Эрмита; Lanczos; B-spline; Catmull-Rom; Mitchell; Bell; S-Spline.

а б

в г

Рис. 2. Тестовые изображения для анализа алгоритмов интерполяции

Чтобы получить полную картину о качестве интерполяции различными алгоритмами необходимо анализировать разные по своей структуре тестовые изображения, которые приведенные на рисунке 2: контрастное – а, размытое – б, монохромное – в и текст – г. Каждое тестовое изображение масштабировалось «вниз» с коэффициентами 1.5, 2, 2.5, … 7.5, 8, после чего оно масштабировалось до исходного разрешения тестируемым алгоритмом интерполяции, далее вычислялась метрика SSIM для эталонного и «восстановленного» изображения. Результаты вычисления метрики для контрастного изображения с разным коэффициентом масштабирования представлены на графике 1 на рисунке 3, где ось Х – алгоритм интерполяции, а ось У – метрика SSIM.

Из графика видна зависимость коэффициента SSIM от алгоритма интерполяции. С уменьшением коэффициента масштабирования, коэффициент SSIM изображения после восстановления становится практически равен для всех алгоритмов интерполяции. Можно сделать вывод, что с увеличением коэффициента масштабирования исчезает разница в качестве между ними. Лидирующую позицию занимают алгоритмы Catmull-Rom и Bicubic.

На следующем этапе определим зависимость качества масштабирования от типа изображения. Целесообразно использовать небольшой коэффициент масштабирования, поэтому отмасштабируем «вниз» все тестовые изображения с коэффициентом 1,5. Полученные изображения восстановим до исходного тестируемыми алгоритмами интерполяции и вычисли метрику SSIM для них. Результат вычислений представлен в виде графика.

Рис 3. График метрики SIMM для контрастного изображения с

разным коэффициентом масштабирования

График на рисунке 4 показывает для всех типов изображений прослеживается зависимость качества изображения от алгоритма интерполяции. Как и в первом случае, лидирующую позицию занимают алгоритмы Catmull-Rom и Bicubic. Усредненные экспериментальные данные, полученные для каждого изображения приведены в таблице 1.

Рис. 4. График метрики SIMM для каждого вида типов изображений

Таблица 1

Алгоритм Catmull-Rom практически везде показывал наилучшие результаты, но в некоторых случаях метрика SSIM сильно выбивалась. Это повлияло на результаты усреднения и лидирующие позиции заняли алгоритмы Bicubic и Bilinear, как показывающие наиболее стабильные результаты для всех групп изображений с различными коэффициентами масштабирования.

Для оценки времени работы алгоритмов масштабирования измерялось время работы их программной реализации. Исходное изображение с разрешением было отмасштабировано вниз с 7-ю разними коэффициентами К, которые приведены в таблице 2.

Каждое сжатое изображение восстанавливалось до исходного разрешения перечисленными выше методами, время восстановления заносилось в таблицу 3.

Таблица 2

Таблица 3

По табличным данным была построен график, приведенный на рисунке 5, где ось X – разрешение изображения в dpi, Y – время работы алгоритма в мс, Z – алгоритм масштабирования.

Из графика видно, что чем меньше разрешение изображение, тем быстрее оно масштабируется. Как и следовало ожидать самым быстрым оказался метод ближайшего соседа, а самыми долгими – методы на основе сплайнов.

Рис. 5. Зависимость времени работы алгоритма масштабирования

от алгоритма масштабирования и разрешения изображения

Алгоритмы масштабирования по скорости работы можно разделить на четыре группы:

1. Ближайшее соседнее;

2. Bilinear, Hermite;

3. B-spline, Bell;

4. S-spline, Mitchel, Lanczos, Bicubic, Catmull-Rom.

Качество масштабируемой картинки растет с увеличением времени работы алгоритма масштабирования. Можно смело утверждать, что чем меньше разрешение у восстанавливаемого изображения, тем ниже будет качество и больше времени потребуется алгоритму масштабирования на его восстановление до исходного размера. Это справедливо для всех алгоритмов масштабирования.

Интерес представляет сравнение алгоритмов масштабирования друг с другом. Самый долгий алгоритм Catmull-Rom вопреки ожиданиям не оказывается самым лучшим по качеству получаемой картинки, самый быстрый алгоритм «Ближайшее соседнее» при небольшом коэффициенте компрессии оказывается лучше B-spline и Mitchel. Принимая во внимание количественную оценку качества алгоритмов масштабирования можно сказать, что алгоритм Bilinear является фаворитом, так как при минимальных временных затратах на выходе получается отмасштабированное изображение в хорошем качестве.

Оптимальное соотношение коэффициентов масштабирования и компрессии

От коэффициента масштабирования K_Z и компрессии K_C при использовании предварительного масштабирования зависит размер изображения K_S. Коэффициент масштабирования это некое число от 1, пропорционально которому меняется разрешение изображения, а коэффициент компрессии – коэффициент сжатия изображения от 100 до 1. Для каждого значения Ks можно построить график зависимости качества изображения, восстановленного после сжатия, от отношения коэффициентов масштабирования и компрессии. Эта зависимость позволит определить наилучшие сточки зрения качества по метрике SSIM значения K_Z и K_C при конкретном K_S.

Будем сравнивать изображения двух групп. Первая группа получена сжатием исходного изображения с помощью алгоритма JPEG без масштабирования с коэффициентом компрессии от 1 до 100. Вторая группа изображений получена сжатием с помощью алгоритма JPEG предварительно отмасштабированного изображения с различными значениями коэффициента K_Z.

Первое тестовое изображение – пейзаж, показанный на рисунке 3а. По результатам обработки была составлена таблица с размерами файлов всех полученных после сжатия изображений. Номера строк соответствуют коэффициенту К_С. Всего было получено 1400 изображений. Фрагмент полученных данных приведен в таблице 4.

Таблица 4

Из полученных табличных данных были сегментированы 27 групп файлов с приблизительно равными размерами (выделены цветом). Фрагмент полученных данных приведен в таблице 5. Первый столбец таблицы - среднее арифметическое размера файла группы по строке, т.е. одна строка – группа файлов одного размера.

Таблица 5

В таблице 6 приведен фрагмент полученных данных, в которых вместо размеров из таблицы 5 приведены коэффициенты компрессии. Наглядно видно, что для получения изображения некого фиксированного размера K_S можно варьировать коэффициентами K_Z и K_C в достаточно широких пределах.

Таблица 6

Следующий шаг это оценка качества восстановленных изображений с помощью меры SSIM, фрагмент таблицы с результатами оценки приведен в таблице 7. Качество отмасштабированных перед JPEG компрессией изображений, превышает качество не масштабированных изображений, начиная с группы со средним размером 11,1541 кб, которому соответствует коэффициент сжатия 12 алгоритмом JPEG.

Таблица 7

Графика на рисунке 6 отображает табличные данные, где ось Х – разрешение изображения, т.е. коэффициент масштабирования, ось У – значение меры SSIM, каждая линия – соответствующий коэффициент компрессии.

Рис. 6. Результат вычисления мер

Всего было обработано 5600 изображения. Пороговые значения коэффициентов компрессии, при которых качество восстановленного изображения после сжатия с предварительным масштабированием превышает качество восстановленного изображения после сжатия без масштабирования, для разных типов изображений приведены в таблице 8.

Как видно из таблицы 8, пороговые значение коэффициента компрессии, после превышения которого есть смысл использовать предварительное масштабирование, зависит от типа изображения. Усреднив данные можно сказать, что при JPEG компрессии с коэффициентом большим 22 есть смысл использовать предварительное масштабирования для повышения качества.

Таблица 8

Оценка симметричности метода

Использование предварительного масштабирования для повышения качества видеопотока предполагается по схеме, представленной на рисунке 7. Исходное изображение предварительно масштабируется вниз с помощью алгоритма Bilinear, сжимается алгоритмом компрессии JPEG и передается по каналу передачи. После передачи изображение восстанавливается алгоритмом компрессии, после чего масштабируется вверх алгоритмом масштабирования. Оценим симметричность работы этой схемы.

Рис. 7. Схема использование предварительного масштабирования

Важная характеристика видеопотока это количество кадров в секунду. Чем она выше, тем более плавным и естественным будет казаться зрителю движение на экране. Минимальное значения этой характеристики является частота 16 кадров в секунду (англ. fps). В традиционном кинематографе используется частота 24 fps, системы телевидения PAL и SECAM используют 25 fps, а система NTSC 29.97 fps [8].

Следующая характеристика это разрешение. Для обычного аналогового телевидения в стандартах PAL и SECAM, разрешение составляет 720х576 пикселей, для стандарта NTSC оно составляет 720х480 пикселей.

Существует три стандарта телевидения с высокой четкости [9, 10]:

1. 720p: 1280х720 точек, прогрессивная развертка. 24 fps, 25 fps, 30 fps, 50 fps и 60 fps

2. 1080i: 1920х1080 точек, чересстрочная развертка 50 fps и 60 fps.

3. 1080p: 1920х1080 точек , прогрессивная развертка, 24 fps, 25 fps и 30 fps.

Канала передачи данных имеет пропускную способность, которая накладывает ограничение на размер передаваемого изображения, т.к. необходимо исключить временные задержки на стороне пользователя. В таблице 9 приведены допустимые размеры кадров для видео с разным количеством кадров в секунду, передаваемым по каналам передачи данных. Частота 50 fps и 60 fps используются для 3D видео и из дальнейшего рассмотрения выбывают.

Таблица 9

Чтобы использовать канала с пропускной способностью 128 кб/сек изображения для стандартов PAL и SECAM необходимо сжимать алгоритмом JPEG с коэффициентом компрессии 7, в этом случае размер полученного файла составит примерно 4,9 кб. Исходя из оптимального соотношения коэффициентов масштабирования и компрессии, сначала отмасштабируем изображение вниз с коэффициентом масштабирования 2, а потом сожмем алгоритмом JPEG с коэффициентом компрессии 29. Полученное изображение, как и задумывалось, примерно равно по размеру изображению, полученному без предварительного масштабирования, его размер составил так же 4,9 кб. Теперь сравним изображения после передачи по каналу и декомпрессии. На рисунке 8 представлено изображение без использования предварительного масштабирования, на рисунке 9 использованием. Разница очевидна, изображение с использование предварительного масштабирования лучше по качеству с точки зрения восприятия человеческим глазом. Если посчитать метрику SSIM, получим следующие данные: изображение, полученное с использованием предварительного масштабирования 0,8420, сжатое просто JPEG 0,8046. Для передачи других стандартов этот канал не подходит. В таблице 10 приведены данные для других каналов передачи данных и других видеостандартов.

Таблица 10

Для передачи видеопотока PAL/SECAM по каналу с пропускной способностью 128 кб/с каждый кадр необходимо отмасштабировать вниз с коэффициентом 2, на что потребуется 7,56 мс, сжать алгоритмом JPEG с коэффициентом компрессии 29, на что потребуется 5 мс. После передачи по каналу изображение декомпрессируем алгоритмом JPEG, исходя из того что алгоритм JPEG симметричен [11], декомпрессия не превысит 5 мс, масштабирование изображения до исходного размера займет 10,75 мс. Итого компрессия займет 12,56 мс., а декомпрессия 15,75 мс. В таблице 11 приведено время работы для всех рассматриваемых каналов передачи данных.

Масштабирование изображения вниз занимается меньше времени, чем масштабирование вверх, т.е. само по себе масштабирование не симметрично. Поэтому использование предварительного масштабирования для повышения качества изображения так же не симметрично. Больше всего времени требуется, чтобы восстановить изображение, примерно в 1,2 раза больше. При частоте кадров 25 fps, обработка одного кадра должна не превышать 40 мс. Этому требованию соответствуют два канала передачи данных 128 кб/с и 256 кб/с.

Таблица 11

Рис. 8. PAL/SECAM без применения предварительного масштабирования

Рис. 9 PAL/SECAM с применением предварительного масштабирования

Выводы

Оценив полученные результаты, можно рекомендовать следующее:

1. Если коэффициент компрессии алгоритмом JPEG превышает 22, то использование предварительного масштабирования повышает качество восстановленного изображения.

2. Качество изображения имеет максимальное значение при небольшом коэффициенте масштабирования вниз, с увеличением коэффициента масштабирования вниз и уменьшением коэффициента компрессии качество падает. Целесообразно использовать небольшие коэффициенты масштабирования вниз.

3. Несмотря на то, что масштабирование не симметрично, эта несимметричность не сильно сказывается на времени работы. Это позволяет использовать предварительное масштабирование для повышения качества видеопотока.

Литература:

1. Макаров В.В. Телекоммуникации России: состояние, тенденции и пути развития. М.: Ириас, 2007. – 296 с.

2. Ричардсон Я. Видеокодирование. Н.264 и MPEG-4 – стандарты нового поколения. – М.: Техносфера, 2005. – 386 с.

3. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. – М.: Диалог-МИФИ, 2002. – 384 с.

4. Монич Ю.И., Старовойтов В.В. Оценки качества для анализа цифровых изображений. – М.: Искусственный интеллект, 2008. – 376 с.

5. Гугель Ю.В., Гуров В.С., Гуров И.П., Семенов Н.В., Шалаев М.А. Оценка качества передачи динамических изображений в формате mpeg по реальным каналам связи // VII Всероссийская научно-методическая конференция «Телематика'2000». – 1 с.

6. Wang Z., Bovik A.C. Modern image quality assessment. – N.Y.: Morgan & Claypool, 2006. – 157 с.

7. Wang Z., Simoncelli E.P. Translation insensitive image similarity complex wavelet domain // IEEE Inter. Conf. Acoustic, Speech and Signal Processing. – Philadelphia, 2005. – V. 2. – P. 673–676.

8. Калиткин Н.Н. Численные методы М.: Наука, 1978 г. – 27 c.

9. Ive J. Image formats for HDTV. - Geneva.: EBU TECHNICAL REVIEW, 2004. – 2 - 9 с.

10. Hight Definition (HD) Image Formats for Television Production - Geneva.: EBU TECHNICAL REVIEW, 2010. – 5 с.

11. Keith J. Video demystified: a handbook for the digital engineer – Burlington.: Newnew, 2007 – 242- 249 c.