В статье описывается уникальная методика прогнозирования эмоционального состояния человека на основе компьютерного зрения. В работе обосновывается выбор модели для анализа эмоционального состояния, строится регрессионная прогнозная модель.
Ключевые слова: компьютерное зрение, оценка эмоционального состояния, прогнозирование, статистическая выборка, горизонт прогнозирования.
Предлагаемая методика прогнозирования эмоционального состояния на основе компьютерного зрения состоит из трёх этапов:
— оцифровка эмоционального состояния на основе компьютерного зрения;
— определение объёма статистической выборки и величины горизонта прогнозирования;
— прогнозирование эмоционального состояния в реальном времени с применением адаптивной регрессионной модели.
При выборе модели для оцифровки эмоционального состояния, необходимо учитывать её быстродействие и точность. Для выбора предлагается использовать набор данных с изображениями лиц разбитый на категории базовых эмоций. При этом среднее время обработки изображения рассчитывается по формуле (1).
где n — это количество изображений в массиве, t i — время обработки i-го изображения.
Качество работы модели рассчитывается как доля правильно распознанных эмоций на изображении.
При построении регрессионной модели необходимо подобрать параметры: объём статистической выборки и величина горизонта прогнозирования. Значения этих параметров существенно влияют на точность прогнозирования. Подбор производится экспериментально с использованием видеозаписи, содержащей сцену общения в определённых обстоятельствах. Например, в задаче корректировки качества обслуживания, необходимо видеозапись беседы с клиентом. Важно, чтобы на видео было хорошо отражено лицо. Для подбора параметров и модели, используются тепловые карты со следующими метриками: среднеквадратическая ошибка, средняя абсолютная ошибка, средняя абсолютная ошибка в процентах, коэффициент детерминации.
Пример тепловой карты для коэффициента детерминации (столбцы — количество кадров в объёме статистических данных, строки — количество кадров горизонта прогнозирования, значения в ячейках — коэффициент детерминации) представлен на рисунке 1.
Рис. 1. Тепловая карта коэффициента детерминации
При анализе тепловых карт были определены приемлемые величины искомых параметров, которые равняются 90 секундам и 30 секундам соответственно. Лучшую точность прогнозирования показала модель ARIMA. В исследовании использовались такие модели, как:
— линейная регрессия;
— полиномиальная регрессия (второй степени);
— полиномиальная регрессия (третьей степени);
— ARIMA.
Процесс прогнозирования эмоционального состояния в реальном времени представлен схемой (рисунок 2).
Рис. 2. Схема прогнозирования в реальном времени
Алгоритм прогнозирования состоит из следующих этапов:
— накопление статистических данных за 90 секунд с интервалом в 1 секунду;
— обучение модели ARIMA на основе накопленных данных;
— прогнозирование следующих 30 секунд.
В результате прогноз производится в режиме реального времени и непрерывно.
Необходимо учитывать, что на практике в прогнозировании нуждаются только несколько эмоций, например, в задаче корректировки качества взаимодействия с клиентом, прогнозируются только негативные эмоции, которые не должен испытывать клиент, например: гнев, страх, печаль, отвращение. Для определения необходимых эмоций используется формальная модель эмоций Джеймса-Рассела [1]. Она определяет эмоцию, как точку в двумерном пространстве, сформированном двумя базисами «Интенсивность» и «Оттенок» [2]. Схема данной модели представлена на рисунке 3.
Рис. 3. Схема формальной модели эмоций Джеймса-Рассела
Таким образом, предлагаемая методика прогнозирования эмоционального состояния на основе компьютерного зрения в реальном времени охватывает все аспекты, которые необходимо учитывать в данной задаче.
Литература:
1. Russell J. A. A circumplex model of affect //Journal of personality and social psychology. — 1980. — Т. 39. — №. 6. — С. 1161.
2. Константинов Д. С., Томилов И. Н. Распознавание эмоционального состояния человека на основе компьютерного зрения / Д. С. Константинов; науч. рук. И. Н. Томилов. — Текст: непосредственный // Сборник материалов Всероссийской (заочной) научной конференции преподавателей, аспирантов и студентов (Хабаровск, 25–26 декабря 2023г.). [Электронное научное издание: 1 Файл — 54,0Мб]. — С. 83–86. — ISBN 978–5–04–092883–7.
