Ключевые слова: классификация действий людей, распознавание образов людей, машинное обучение
В настоящее время большую популярность приобретают системы «Умного Дома», обеспечивающие безопасность и ресурсосбережение (в том числе и комфорт) для всех пользователей. Одни из основополагающих особенностей «Умного Дома» — его интеллектуальность и автономность. Однако, на сегодняшний момент не существует оптимального решения, позволяющего «Умному Дому» собирать данные о его пользователях. Эти данные необходимы, так как на основе анализа поведенческих особенностей можно оптимизировать параметры управления различными подсистемами «Умного Дома». «Умный Дом» становится более ориентированным на пользователя и буквально подстраивается под конкретные нужды каждого отдельного пользователя.
Сейчас «Умный Дом» получает только опосредованные данные, снимаемые с различных датчиков. Например, по включённой на кухне воде можно сделать вывод о том, что в данный момент один из пользователей моет посуду. По датчику давления, установленному на диване или кресле, можно определить, сидит ли в нем в данный момент кто-нибудь. Однако такие данные о поведении являются весьма приблизительными и неперсонифицированными, т. к. нет достаточного количества признаков для различия нескольких пользователей.
Данная статья посвящена решению проблемы нехватки данных о поведении пользователей. Целью работы является проектирование и разработка системы наблюдения, которая будет классифицировать действия пользователей в реальном времени.
1. Проблемы обучения распознаванию образов.
Образ, класс — классификационная группировка в системе классификации, объединяющая определенную группу объектов по некоторому признаку.
Образы обладают характерным свойством, проявляющимся в том, что ознакомление с конечным числом явлений из одного и того же множества дает возможность узнавать сколь угодно большое число его представителей.
Способность восприятия внешнего мира в форме образов позволяет с определенной достоверностью узнавать бесконечное число объектов на основании ознакомления с конечным их числом, а объективный характер основного свойства образов позволяет моделировать процесс их распознавания [1].
В целом распознавание образов состоит из двух частей: обучения и распознавания. Обучение осуществляется путем показа отдельных объектов с указанием их принадлежности тому или другому образу. В результате обучения распознающая система должна приобрести способность реагировать одинаково на все объекты одного образа и различно — на все объекты иных образов. Очень важно, что процесс обучения должен завершиться только путем показов конечного числа объектов без каких-либо других подсказок. В качестве объектов обучения могут быть либо картинки, либо другие визуальные изображения, либо различные явления внешнего мира, например звуки, состояния организма при медицинском диагнозе, состояние технического объекта в системах управления и др. Важно, что в процессе обучения указываются только сами объекты и их принадлежность образу. За обучением следует процесс распознавания новых объектов, который характеризует действия уже обученной системы. Автоматизация этих процедур и составляет проблему обучения распознаванию образов. В том случае, когда человек сам разгадывает или придумывает, а затем навязывает машине правило классификации, проблема распознавания решается частично, так как основную и главную часть проблемы (обучение) человек берет на себя [1].
2. Устройство распознавания образов и библиотека анализа данных.
2.1 Asus xtion pro live.
К сожалению, в свободном доступе нет информации о том, какие алгоритмы использует данное устройство внутри. Предполагается, что это очень серьезный конкурент Microsoft Xbox 360 (по цене и по качеству работы, так как под это устройство выпущено немало игр). Главное отличие этого устройства от Microsoft Xbox 360 в том, что Asus не требует лицензии для использования в коммерческих целях.
Для регистрации изображения, движений и голоса пользователя в режиме реального времени в контроллере Xtion Pro Live используются инфракрасные датчики, а также технологии адаптивного отслеживания глубины, распознавания изображений и аудиоданных. Данная платформа для разработки приложений позволяет создавать программы с управлением жестами без изучения сложных приемов программирования.
Поддерживаемые функции:
− Распознавание жестов;
− Распознавание движений тела;
− Распознавание RGB;
− Распознавание голоса [2].
Технические характеристики данного устройства приведены на рисунке 1.
Рис. 1. Технические характеристики Asus Xtion Pro Live
В проектировании системы распознавания образов и их действий будет использоваться именно это устройство. Для доступа к API камеры выбран язык программирования Java.
2.2 Weka.
Weka представляет собой набор средств визуализации и алгоритмов для интеллектуального анализа данных и решения задач прогнозирования, вместе с графической пользовательской оболочкой для доступа к ним.
Weka позволяет выполнять такие задачи анализа данных, как подготовку данных (preprocessing), отбор признаков (англ. feature selection), кластеризацию, классификацию, регрессионный анализ и визуализацию результатов [3].
Также данная библиотека имеет неплохую документацию.
3. Выбор признаков для классификатора.
Практически в любой задаче классификации, регрессии или прогнозирования возникают вопросы: какие признаки использовать, а какие нет; нужно ли как-то преобразовывать исходные признаки; какую модель зависимости применить в данной задаче?
Проблема отбора признаков (features selection) часто возникает из-за того, что на этапах постановки задачи и формирования данных ещё не ясно, какие признаки действительно важны, а какие не несут полезной информации или дублируют друг друга. Естественное стремление учесть, как можно больше потенциально полезной информации приводит к появлению избыточных (шумовых) признаков. На практике не редки ситуации, когда лишних признаков оказывается существенно больше, чем полезных. Попытка построить зависимость из шума может только ухудшить качество алгоритма. Методы обучения должны отличать шумовые признаки от информативных и отбрасывать их [4].
В данной работе используются признаки на основе 3D-координат особых точек человеческих образов, получаемых с помощью API камеры в реальном времени. Всего 15 особых точек:
− Голова;
− Шея;
− Левое/правое плечо;
− Левый/правый локоть;
− Левое/правое запястье;
− Туловище;
− Левое/правое бедро;
− Левое/правое колено;
− Левая/правая ступня.
Также необходимо нормализовать координаты для независимости распознавания действий от положения тела в пространстве. Таким образом, получены относительные 3D-координаты особых точек (путем вычитания их абсолютных 3D-координат из абсолютных 3D-координат туловища).
Далее необходимо привести нормализованные признаки к входным данным классификатора. Обучающая выборка состоит из множества строк вида:
,
Следующим этапом является проверка работы прототипа непосредственно на реальных пользователях. Для этих целей модель классификатора была обучена различным действиям (сидеть, стоять, разговаривать по телефону, завязывать шнурки, приветствию и потягиванию) согласно принятому входному формату. Система была запущена в режиме отладки, в котором сгенерированные признаки выводятся в консоль. При обучении необходимо встать перед камерой, чтобы распознанный скелет полностью помещался в зоне видимости камеры, и начать выполнение действия, которому будет обучаться система. Выведенные в консоль сгенерированные признаки передаются классификатору как обучающее множество. В качестве алгоритма обучения выбран Random Forest. Также составлена тестовая выборка для проверки правильности работы модели классификатора.
Метрики распознавания приведены на рисунке 2.
Рис. 2. Метрики распознавания действий
На рисунке видно, что точность распознавания получена довольно высокая. Следовательно, признаки распознавания достаточно информативны.
На будущее, когда будет необходимость расширить список распознаваемых действий, точность распознавания упадет. Поэтому нужно будет добавить новый набор признаков в модель распознавания. Например, углы, под которым согнуты руки в локтях и т. д.
При проведении тестирования ожидаемые результаты соответствовали полученным результатам. Далее приведены скриншоты работы системы.
Рис. 3. Пользователь стоит в области видимости камеры
Рис. 4. Пользователь сидит
Рис. 5. Пользователь приветствует систему распознавания
Рис. 6. Пользователь разговаривает по телефону
Рис. 7. Руки вверх
Рис. 8. Пользователь завязывает шнурки
4. Заключение.
В данной статье была успешно спроектирована и разработана система наблюдения, которая классифицирует действия пользователей в реальном времени. Были выбраны признаки для распознавания действий людей. Модель, обученная по этим признакам, проверена на практике, и показала высокую точность распознавания (96 %).
Литература:
- Системы распознавания образов: [Электронный ресурс]. URL: http://www.codenet.ru/progr/alg/ai/htm/gl3_1.php (дата обращения: 15.01.2017).
- Xtion PRO LIVE: [Электронный ресурс]. URL: http://www.asus.com/ua/Multimedia/Xtion_PRO_LIVE/ (дата обращения: 25.01.2017).
- Weka — Википедия [Электронный ресурс]. URL: https:// ru.wikipedia.org/wiki/Weka (дата обращения 12.04.2017).
- Лекции по методам оценивания и выбора моделей [Электронный ресурс]. URL: http://www.ccas.ru/voron/download/Modeling.pdf (дата обращения 12.04.2017).
