Исследование и применение eye-tracking технологии на производстве

В данной статье рассмотрены основные аспекты, связанные с применением устройства eye-tracker на производстве. Так же исследован многомодальный интерфейс, позволяющий управлять компьютером дистанционно.

Ключевые слова:eye-tracker, многомодальный интерфейс, отслеживание, управление взглядом

При возникновении необходимости автоматизации участков на производстве появился широкий класс человеко-машинных автоматизированных систем управления (АСУ) в разных направлениях. При решении определенных задач возникает потребность повышения технического и организационного качества управления производственных процессов, что определяется повышением интеллектуального уровня АСУ и увеличения сложности поставленных задач. В последнее время произошли значительные изменения, связанные с исследованиями и разработками новых технологий в сфере человеко-машинного взаимодействия, позволившие существенно улучшить качество и гибкость управления, повысить возможности взаимодействия, которые способствуют разработке и внедрению более сознательных интерфейсов пользователя.

Есть ряд операторных профессий, в которых требуются специальные навыки и умения. Во-первых, способность переработки больших объемов информации, поступающей от разных источников по автономным каналам, во-вторых, быстрого принятия решения на основе поступивших данных и выполнения в короткий промежуток времени существенного количества операций с вычислительной техникой монотонного характера [1]. Так же многие люди не могут полноценно работать с компьютерными системами (выполнять определенные операции) из-за физических ограничений, например ампутации или парализации конечностей. Для этих людей разрабатывается специальный многомодальный интерфейс бесконтактного взаимодействия с компьютером посредством зрительного управления, отслеживания взгляда или жестов и речевого ввода [2].

Одним из таких АСУ является устройство eye-tracker.Eye-tracking технология — это методика фиксации положения и движений глаза с помощью специального устройстваeye-tracker. Оборудование состоит из нескольких видеокамер и инфракрасных датчиков.Лучи инфракрасных ламп направлены на глаза человека и образовывают на поверхности роговицы глаза блики. При помощи данных бликов происходит фокусировка камер, которые записывают движение взгляда человека по экрану.

В данной статье предлагается исследовать многомодальный интерфейс, основанный на технологии eye-tracking и применении его на участках производства. Данный многомодальный интерфейс взаимодействия человека и машины причисляется к классу пользовательских интерфейсов [3] и базируется на основных входных модальностях: управление взглядом и речь. Обе составляющие являются активными [4] и инициируются напрямую человеком, поэтому они непрерывно фиксируются и обрабатываются интеллектуальными подсистемами интерфейса. Каждой модальности соответствует своя задача: движение взгляда при помощи eye-tracker определяет движение курсора по экрану компьютера и управление определенными функциями, а речевой интерфейс передает информацию о действии, которое необходимо выполнить с некоторым объектом графического пользовательского интерфейса. На рис. 1 показана схема аппаратно-программного комплекса многомодального интерфейса.

Eye-tracker

с

Рассмотрим более подробно, как происходит процесс отслеживания взгляда и управление компьютером. Важным аспектом является то, что устройство eye-tracker работает в инфракрасном диапазоне. Это позволяет избавиться от посторонних шумов и приборов освещения, которые затрудняют процесс отслеживания взгляда. Таким образом, устройство посылает инфракрасный сигнал на глазное яблоко, на котором видны блики, затем прибор автоматически записывает отраженный сигнал с помощью встроенных видеокамер и высчитывает угол отражения. В то же время eye-tracker посылает второй сигнал, которой устанавливает позицию человека относительно устройства. В итоге, прибор благодаря входным данным вычисляет координаты человека и координаты движения зрачка. Совокупность данных координат, определяющее положение зрачка и его перемещение позволяет совершать удаленный контроль компьютера. Предлагается разработать методологию, которая позволит моделировать нажатие клавиш на экране. Движения взгляда будет осуществляться за счет выявленных координат взора, а нажатие клавиш на экране будет происходить за счет фокусировки на определенном объекте (клавише). Данная разработка позволит решить проблему трудоёмких и монотонных операций оператора и даст возможность управлять компьютером людей с ограниченными возможностями, в том числе и на производстве [5].

Большое количество важной информации о человеческом поведении, интересах и распределении внимания может быть получено на основе анализа траектории движения его взгляда. Системы отслеживания направления взгляда используются с растущей популярностью в различных отраслях науки и техники. Кроме решения важных задач таких, как бесконтактный ввод данных в компьютер для пользователей с ограниченными возможностями, удаленное управление и анализ работы работника-оператора на комплексном производстве в соответствии с движением его зрачков, есть ряд других областей применения устройства eye-tracking: психологические тестирование оборудования и интерфейсов пользователя, исследование сайтов и рекламной продукции производства, изучение умственных способностей работников и другие.

Тенденция развития данных исследований сохраняется последние годы, поэтому существует множество различных решений и инноваций в этой сфере. Например, существуют такие бесконтактные системы управления, как «EC8» [6], «EyeTechVT2» [7] и «Tobii T60XL» [8]. Также имеются такие системы, как «EagleEyesB», которые применяют принцип электроокулографии. На пользователя надевается специальный шлем, оснащенный датчиками, которые фиксируют электромагнитный сигнал от мозга. Однако, вопрос разработки человеко-машинных бесконтактных интерфейсов по-прежнему актуален, так как существующие решения требуют дополнительных программно-аппаратных комплексов и их стоимость в настоящее время очень высока.

Так как тематика eye-tracking технологии популярна, то существуют открытые коды на языках С++ и С#, что позволило написать и доработать тестовую программу, с помощью которой можно имитировать действия мыши глазами. Основные команды, которые позволяет имитировать данный код, это: нажатие левой и правой кнопки мыши, колесо прокрутки, двойной щелчок левой кнопки мыши и написание текста при помощи экранной клавиатуры. Нажатие клавиш основывается на фокусировке глаз в конкретной точке экрана, тем самым позволяя решать проблему бесконтактного взаимодействия.

Подключив к компьютеру записывающие устройство звука и разработанную программу, тем самым мы создаем тестовый вариант многомодального интерфейса. При помощи микрофона и специального программного обеспечения будет производиться распознавание речи, а при помощи eye-tracker устройства и написанной программы будет осуществляться удаленное управление.

Экспериментально было произведено тестирование данного интерфейса на пяти добровольных пользователях. Респондентам предлагался определенный сценарий действий, который они должны выполнить последовательно двумя способами. Первый способ заключается в том, что при помощи клавиатуры и мыши пользователю необходимо найти в поисковой системе Google информацию о eye-tracking технологии и скопировать ее в МSWord. Второй способ состоит в выполнении тех же действий, только используя бесконтактный многомодальный интерфейс, сначала при помощи трекинга, затем при помощи микрофона. В таблице 1 указаны количественные результаты тестирования, и сравнение двух способов по среднему времени выполнения заданий.

Таблица 1

Сравнение бесконтактного иконтактного интерфейсов человеко-машинного взаимодействия

Тестирование показало, что выполнение заданий при помощи контактного взаимодействия является самым быстрым и эффективным. Однако, управление при помощи eye-tracker устройства медленнее стандартного всего на 1,66 раз, а при помощи голосовых команд медленнее в 1,88 раз. При этом точность распознавания речи выше точности бесконтактного управления eye-tracker устройством. Сравнивая два бесконтактных способа, то можно сказать, что работа с eye-tracker прибором более эффективна, чем использование микрофона для ввода голосовых команд. Тем не менее многомодальный интерфейс предполагает совокупность работы двух данных методов, что позволит увеличить точность распознавания сигналов от человека и уменьшить скорость выполнения поставленных задач. Поэтому данный результат можно считать приемлемым, так как полученная скорость выполнения заданий при помощи многомодального интерфейса разрабатывается для работников-операторов и людей с ограниченными возможностями. Что в свою очередь, позволяет решать сложные производственные и труднореализуемые медицинские задачи.

В данной статье представлены результаты исследований бесконтактного человеко-машинного интерфейса, основанного на использовании распознавании речи и удаленном управление при помощи eye-tracker устройства. Данный интерфейс предназначен для людей с ограниченными возможностями и для работников-операторов на труднодоступных производственных участках. Описана общая схема многомодального интерфейса, с объединением записывающего устройства звука и прибора eye-tracker. Разработана программа имитации действия мыши глазами и предложены варианты использования многомодального интерфейса на производстве. Применение многомодального пользовательского интерфейса позволит увеличить социально-экономическую интеграцию инвалидов в информационном обществе и позволит им трудоустраиваться на производство и зарабатывать. Предложенный бесконтактный интерфейс позволит пользователям оставлять свой выбор на доступных им средствах взаимодействия с компьютером.

1. Акимов Д. А. — Разработка бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии — М: 2013
2. А. А. Карпов — когнитивные исследования ассистивного многомодального интерфейса для бесконтактного человеко-машинного взаимодействия∗// Информатика и ее применение, 2012. Т. 6. Вып. 2. С. 77–86
3. Карпов А. А., Ронжин А. Л. — Многомодальные интерфейсы в автоматизированных системах управления // Известия высших учебных заведений. Приборостроение, 2005. Т. 48. № 7. С. 9–14.
4. Ронжин А. Л., Карпов А. А. — Проектирование интерактивных приложений с многомодальным интерфейсом // Докл. Томского гос. ун-та систем управления и радиоэлектроники (ТУСУР), 2010. № 1. Ч. 1. С. 124–127.
5. Gostev I. M., Sibirtseva E. A. — About one Model of Computer Control on the Basis of Gaze Tracking // Bulletin of PFUR. Series Mathematics. Information Sciences. Physics. № 2, 2014. С 248–252
6. Eye-ComCorporation [Электронный ресурс]. — URL: http://eyecomcorp.com (дата обращения 05.07.2016)
7. EyeTechDigitalSystems [Электронный ресурс]. — URL: https://www.eyetechds.com (дата обращения 01.08.2016)
8. TobiiEyeTrackingResearch [Электронный ресурс]. — URL: http://www.tobii.com/en/eye-tracking-research/global (дата обращения 01.08.2016)