Практическое значение синестезии на примере программы the vOICe

Проведено исследование использования устройства сенсорного замещения the vOICe и роли синестезии в его работе. Изучены основные принципы и закономерности работы данной программы. Установлено значительное улучшение навыков использования устройства the vOICe в ходе регулярных тренировок с целью приобретения искусственной синестезии. Обосновано применение данной программы для людей с ограниченным зрением.

Ключевые слова: the vOICe, синестезия, сенсорное замещение, звуковой ландшафт.

Синестезия — феномен, при котором раздражение в одной сенсорной системе ведет к автоматическому отклику в другой [1]. Участки мозга выполняют различные функции, и увеличение перекрестных связей между ними может объяснить многие виды синестезии [2]. Возможно, этот феномен является ключевым в работе устройств сенсорного замещения. И искусственное развитие синестезии может увеличить эффективность работы этих устройств, среди которых одной из наиболее доступных систем является программа The vOICe.

Цель: дать оценку эффективности применения технологии сенсорного замещения the vOICe.

Задачи:

1. Изучить практический аспект использования явления синестезии с помощью программы The vOICe.
2. Оценить принцип работы технологии сенсорного замещения The vOICe.

Материалы иметоды. Программа, разработанная в рамках исследовательского проекта the vOICe голландцем Питером Мейером, сотрудником научно-исследовательского отдела компании Philips [3], 9 графических изображений и соответствующие звуковые ландшафты, изолированное светлое помещение, предмет (темный стул). Объектом исследования являлись 40 студентов без патологических отклонений в сенсорных системах.

Технология сенсорного замещения The vOICe основана на преобразовывании «сырых» визуальных изображений в соответствующие звуковые ландшафты, сохраняя при этом значительное количество визуальной информации [4]. Технически это позволяет «видеть звуком».

Существует три правила, используемых программой The vOICe при отображении изображения в звуке [5]:

1. Лево и право. Изображения сканируются и озвучиваются по направлению слева направо. По умолчанию скорость озвучивания одного изображения равна одному снимку в секунду. Стереозвук также прокручивается слева направо, что облегчает отслеживание направления сканирования изображения. Таким образом, возникший слева или справа звук свидетельствует о наличии зрительного образа, расположенного, соответственно, в левой или правой стороне.
2. Верх и низ. Возникающий при каждом сканировании тон обозначает высоту: чем выше тон, тем выше положение объекта в поле зрения. Следовательно, в зависимости от того, повышается или понижается тон звукового ландшафта, можно судить о том, восходящий, или, соответственно, нисходящий зрительный образ располагается перед человеком.
3. Тень и свет. Громкость обозначает яркость: чем громче звук, тем ярче (светлее) изображаемый предмет. Следовательно, тишина соответствует черному цвету, громкий звук — белому, а все, что между ними — есть оттенки серого цвета.

Примеры графических изображений, использованных в данной работе

Рис. 1. Линия вверх

Рис. 2. Линия вниз

Рис. 3. Набор вертикальных полос

Рис. 4. Два квадрата

Рис. 5. Линия горизонтальная

Рис. 7. Пустой круг

Рис. 8. Верхняя половина круга

Рис. 9. Нижняя половина круга

Результаты иих обсуждение

Эксперимент, состоял из 2 этапов, в ходе которого испытуемые развивали навык узнавания определенных геометрических фигур и передвижения по комнате c закрытыми глазами.

На первом этапеисследования испытуемым требовалось узнавать изображения по звуковым ландшафтам. В течении первых 10 минут первого этапа эксперимента проводилась тренировка. С открытыми глазами студенты использовали the vOICe на 9 изображениях, представленных выше. Происходило это следующим образом: один из экспериментаторов поочерёдно показывал светлые фигуры на темном фоне, другой экспериментатор направлял камеру мобильного телефона таким образом, чтобы считывалось только нужное изображения. Испытуемый в это время смотрел на показываемые ему фигуры и запоминал их звучание. После 10-минутного перерыва все 9 изображений ещё раз просматривались 1 раз. Затем происходило испытание: студенты закрывали глаза и определяли, демонстрируемую им фигуру с помощью программы.

На втором этапе эксперимента задачей испытуемых была ориентировка в пространстве без использования зрительного анализатора. Для этого использовалась светлая комната и тёмный стул. Комната делилась на 5 секторов одинакового размера. Первый сектор всегда был пуст. В одном из оставшихся 4 находился стул. Задачей испытуемых было определить положение стула и обойти его. Двигаться требовалось лишь в одном направлении (Рис. 10).

Рис. 10. Схема комнаты, использовавшейся на втором этапе исследования

Результаты были таковы. 29 студентов справились с первым заданием без ошибок, 9 человек допустили 1 ошибку и 2 человека сделали 2 ошибки.

На втором этапе 25 человек не сделали ни одной ошибки. 11 человек ошиблись 1 раз и 4 человека 2 раза (Рис. 11)

Рис. 11. Соотношение результатов первого и второго этапов.

7 студентов (54 %) ошиблись в том, что перепутали круг и квадрат, 4(31 %) — перепутав круг с верхней половиной круга, 2(15 %) — круг с нижней половиной круга (Рис. 12).

Рис. 12. Структура ошибок, совершённых на 1 этапе

На втором этапе 6 человек (32 %) не увидели стул, а 13 человек (68 %) увидели стул там, где его не было, то есть этот тип ошибок совершался практически в 2 раза чаще, чем первый (Рис.13).

Выводы:

1. Программа the vOICe эффективна.
2. Программа the vOICe позволяет развить базовый навык по распознанию наличия объекта, а также определения его формы в короткий период времени (40 мин).
3. Регулярная практика по развитию данного навыка повышает эффективность искусственной синестезии и может существенно увеличить уровень адаптации и социализации людей, имеющих проблемы со зрением.

Литература:

1. Cytowic, Richard E; Eagleman, David M. Wednesday is Indigo Blue: Discovering the Brain of Synesthesia (with an afterword by Dmitri Nabokov). — Cambridge: MIT Press, 2009. — ISBN 0–262–01279–0.
2. Заиченко А. А., Картавенко М. В. Синестезия — феноменология, виды, классификации // Информатика, вычислительная техника и инженерное образование. — 2011. — С. 48–60.
3. Meijer, Peter: Augmented Reality for the Totally Blind [https://www.seeingwithsound.com/]
4. Carmichael, Joey: Device Trains Blind People To 'See' By Listening [http://www.popsci.com/science/article/2013–07/synesthesia-blind?dom=PSC&loc=recent&lnk=1&con=read-full-story]
5. Учимся видеть [https://www.seeingwithsound.com/manual_ru/The_vOICe_Training_Manual_ru.htm]: Учебное пособие по использованию программы The vOICe; ред. Евгения Маркарян.