Современные возможности технологий дополненной реальности

В статье приведены современные возможности технологий дополненной реальности, позволяющие произвести значительный прирост качества продуктов, использующих данную технологию и решить проблемы раннего AR.

Ключевые слова: дополненная реальность, технологии, мобильные устройства, AR.

Дополненная реальность последние несколько лет была быстрорастущим и перспективным направлением. Однако ее возможности были в зачаточном состоянии, что вызывало лишь краткосрочный вау-эффект из-за своей новизны и необычности. Сейчас же, спустя всего пару лет, возможности дополненной реальности серьезно возросли.

Главной проблемой технологии всегда было то, что она практически никак не реагировала на реальный мир, несмотря на свое название и предназначение.

К примеру, вспомним такую популярную AR игру, как Pokemon Go (рисунок 1). Суть Pokemon Go проста: для выполнения различных заданий игрок должен перемещаться по реальным улицам и «ловить» виртуальных покемонов, проецируемых на повседневные пейзажи, с помощью объектива камеры [1].

Дополненная реальность здесь была сильно упрощена. Технически Pokemon Go не видела, где пол. Игра просто размещала где-то картинку покемона. Она не могла никак связать его с окружающей действительностью, не могла наложить красивую тень на пространство, и не могла увидеть, где находится сам игрок [2].

Рис. 1. Игра Pokemon Go

Также дополненная реальность накладывалась поверх видео с камеры, никак не учитывая глубину расположения в пространстве. AR-контент был всегда впереди, независимо от того, должен он перекрываться, например впереди стоящим человеком или нет (рисунок 2).

Сейчас же «железо» современных смартфонов на порядок возросло в характеристиках, что дает разработчикам больше свободы в разработке более сложных и ресурсозатратных алгоритмов, в том числе все активнее использовать нейронные сети и машинное обучение.

Рассмотрим наиболее интересные возможности современных AR библиотек.

Перекрытие виртуальных объектов людьми.

Oclussion из ARKit позволяет корректно комбинировать людей и виртуальные объекты в одной AR-сцене (рисунок 3), что позволяет достичь большей реалистичности и решить проблему некорректного отображения.

Рис. 3. До и после применения Oclussion

Как видно на рисунке 3, технология также учитывает дальность расположения людей и виртуальных объектов относительно камеры, т. е. глубину положения. Поддерживается нахождение в кадре несколько людей, а также частей тела, например кистей рук.

Трекинг движения людей.

Motion Capture из ARKit предоставляет функционал по распознаванию и отслеживанию упрощенного скелета человека (рисунок 4). Применений данной технологии масса — новые возможности взаимодействия и управления в приложениях, примерка виртуальной одежды и обуви, использование в играх и образовательных системах, автоматическая оценка корректности действий.

Создание 3D карт окружающей среды.

Dense Spatial Map в EasyAR позволяет создать трехмерную карту и в следствии сгенерировать из нее полотно — меш, заполняющий окружающее пространство и окружающие его реальные объекты (рисунок 5). Данный меш позволяет виртуальным объектам в дополненной реальности корректно взаимодействовать со статичными физическими объектами, имитировать столкновения и перекрытие. Созданная 3D карта может быть сохранена на облачном хранилище и в последующем совместно использоваться различными устройствами в режиме реального времени.

Рис. 5. Просканированная комната

Реалистичное освещение.

Также важной составляющей натурального отображения виртуальных объектов в реальном мире, всегда было освещение. Поэтому, современные фреймворки уже научились оценивать его температуру, направленность света, а также создавать и накладывать реалистичные отражения (рисунок 6).

Рис. 6. Реалистичные отражения

Дополненная реальность вбраузере.

Теперь это просто и удобно (рисунок 7). Google и Apple в своих платформах реализовали эту функцию и теперь не нужно предварительно скачивать приложения чтобы испытать возможности AR или просто узнать что это такое.

Рис. 7. AR в Google Chrome

Литература:

1. Дополненная реальность — https://blog.dti.team/dopolnennaya-realnost/
2. Берешь телефон, сканируешь пространство — https://meduza.io/feature/ 2017/09/04/beresh-telefon-skaniruesh-prostranstvo-i-tvoya-komnata-prevraschaetsy a-v-pescheru
3. ARKit vs ARCore — https://medium.com/@scudkot/arkit-vs-arcore-e8f4f1d7bd45
4. EasyAR Sense — https://www.easyar.com/view/sdk.html
5. Augmented reality for the web — https://developers.google.com/web/updates/ 2018/06/ar-for-the-web