Использование VR для обучения хирургов манипуляциям в области минимально-инвазивной хирургии является принципиально новым подходом, позволяющим проводить обучение более безопасно, без риска пострадать или случайно повредить оборудование. Однако подходящих для этого контроллеров на данный момент нет на рынке. Предлагаемая система позволит напрямую использовать для обучения данные от видеонаблюдений за проведением операций крупными специалистами в области, контролируя правильность выполнения манипуляций путём сравнения с таковыми у опытных врачей.
В рамках текущей научной деятельности планируется изучение движений кисти хирурга при проведении эндоваскулярных вмешательств и определение их параметров. В ходе выполнение работы были структурированы и обобщены данные об анатомических плоскостях рук, изучены основы конструирования роботизированных манипуляторов и изучены существующие таксономии движений кисти руки. Также были промоделированы движения кисти человека и разработан стенд для съемки движений рук хирурга и разработан макет кисти для проведения экспериментальных лабораторных исследований по определению типов движения.
В ходе работ планируется использовать различные методы обработки сигналов, технологии 3D моделирования, создания печатных плат и статистической обработки экспериментальных данных, а также создание носимой учебной перчатки, позволяющей в режиме реального времени отслеживать траекторию движения как кисти, так и каждого её пальца, с отражением в виртуальной реальности правильности перемещения кисти и её пальцев.
Для определения типа движения по результатам трекинга рук хирурга была применена скелетная модель, в которой 19 точек соответствуют расположению суставов пальцев, одна точка соответствует области пясти и одна — запястья. Создана трёхмерная модель кисти для анализа простых движений (совершаемых в одной плоскости, таких как сгибание/разгибание и отведение/приведение) (Рисунки 1 и 2).
Рис. 1. Окно исследования движения «Сгибание и разгибание в лучезапястном суставе»
Рис. 2. Окно исследования движения «Сгибание и разгибание пальцев»
