Видеотрекинг спортсменов. Помехи и их особенности

Введение.

Современная наука о физиологии и теле человека проявляет интерес к моторике и особенностям движения человеческого тела. Многие аспекты нашего здоровья и физического состояния зависят от того, как мы двигаемся. Ярким тому примером может быть любой спортсмен, ведь от того какие движения и как именно он совершает, зависит то, каких результатов он сможет добиться. То же можно сказать о тех, кто получил какую-либо травму и находится на лечении, то есть наблюдая за их моторикой можно сделать выводы о их физическом состоянии и в некоторой степени сделать выводы о том, что может их беспокоить.

Большое значение в исследованиях подобного рода играют системы видеотрекинга. Видеотрекинг - это способ определения положения одного или нескольких движущихся объектов по их видеоизображению. Применительно к медицине и спорту это определение положения и точной позы спортсмена в процессе выполнения им каких-либо упражнений.

Развитие методов трекинга.

Важным событием в истории развития методов визуального трекинга стало создание в 1981 г. Дж. Лукасом и Т. Канаде алгоритма сопоставления (или регистрации) двух изображений [1]. Этот алгоритм по классификации, предложенной С. Бэкером и И. Мэтьюсом [2], также можно назвать прямым аддитивным алгоритмом. В данном методе используется градиент интенсивности пикселей изображения, а параметры наилучшего совпадения изображений определяются алгоритмом минимизации Ньютона. Лукас и Канаде показали, каким образом можно обобщить этот алгоритм на случаи перемещения, вращения, масштабирования и других моделей движения. Алгоритм [1] стал фактическим стандартом для использования во многих задачах, например, таких как компрессия видео (MPEG и H.263) и трекинг лица и головы человека [3]. В дальнейшем появились многочисленные модификации и аналогичные ему методы, например [4].

Рассмотрим некоторые методы проведения трекинга на видео. По типу необходимого вмешательства извне выделим методы, требующие нанесения определенных маркеров на человека и методы, не требующие наличия маркеров. В качестве маркеров могут выступать специальные отражатели или излучатели (например, светодиоды). В целом подобные методы надежны и точны, однако использование маркеров неудобно и ограничивает движения. Стоит отметить, что методы применяющие маркеры могут быть недопустимы при отслеживании движений спортсмена, так как наличие на его теле датчика, либо метки могут повлиять на его моторику и помешают получить достоверные результаты.

Методы, не использующие маркеры, могут обходиться обычной камерой. По типу используемой камеры выделим методы, работающие с камерой инфракрасного диапазона (IR-камера) [4] и методы, работающие с камерой видимого диапазона. Использование инфракрасной камеры в настоящее время не находит широкого применения.

По количеству используемых камер можно выделить методы отслеживания головы, работающие: с одной (монокулярные), с двумя (стерео) [5], с несколькими камерами [6].

Само по себе проведения трекинга объекта на видеоизображении, является сложной задачей и имеет свои проблемы и трудности. Стоит заострить внимание на нескольких из них, которые имеют особенно большое влияние на результаты слежения за спортсменами. Как правило, наилучшие результаты и наибольшая отдача у спортсменов бывают во время соревнований. Но так как такие мероприятия проходят обычно при большом стечении людей и на больших площадях, это накладывает ряд помех на анализируемый видеофрагмент. Таким образом, можно выделить три основные проблемы при анализе отснятых видеофрагментов.

1. Размытие. В процессе выполнения упражнения движения человека могут быть достаточно быстрые, и обычная камера не может запечатлеть их в подробности. В результате вместо четкого контура получается размытая нечеткая форма, как изображено на рис.1. Так же размытые кадры в видеофрагменте могут получиться из-за движения самой камера, например при резкой смене ракурса съемки.

Рис.1 Размытое движение спортсмена.

2. Освещенность. Освещенность объекта динамична и меняется со временем. Особенно большое влияние имеет резкое изменение освещенности, что может вызвать срыв отслеживания, к таким резким изменениям можно отнести вспышки фотоаппаратов.

3. Движение в кадре. Движется не только человек или камера, но и все вокруг них. В случае съемки спортсмена (передний план) это могут быть другие участники, тренеры, помощники, болельщики и так далее (задний план). Все это приводит к тому, что в процессе обработки данных могут, возникают помехи в виде перекрытия объекта, либо появления в кадре объекта очень похожего на анализируемый, что в свою очередь приведет к нежелательным сбоям и к искажению данных.

Рис. 2. Движение заднего фона

Рассмотрим существующие решения этих проблем. Решения проблемы размытости может послужить алгоритм разработанный Рамеш Раскаром[7].Основная идея алгоритма состоит в том, что объект записывается с разной PSF(point-spread function) частотой функцией и частотные провалы одного кадра заполняются другими кадрами. Комбинирование полученной последовательности и помогает устранить размытость. Так же эту проблему можно решить, используя высокоскоростную камеру.

Используя смесь нормальных распределений можно создать такой алгоритм, который создает попиксельную модель сцены и с поступлением каждого нового кадра обновляет модель и классифицирует каждый пиксель как принадлежащий к заднему или к переднему плану. Используя и обучая такую модель можно создать алгоритм способный решить проблему, связанную с освещенностью и с посторонним движением в кадре.

Отдельно стоит обсудить быстродействие алгоритмов отслеживания движений. Видео, даже самого плохого качества, представляет собой большой массив данных. В случае с видео плохого и среднего качества, это объем информации порядка сотен мегабайт, видео с хорошим качеством может иметь значительно больший объем, от одного гигабайта и выше. Однако большая часть этого массива не представляет для нас интереса и в получении данных не участвует. Как правило, предметом отслеживания становится группа пикселей, поиск которой на изображении производится в области определенной формы и размера: круг, квадрат, треугольник и т.д. Размер и форма этой области имеет значительное влияние на быстродействие алгоритма.

Рассмотрим схему работы на примере алгоритма, где область поиска представляет собой квадрат. Допустим, что область поиска это квадрат со сторонами 10 на 10 пикселей (рис 3) то, есть надо проанализировать 100 пикселей.

Рис3. Область поиска квадрат со стороной 10 пикселей.

Это небольшой объем информации, однако если, искомая группа, пикселей не входит в анализируемую область, необходимо будет увеличить эту область. Например, вместо квадрата со стороной 10 пикселей, будет анализироваться квадрат со стороной 50 пикселей (рис 4), то объем информации увеличится со 100 пикселей до 2500, что представляет собой значительный массив данных.

Рис 4. Область поиска квадрат со стороной 50 пикселей

Такую проблему можно решить следующим образом. В процессе отслеживания движений, можно предугадать, где на следующем кадре будет находиться, интересующая нас группа пикселей, так как движения спортсменов, выполняющих одно и то же упражнение, идут по одинаковым траекториям. Следовательно, если вычислить вектор движения, искомой группы, то в области поиска можно, выделить ту ее часть, в которой наиболее вероятно присутствие искомой группы пикселей. Таким образом, можно в значительной мере увеличить быстродействие алгоритмов анализа.

Литература:

1.Lucas B. An Iterative Image Registration Technique with an Application to StereoVision / B.D. Lucas, T. Kanade // Proc. 7th Intnl. Joint Conf. on Artificial Intelligence. –Vancouver, British Columbia, 1981. – P. 674–679.

2.Baker S. Lucas-Kanade 20 Years On: A Unifying Framework: Part 1 / S. Baker, I.Matthews // Tech. report CMU-RI-TR-02-16, Robotics Institute, Carnegie MellonUniversity. Pittsburg, 2002. – 47 p.

3.Robust Full-Motion Recovery of Head by Dynamic Templates and ReregistrationTechniques / J. Xiao, T. Moriyama, T. Kanade, J. Cohn // Intnl. Journal of Imaging Systemsand Technology – N.Y.: Wiley. 2003. – Vol. 13. – P. 85–94.

4.Hager G. Efficient Region Tracking With Parametric Models of Geometry andIllumination / G. Hager, P. Belhumeur // IEEE Tran. Pattern Analysis and MachineIntelligence. – Washington, DC: IEEE Computer Society, 1998. – Vol. 20. – P. 1025–1039.

5.Morency L. Stereo Based Head Pose Tracking Using Interactive Closest

Point and Normal Flow Constraint // Master thesis, AI Tech. Report 2003-

006. 2003. 60 P.

6. 10.Ashdown M. Combining Head Tracking and Mouse Input for a GUI on

Multiple Monitors / M. Ashdown, K. Oka, Y. Sato // Proc. of Conf. Human

Factors in Computing Systems, Portland, OR, USA. 2005. P. 1188–1191.

7. Invertible motion blur in video / Amit Agrawal, Yi Xu, Ramesh Raskar / ACM Transactions on Graphics (2009)