ТРЕХМЕРНАЯ АНИМИРОВАННАЯ РЕКОНСТРУКЦИЯ ФУТБОЛЬНОГО МАТЧА ИЗ ВИДЕО


Галиакберов Р.А., Ладыженский Ю.В.

Донецкий национальный технический университет

Кафедра прикладной математики и информатики

Источник: Інформаційні управляючі системи та комп’ютерний моніторинг (ІУС та КМ-2011) / Материіали IІ всеукраїнської науково-технічної конференції студентів, аспірантів та молодих вчених – 11-13 квiтня 2011р., Донецьк, ДонНТУ. – 2011.

Рассмотрена система извлечения информации из двух синхронных видеопотоков и визуализация полученных данных на трехмерной сцене.

Вступление

Футбол является самым популярным видом спорта во всем мире. В последнее время отмечается растущий интерес в использовании компьютеров для повышения удобства просмотра футбольных матчей по телевидению. Помимо отображения времени матча, счета, информации об игроках и статистики команд, возникает необходимость в данных, нужных для лучшего понимания определенных моментов игры. Для этого были разработаны различные системы анализа спортивных соревнований [1]. Они помогают в следующих ситуациях:

1) определение правильности решения арбитра;

2) моделирование ситуаций для дальнейшей отработки на тренировках;

3) анализ моментов игры с различных ракурсов для лучшего понимания происходящего на поле.

Большинство данных систем основываются на видеопотоке, поступающем только с одной камеры. Такой подход рассматривается в работах [2], [3]. Программы, использующие синхронные потоки видео с нескольких камер, применяются только для моделирования полета мяча и не моделируют игроков, обстановку на поле.

Не существует системы, которая порождает анимированные трехмерные сцены из двух различных точек обзора и реалистично моделирует игроков и их движения на игровом поле.

В данной статье представлен анализ спортивной системы, предназначенной для создания трехмерных реконструкций частей футбольного матча, представленных на видео. Система, взаимодействуя с пользователем, анализирует два синхронных видеопотока футбольного матча и генерирует полностью анимированное виртуальное трехмерное представление данной сцены. При этом из видео реконструируется траектория мяча и всех игроков в сцене.


Анализ работы системы


В [4] представлена система реконструкции, разработанная для генерации анимированных, виртуальных трехмерных представлений двух синхронных видео последовательностей небольшого отрывка футбольного матча. После процесса реконструкции, который нуждается также в некотором ручном взаимодействии, полученная трехмерная сцена может быть исследована и воспроизведена с любой точки обзора.

Игроки моделируются в качестве так называемых анимированных текстурных объектов, то есть 2D-форма игрока извлекается из видео и отображается на прямоугольники в 3D-пространстве.

Анимированные текстурированные объекты соответствуют трехмерному представление футболистов в движении, поскольку визуальная природа оригинального человеческого движения сохранена.

Траектории игроков и мяча в трехмерном пространстве восстановлены точно. Чтобы создать трехмерную реконструкцию из данной сцены матча должны быть выполнены следующие шаги:

  1. Вычисление параметров камеры всех структур из обеих последовательностей (калибровка камеры).

  2. Извлечение структуры игрового поля из видео последовательностей.

  3. Вычисление траекторий мяча и голов игроков вычислены после ручного определения их положения в нескольких ключевых кадрах.

  4. Автоматическое извлечение форм игрока из видео.

  5. Автоматическое отделение форм сталкивающихся или перекрытых игроков.

  6. Нанесение форм игроков на соответствующие места в виртуальном пространстве для визуализации.

Общий алгоритм работы системы представлен на рисунке 1.


Рис.1 — Общий алгоритм работы системы.


Работа системы начинается с синхронизации двух видеопотоков. На данном этапе пользователю необходимо задать несколько ориентиров на поле, таких как линии штрафной площадки, ворота, угловой флаг. Ориентиры в обоих видеопотоках должны быть одинаковы, их необходимо задать вручную только на начальных кадрах, далее программа будет автоматически отслеживать их в видео. Калибровка камеры осуществляется по точкам, заданным пользователем.

Для калибровки камеры во всех следующих кадрах применяется отслеживание линий, основанное на корреляционном алгоритме с использованием шаблонов[5].

На следующем этапе происходит извлечение игрового поля из кадров видеопотока. Для этого используется метод, описанный в [6]. Для каждого кадра на входе берется его обратная проекция на камеру. Полученное изображение преобразуется в панорамный вид путем вычисления среднего числа всех значений цвета каждого пикселя во всех кадрах. Таким образом, все движущиеся объекты будут исключены из исходной последовательности.

Вычисление траектории полета мяча осуществляется поэтапно и зависит от ключевых моментов (касание мяча игроком и т. п.). После наступления ключевого момента и до наступления следующего предполагается, что на движение мяча действуют только силы гравитации и ускорения. Пользователь задает положение мяча в ключевых кадрах, а программа автоматически вычисляет траекторию его движения[7].

Следующий важный этап работы системы – определение позиций и траекторий движения игроков. Игрок позиционируется в пространстве положением его головы. Данный подход был выбран из следующих соображений:

  1. голова игрока практически всегда видна в кадре, даже когда несколько игроков находятся близко друг к другу;

  2. перемещение головы игрока происходит не так быстро, как перемещение ног и рук, в связи с чем можно сделать некоторые упрощения в модели игрока.

Отслеживание траектории движения головы игрока происходит по тому же принципу, что и отслеживание мяча, только ключевые кадры, в которых пользователь задает положение объекта в кадре, выбираются системой автоматически через определенные промежутки времени.

Для извлечения фигур футболистов из кадра отнимается фон и полученное изображение бинаризируется. Выделяются фрагменты, соответствующие футболистам на поле. Наиболее сложной задачей на данном этапе является распознавание и отделение друг от друга находящихся близко футболистов. Так как система использует два видеопотока, это во многих случаях позволяет определить расположение каждого игрока[8].

Зная позиции игроков в кадре, извлекаются текстуры, которые будут накладываться на модели игроков в сцене.

Процесс 3D-реконструкции можно считать завершенным, когда определены все игроки, их перемещение и положение мяча во всех кадрах видеопоследовательности.

Подробный алгоритм работы системы представлен на рисунке 1.


Рис.2 — Подробный алгоритм работы системы.



По полученным данным генерируется анимированная трехмерная сцена, которую можно проигрывать с любой точки обзора и воспроизвести положение на поле в анализируемый момент игры.


Заключение


Проведен краткий анализ системы реконструкции трехмерных сцен из двух синхронных видеопотоков. Система способна качественно и быстро смоделировать любую ситуацию на футбольном поле и позволяет просматривать сцену с любой точки обзора. Для ускорения работы распознавания можно автоматизировать некоторые процессы, тем самым уменьшив взаимодействие с пользователем. Система может быть адаптирована для реконструкции сцен во многих других командных видах спорта.



Литература

  1. Orad Hi-Tec Systems. Digital Replay, Virtual Replay, VirtuaLive. http://www.orad.co.il.

  2. Середа А. А. , Ладыженский Ю. В. . «Разработка автоматизированной системы анализа видеозаписей спортивных соревнований.» Доклад на региональной студенческой научно-технической конференции "Інформатика та комп'ютерні технології", ДонНТУ, Донецк, 2005.

  3. Ладиженський Ю.В. А.О. Середа «Відстежування об’єктів у відеопотоці на основі відстежування переміщення фрагментів об’єктів», Наукові праці Донецького національного технічного університету. Серія: «Обчислювальна техніка та автоматизація». Випуск 17 (148). – Донецьк : ДонНТУ, 2009. –с. 127-134.

  4. T. Bebie and H. Bieri, A video-based 3D-reconstruction of soccer games, Eurograics, Vol. 19, Number 3, 2000.

  5. P. Bellutta, G. Collini, A. Verri, and V. Torre. 3D Visual Information from Vanishing Points. In Workshop on Interpretation of 3D Scenes, pages 41–49, 1989.

  6. S. S. Initille and A. F. Bobick. Closed-World Tracking. In Proc. IEEE International Conference on Computer Vision, pages 672–678, 1995.

  7. T. Kim, Y. Seo, and K.-S. Hong. Physics-based 3D Position Analysis of a Soccer Ball from Monocular Image Sequences. In Proc. IEEE International Conference on Computer Vision, pages 721–726, 1998.

  8. Y. Seo, S. Choi, H. Kim, and K.-S. Hong. Where are the ball and players?: Soccer Game Analysis with Colorbased Tracking and Image Mosaick. In Proc. IAPR International Conference on Image Analysis and Processing, pages 196–203, 1997.