ДонНТУ   Портал магистров

Реферат по теме магистерской работы
Программный комплекс анализа видеозаписей футбольных матчей

Содержание

Введение

Компьютерное зрение – актуальная область научных исследований. Быстрое развитие вычислительных средств, расширение их возможностей является главным фактором все более широкого внедрения методов компьютерного зрения в различные сферы научной и практической деятельности.

Важной социальной сферой, где активно применяются компьютерные технологии, является спорт. Актуальной задачей здесь является сбор и анализ статистических данных. Особенно актуально это для футбола, который очень популярен и динамично расширяет границы своих поклонников.

Спорт – источник здоровья для каждого человека. Неблагоприятная демографическая ситуация в Украине требует активизации в привлечении населения, и прежде всего молодого поколения, к замене вредных привычек на занятия спортом. Как самый популярный вид спорта в мире, футбол является отличным средством подъема общенационального уровня здоровья. Для этого необходимо его массовая популяризация, и она зависит прежде всего от уровня игры украинских команд.

С каждым годом объемы информации увеличиваются, становится критично важной скорость ее обработки. Требования к результатам, качеству и стилю игры постоянно растут. Чтобы удовлетворять требованиям, команды должны постоянно совершенствовать стратегию, тактику и технику игры. Важным инструментом для этого являются видеозаписи футбольных матчей.

Компьютерная автоматизация анализа видеоданных открывает новые возможности для оценки тактико-технических характеристик команд и игроков. Программы сбора информации и компьютерного анализа становятся незаменимыми и очень важными средствами для достижения успехов в футболе. Возрастающая динамика игры требует более точного видения и анализа ситуации на поле.

1. Анализ архитектуры программного комплекса

В системах анализа матчей используются следующие подходы [1]:

  1. Статистические системы анализа на основе видеозаписей – анализ матчей выполняется человеком вручную при просмотре видеозаписей.
  2. Системы отслеживания игроков на основе видеозаписей – стадион оборудуется достаточным количеством камер для покрытия всего поля; объекты на поле автоматически распознаются из видеозаписей.
  3. Электронные системы отслеживания – их действие основано на использовании микрочипов, размещаемых на игроках/судьях/мяче и дальнейшем отслеживании их перемещения с помощью радиоволн.

Известные программы для автоматического анализа футбольных матчей – ProZone и Amisco Pro, которые используются популярными клубами Chelsea и Liverpool [2, 3].

Принципы работы системы отслеживания игроков на основе видеозаписей состоят в следующем:

  1. Стадион оборудуется видеокамерами для покрытия всего поля. Каждая точка поля должна покрываться минимум 2 камерами, что повышает точность распознавания объектов (рис. 1).
  2. Видеозаписи синхронизируются между собой, затем проводится автоматический анализ передвижения футболистов. В результате определяются наборы объектов и координаты этих объектов на поле.
  3. Полученные данные подвергаются анализу и визуализации. Возможна корректировка полученных данных и внесение новых сведений о матче, которые не могут распознаваться автоматически. Результатами этапа являются статистические отчеты и экранная визуализация.
Пример расположения видеокамер

Рисунок 1 – Пример расположения видеокамер

Архитектура программного комплекса анализа видеозаписей футбольных матчей приведена на рис. 2 [4]. Программный комплекс предназначен для распознавания видеозаписей матчей, визуализации результатов и расчета статистических характеристик о тактических действиях и физической подготовке команд и игроков.

Архитектура программного комплекса анализа видеозаписей футбольных матчей

Рисунок 2 – Архитектура программного комплекса анализа видеозаписей футбольных матчей

Программный комплекс обеспечивает: запись и хранение видеозаписей матчей; синхронизацию видеозаписей с различных камер; поиск и отслеживание объектов в видеозаписях; статистический анализ данных после поиска и отслеживания; визуализацию полученных результатов.

2. Описание подсистем ввода и предварительной обработки

Подсистема ввода обеспечивает запись и дальнейшее сохранение матчей (рис. 3).

Кадр видеозаписи футбольного матча

Рисунок 3 – Кадр видеозаписи футбольного матча

Централизованный модуль обработки видеозаписей записывает потоки данных от видеокамер в файлы с уникальными идентификаторами. Идентификатор включает id камеры, день матча и названия команд. Видеозаписи хранятся в дереве каталогов с иерархией видеозапись/ матч/игровой день/турнир.

Модуль генерации отчетов о состоянии хранилища формирует статистику о количестве видеозаписей для одного матча/дня/турнира, о текущем объеме видеозаписей.

Подсистема предварительной обработки обеспечивает перевод видеозаписей во внутренний формат обработки и дальнейшую синхронизацию данных. Производится предварительная математическая обработка изображений различными фильтрами (Кэнни, Собеля, пороговая фильтрация и др.) для выбора оптимальной стратегии поиска и отслеживания объектов в видеозаписях в подсистеме обработки (рис. 4). Изображение подвергается бинаризации, удалению лишних деталей и шума, расчету градиента изображения, вычитанию фона, выделению контуров и др.[5-7].

Предварительная обработка видеозаписей

Рисунок 4 – Предварительная обработка видеозаписей

Модуль обработки видеозаписей выполняет кадрирование видео и создание внутреннего формата. Этот формат хранит набор изображений на жестком диске с уникальными идентификаторами. Идентификатор состоит из отметки времени кадра и идентификатора камеры.

Модуль синхронизации обрабатывает внутренние данные и создает таблицу, которая хранит отметки времени и списки изображений с камер.

Модуль визуализации позволяет воспроизводить видеозапись, просматривать отдельные кадры, подвергать их обработке фильтрами.

Модуль отчета о предварительной обработке генерирует статистику о времени, затраченном на обработку видеозаписи/всех видеозаписей матча, наилучших фильтрах для обработки изображения, времени, затраченном на синхронизацию данных и др.

3. Описание подсистемы обработки. Конвейер распознавания и отслеживания объектов в видеозаписях

Подсистема обработки обеспечивает обнаружение и поиск объектов в видеозаписях.

Модуль распознавания и отслеживания подсистемы обработки реализует конвейер обработки с применением библиотеки OpenTL (рис. 5)[8].

Конвейер распознавания и отслеживания объектов в видеозаписях (анимация: 5 кадров, 5 циклов повторения, 106 килобайт)

Рисунок 5 – Конвейер распознавания и отслеживания объектов в видеозаписях
(анимация: 5 кадров, 5 циклов повторения, 106 килобайт)

Модуль формирования исходных данных для анализа создает файлы с траекториями перемещения игроков для каждой обработанной видеозаписи.

Модуль генерации отчетов об обработке вычисляет статистику о результатах обработки: количество обнаруженных объектов; количество потерянных объектов; количество обработанных кадров; количество обработанных видеозаписей и др.

В каждом такте конвейер получает одно или несколько изображений. В изображениях производится поиск новых и потерянных объектов. Объект представляется математической моделью (видами степеней свободы и движения) и состоянием (положением в кадре, скоростью и ускорением). Выполняется их сравнение с набором существующих объектов и формируется новый набор. Полученный набор объектов передается в байесовский фильтр [8]. Параллельно на этапе предобработки из изображения выделяется информация, независимая от модели и состояния. Это набор заданных визуальных характеристик: пиксели изображения в форматах RGB и HSV, наборы точек, характеризующих свойства изображения – углы, грани, контуры.

На этапе обработки происходит сравнение характеристик, полученных из изображения, и предсказанных характеристик объектов, обработанных с помощью байесовского фильтра [8].

Выходными данными для каждого отслеживаемого объекта являются: вектор Z=<h,z,e,R,H>, где h и z – сравниваемые характеристики, e – разность между ними, R – шум в измерениях, H – якобиан измерений, и вероятности значений характеристик P(z|s),где s – состояние объекта. Для повышения точности отслеживания на данном этапе возможно статическое слияние характеристик объекта, полученные различными методами, в общую характеристику.

С помощью байесовского фильтра для каждого объекта отслеживания решаются две основные задачи: предсказание состояния объекта с использованием динамических моделей и обновление. Могут применяться фильтры Гаусса (на основе фильтров Кальмана) и фильтры Монте-Карло (на основе фильтров частиц) [8].

На последней стадии конвейера производится проверка точности отслеживания после фильтрации. Если точность низкая и объект был потерян, выполняется возврат на этап поиска новых и потерянных объектов.

Ускорение работы разрабатываемых алгоритмов распознавания и отслеживания решается распараллеливанием вычислений с применением графических процессоров CUDA.

Для отслеживания объектов могут применяться методы фрагментов, описанные в [9].

4. Описание подсистем анализа и визуализации результатов

Модуль анализа из подсистемы анализа обеспечивает расчет статистических характеристик игроков и команд.

В ходе анализа технико-тактических действий (ТТД) регистрируются: короткие (до 10 м), средние (до 25 м) и длинные (свыше 25 м) передачи мяча, выполняемые вперед, назад и поперек поля; ведение, отбор и перехват мяча; обводка соперника; игра головой; штрафные и угловые удары; удары по воротам; фолы. Оцениваются физические характеристики игрока (скорость, ускорения, рывки, пройденные расстояния), тактические характеристики (процентное расположение игрока/группы-игроков/команды на поле, построение команды и линий игроков), важные элементы игры (вбрасывания из-за линии поля, положения вне игры, пенальти, голы).

Модуль анализа обеспечивает получение характеристик на основе трех подходов: автоматически на основе координат объектов (скоростные характеристики, расположение на поле); на основе компьютерного анализа с корректировкой экспертом (передачи, удары, ведение мяча); вручную экспертом (пенальти, прыжки, штрафные, фолы).

Модуль генерации отчетов об анализе создает отчеты для подсистемы вывода.

Подсистема вывода обеспечивает вывод результатов работы комплекса на экран и сохранение отчетов.

Модуль визуализации обеспечивает анимацию загруженной модели матча, визуализацию траекторий перемещений объектов на поле (рис. 6), отображение статистических данных, полученных в подсистеме анализа (рис. 7) [10].

Визуализация траекторий

Рисунок 6 – Визуализация траекторий

Скоростные характеристики игрока

Рисунок 7 – Скоростные характеристики игрока

Модуль сохранения отчетов в БД заносит сгенерированные отчеты в базу данных.

Модуль для работы с БД обеспечивает просмотр существующих отчетов, формирование отчетов за период времени и вызов модуля визуализации статистики по данным из БД.

Выводы

На основе методов компьютерного зрения разработана архитектура программного комплекса анализа видеозаписей футбольных матчей. Сформулированы функциональные требования к подсистемам комплекса. Реализованы базовые версии подсистем предобработки, анализа и вывода.

Дополнительные исследования будут проведены для усовершенствования подсистем анализа, вывода и предобработки; реализации систем ввода и обработки; распараллеливания трудоемких вычислительных процессов.

Распараллеливание вычислительных процессов позволит создать высокопроизводительную систему, выполняющую поиск и отслеживание объектов в реальном времени.

Разрабатываемые методы и алгоритмы обработки изображений, поиска и отслеживания объектов в последовательности кадров, алгоритмы подсчета статистических характеристик могут быть использованы при решении широкого класса задач, связанных с обработкой данных о спортивных соревнованиях, в других видеосистемах поиска и анализа объектов по определенным характеристикам, в системах управляемых видеоданными.

При написании данного реферата магистерская работа еще не завершена. Окончательное завершение: декабрь 2012 года. Полный текст работы и материалы по теме могут быть получены у автора или его руководителя после указанной даты.

Литература

  1. Handbook of soccer match analysis / Christopher Carling, A. Mark Williams, and Thomas P. Reilly. – London: Rourtledge,2005. – 163 c.
  2. Сайт компании AMISCO [Электронный ресурс]. Режим доступа: http://www.sport‐universal.com/.
  3. Сайт компании PROZONE [Электронный ресурс]. Режим доступа: http://www.prozonesports.com/index.html.
  4. Кулиш М.Н., Ладыженский Ю.В. Архитектура программного комплекса для обработки и анализа видеозаписей футбольных матчей// Моделирование и компьютерная графика — 2011 / Материалы IV международной научно-технической конференции — 5-8 октября 2011 — Донецк, ДонНТУ — 2011.– c. 166-170.
  5. Форсайт Д., Понс Ж. Компьютерное зрение: Современный подход – М.:Вильямс,2004. – 928 с.
  6. Шапиро Л., Стокман Дж. Компьютерное зрение– М.:Бином,2006. – 752 с.
  7. Курс лекций «Введение в компьютерное зрение» [Электронный ресурс]. Режим доступа: http://courses.graphicon.ru/main/vision/2011/lectures.
  8. Panin G.. Model-based visual tracking : the OpenTL framework – Chicester: John Wiley & Sons,2011. – 318c.
  9. Ладиженський Ю.В., Середа А.О. Відстежування об’єктів у відеопотоці на основі відстежування переміщення фрагментів об’єктів //Наукові праці Донецького національного технічного університету. Серія: «Обчислювальна техніка та автоматизація». Випуск 17 (148). – Донецьк : ДонНТУ, 2009. – 127-134 сс.
  10. Кулиш М.Н., Середа А.А., Ладыженский Ю.В. Визуализация результатов анализа видеозаписей футбольных матчей// Інформатика та комп'ютерні технології — 2010 / Матеріали VI науково-технічної конференції молодих учених та студентів — 23-25 листопада 2010 — Донецьк, ДонНТУ — 2010. – c. 110-115.