Рис. 1 — Расположение камер A-H и покрытие ими футбольного поля.
Источник: Інформаційні управляючі системи та комп’ютерний моніторинг (ІУС та КМ-2011) / Материіали IІ всеукраїнської науково-технічної конференції студентів, аспірантів та молодих вчених – 11-13 травня 2011р., Донецьк, ДонНТУ. – 2011. – с. 27-31
Спортивные события занимают важную часть в современном обществе. В спортивной индустрии задействованы миллионы человек по всему миру. Ежегодно тратятся значительные средства на подготовку, проведение, обеспечение различных спортивных соревнований. Спортивные достижения повышают престиж страны, региона. Поэтому развитие технических средств, помогающих улучшить качество подготовки спортсменов являются важным вопросом для спортивных клубов, федераций и других организаций. Анализ поведения, стиля игры команды противника может помочь разработать правильную тактику поведения во время состязания.
В Украине одним из наиболее популярных видов спорта является футбол. Поэтому есть потребность в системах, которые анализируют поведение футболистов во время футбольного матча. Этот вопрос уже являлся предметом научных исследований в работах [1], [2]. Однако в этих работах были рассмотрены методы анализа видеопотока с одной камеры. У такого метода есть значительный недостаток — низкая точность определения объектов при частичном или полном перекрытии.
Решить эту проблему можно с помощью использования нескольких камер, обозревающих одинаковые участки поля с разных сторон. В данной работе был произведен анализ существующих методов отслеживания и анализа спортивных событий с помощью нескольких камер.
В [3] предоставлена архитектура и алгоритмы, использующие несколько камер для отслеживания движений футболистов во время матча. Авторы приняли некоторые ограничения, которые позволяют упростить решение задачи. Распознаются не конкретные игроки, а только принадлежность их к какой-либо из пяти категорий, соответственно их форме: полевые игроки первой команды, голкипер первой команды, полевые игроки второй команды, голкипер второй команды, рефери. Отслеживание движения мяча не рассматривается.
Аппаратная часть системы состоит из 8 видеокамер, расположенных в разных частях стадиона (см. рис.1), и 9 компьютеров, обрабатывающих поступающую информацию. Восемь из них подключены к камерам, один обобщает информацию и генерирует выходной файл. Выходной файл содержит координаты траекторий движения обнаруженных объектов во время игры и класс, к которому они принадлежат.
Рис. 1 — Расположение камер A-H и покрытие ими футбольного поля.
Выбор местоположения и направления камер определяется с учетом размера и других особенностей стадиона и требования наилучшего обзора футбольного поля. Компьютер, подсоединенный к видеокамере называется “Сервер Характеристик”. Компьютер, обрабатывающий информацию от Серверов Характеристик называется Трекер.
Работа системы (см. рис.2) организована следующим образом. Трекер посылает широковещательный запрос на Сервера Характеристик. Каждый Сервер читает кадры из соответствующей ему камеры, определяет находящиеся в кадре объекты и их характеристики. Затем эти характеристики отправляются Трекеру, который интегрирует полученную информацию в единый образ происходящего на поле. Трекер получает только вычисленные Серверами характеристики, без визуальной информации.
Ввиду отсутствия видеоданных на Трекере ему необходимо предоставить достаточно информации, для того, чтобы полностью восстановить ситуацию на футбольном поле. Каждая характеристика, генерируемая Сервером Характеристик, состоит из двумерного плана поля, ограничительной рамки отслеживаемого объекта, погрешности положения объекта и оценки принадлежности к категории. Также передается идентификационный номер Сервера Характеристик для установки связей траекторий между различными камерами.
Реализации связи Трекера и Серверов Характеристик по принципу “запрос-ответ” позволяет решить проблему синхронизации между всеми камерами, которые есть в системе. Синхронизация характеристик с разных серверов реализуется Трекером на основе временных меток, которые сохраняются при отправке запроса и которыми отмечены все ответы Серверов Характеристик.
В задачи Сервера Характеристик входит получение видеопотока с соответствующей камеры, поиск изменившихся частей в кадре, определение их характеристик и определение категорий, к которым принадлежат найденые объекты.
Вначале выполняется определение изменений в кадре. Начальное состояние кадра генерируется смесью Гауссовых наборов и известно заранее. Затем начальное состояние вычитается из очередного кадра видеопотока, что в результате дает изменившиеся фрагменты кадра. Затем происходит распознавание отдельных объектов в кадре [4]. Для этого используется фильтр Калмана. В качестве его параметров выступают ограничительная рамка и центроиды координат каждого игрока.
Рис. 2 — Процесс передачи данных в системе отслеживания движения футболистов во время футбольного матча
Для изолированного объекта его замеры получаются сразу после вычитания фона, без применения дополнительных фильтров Калмана, которые добавляют погрешность в модель. В таких случаях погрешность измерения принимается константой, поскольку вычисление фона является попиксельной операцией.
Для групп игроков замеры получаются из оценок их положений, что ведет к росту погрешности координат расположения игрока. На последнем шаге к данным о размере объекта добавляется оценка его категории. Это реализовано с помощью метода гистограмм пересечения [5].
Результатом работы Сервера Характеристик для каждого объекта является вектор из семи элементов. Пять элементов обозначают собой типы формы людей, находящихся на поле (два типа полевой формы, два типа формы голкиперов и рефери). Еще один элемент соответствует объекту “мяч” и последний элемент — “другое”, что включает в себя шум или другие неопознанные объекты на футбольном поле.
Для сопоставления данных о нескольких игроках с нескольких камер, на Трекере также используется трехшаговый алгоритм. На первом этапе найденные характеристики сопоставляются с уже определенными ранее траекториями объектов и эти траектории обновляются. На втором шаге создаются новые траектории объектов для тех характеристик, которые не были сопоставлены уже имеющимся траекториям на первом шаге. В конце фиксированное количество людей в каждой из категорий используется для распознавания членов каждой категории.
В [3] каждый объект на поле описывается состоянием, включающим в себя позицию на поле и ускорение, с которым движется объект в данный момент времени, а также погрешностью и оценкой принадлежности к категории. Состояние обновляется, если это возможно, слиянием замеров с различных камер. От одной камеры для одного замера может быть взята максимум одна характеристика, так как в объективе одной камеры один человек (или другой объект) не может быть отображен два раза. Слияние замеров включает в себя позицию объекта, обобщенную погрешность и обобщенную оценку категории. Если нет доступных замеров для одного из объектов, для обновления состояния берется его предыдущее состояние.
Траектории объектов обновляются замерами с различных камер следующим образом. Для каждой камеры для множества объектов и связанного с ним множества замеров строится ассоциативная матрица. Можно использовать разные ассоциативные методы, например метод ближайшего соседа, метода объединенных вероятностей [6]. Затем единый замер для каждого объекта интегрирует в себя замеры других камер, взвешенные по уровню точности оценок каждой камеры.
После сопоставления замеров с существующими траекториями, могут остаться такие замеры, которые не нашли соответствующей траектории. Все такие замеры с разных камер попарно сверяются для поиска новых объектов. Если расстояние между замерами двух объектов меньше некоего граничного значения, то считается, что найден новый объект.
На последнем этапе, если определено больше 25 объектов, то из них выбираются 25 наиболее правдоподобных и выдаются как результат пользователю. Вероятность попадания в результирующий набор объектов зависит от длительности отслеживания объекта системой, оценки категории и длительности пересечений с другими объектами.
Можно выделить несколько замечаний по поводу работы метода в текущей реализации. Для корректной работы необходимо высокое качество изображения, передаваемое с камеры. Системные ошибки на нескольких камерах могут привести к значительному ухудшению качества распознавания.
В текущей реализации при вхождении в область видимости камеры двух игроков, которые перекрывают друг друга, произойдет распознавание одного объекта, а не двух. Подобный объект, наиболее вероятно, будет отброшен системой, так как его веса при слиянии данных с разных камер будут малы. Однако такое поведение в системе в любом случае будет вносить дополнительную погрешность. Это можно исправить, организовав обратную связь от Трекера к Серверам Характеристик.
Игровые моменты с большим скоплением игроков в одном месте дают неточные результаты оценок, и ошибочные инициализации новых траекторий, когда игроки снова расходятся из точки скопления. В предельном случае, такие ситуации, возможно, неразрешимы и требуют ручной коррекции пользователя.
Система с обратной связью от центрального компьютера к обработчикам видеопотока рассматривается в [7]. Аппаратная часть, как и в [3], содержит отдельные компьютеры для обработки видеопотока с каждой камеры и главный компьютер.
Главный компьютер содержит информацию об объектах системы, а также о том, в области видимости какой камеры находится тот или иной объект. При поступлении данных об объектах в следующий момент времени центральный компьютер обновляет состояние отслеживаемых объектов, объединяя информацию об одних и тех же объектах с разных камер.
Узлы, обрабатывающие информацию с камер, могут отслеживать ситуацию, когда объект уходит из зоны видимости камеры. В таких случаях узлы продолжают обновлять данные об отслеживаемом объекте, исходя из предыдущих состояний объекта: положения, направления, скорости. Однако это увеличивает погрешность в состояние отслеживаемого объекта. Поэтому при потере объекта из зоны видимости камеры, узел сообщает об этом центральному компьютеру. В таком случае центральный процессор перестает учитывать данные, поступающие от узла, утратившего объект. При возврате объекта в зону видимости камеры его состояние на узле обновляется согласно информации, полученной из видеопотока, и центральный процессор возобновляет принятие данных об объекте с данной камеры.
Рассматриваемая система для выделения различных объектов использует алгоритм MPEG-7 Angular Radial Transformation [8]. Для поиска необходимых объектов используется база знаний с контурами отслеживаемых объектов. Затем найденный объект преобразуется в кривые, а затем обрабатывается фильтром Калмана для обновления состояния объекта на узле, обрабатывающем информацию с камеры.
Для объединения данных используется слияние состояний объектов на основе весов, определяемых из погрешностей состояния. Слияние данных возможно с использованием двух методов: сенсор-сенсор, учитывающем только данные, поступающие от узлов-обработчиков видепотока, и сенсор-система, учитывающем данные от обработчиков, а также предыдущие сгенерированные состояния модели.
В рассматриваемой системе необходимо правильно подобрать веса при слиянии данных от узлов-обработчиков видеопотока. Неправильные веса могут привести к ухудшению качества отслеживания. В том числе возможно получение более низкого качества отслеживания, чем при использовании одной камеры.
В ходе анализа архитектур и алгоритмов системы отслеживания объектов с помощью нескольких камер было определено, что система должна удовлетворять ряду требований. Необходимо высококачественное видео-оборудование, которое обеспечит отсутствие дополнительных шумов на изображении, высокая скорость передачи видеоданных от камеры к устройству обработки информации. Алгоритмы системы должны эффективно подавлять шум, возникающий при видеозахвате информации и иметь механизмы отсеивания неправдоподобных данных в случаях неправильного распознавания больших скоплений объектов в одном месте.