ДонНТУ   Портал магістрів

Куліш Максим Миколайович

Факультет комп'ютерних наук та технологій

Кафедра прикладної математики та інформатики

Спеціальність Інженерія програмного забезпечення

Методи комп'ютерного зору для відстежування об'єктів у відеопотоці

Науковий керівник: к.т.н., доц. Ладиженський Юрій Валентинович

Резюме Біографія Реферат

Реферат за темою магістерської роботи
Програмний комплекс аналізу відеозаписів футбольних матчів

Зміст

• Вступ
• 1. Аналіз архітектури програмного комплексу
• 2. Опис підсистем введення та попередньої обробки
• 3. Опис підсистеми обробки. Конвеєр розпізнавання і відстеження об'єктів у відеозаписах
• 4. Опис підсистем аналізу та візуалізації результатів
• Висновки
• Література

Вступ

Комп'ютерний зір – актуальна область наукових досліджень. Швидкий розвиток обчислювальних засобів, розширення їх можливостей є головним фактором все більш широкого впровадження методів комп'ютерного зору у різноманітних сферах наукової та практичної діяльності.

Важливою соціальною сферою, де активно застосовуються комп'ютерні технології, є спорт. Актуальним завданням тут є збір і аналіз статистичних даних. Особливо актуально це для футболу, який дуже популярний і динамічно розширює межі своїх шанувальників.

Спорт – джерело здоров'я для кожної людини. Несприятлива демографічна ситуація в Україні вимагає активізації в залученні населення, і перш за все молодого покоління, до заміни шкідливих звичок на заняття спортом. Як найпопулярніший вид спорту в світі, футбол є відмінним засобом підйому загальнонаціонального рівня здоров'я. Для цього необхідна його масова популяризація, і вона залежить насамперед від рівня гри українських команд.

З кожним роком обсяги інформації збільшуються, стає критично важливою швидкість її обробки. Вимоги до результатів, якості та стилю гри постійно зростають. Щоб задовольняти вимогам, команди повинні постійно вдосконалювати стратегію, тактику і техніку гри. Важливим інструментом для цього є відеозаписи футбольних матчів.

Комп'ютерна автоматизація аналізу відеоданих відкриває нові можливості для оцінки тактико-технічних характеристик команд і гравців. Програми збору інформації та комп'ютерного аналізу стають незамінними і дуже важливими засобами для досягнення успіхів у футболі. Зростаюча динаміка гри вимагає більш точного бачення і аналізу ситуації на полі.

1. Аналіз архітектури програмного комплексу

В системах аналізу матчів використовуються наступні підходи [1]:

1. Статистичні системи аналізу на основі відеозаписів – аналіз матчів виконується людиною вручну при перегляді відеозаписів.
2. Системи відстеження гравців на основі відеозаписів – стадіон обладнується достатньою кількістю камер для покриття всього поля; об'єкти на полі автоматично розпізнаються з відеозаписів.
3. Електронні системи відстеження – їх дія заснована на використанні мікрочіпів, що розміщуються на гравцях / суддях / м'ячі і подальшому відстеженні їх переміщення за допомогою радіохвиль.

Відомі програми для автоматичного аналізу футбольних матчів – ProZone і Amisco Pro, які використовуються популярними клубами Chelsea і Liverpool [2, 3].

Принципи роботи системи відстеження гравців на основі відеозаписів полягають у наступному:

1. Стадіон обладнується відеокамерами для покриття всього поля. Кожна точка поля повинна покриватися мінімум 2 камерами, що підвищує точність розпізнавання об'єктів (рис. 1).
2. Відеозаписи синхронізуються між собою, потім проводиться автоматичний аналіз пересування футболістів. В результаті визначаються набори об'єктів і координати цих об'єктів на полі.
3. Отримані дані піддаються аналізу і візуалізації. Можливе коректування отриманих даних та внесення нових відомостей про матчі, які не можуть розпізнаватися автоматично. Результатами етапу є статистичні звіти і екранна візуалізація.

Архітектура програмного комплексу аналізу відеозаписів футбольних матчів наведена на рис. 2 [4]. Програмний комплекс призначений для розпізнавання відеозаписів матчів, візуалізації результатів і розрахунку статистичних характеристик про тактичні дії та фізичну підготовку команд і гравців.

Програмний комплекс забезпечує: запис і зберігання відеозаписів матчів; синхронізацію відеозаписів з різних камер; пошук і відстеження об'єктів в відеозаписах; статистичний аналіз даних після пошуку і відстеження; візуалізацію отриманих результатів.

2. Опис підсистем введення та попередньої обробки

Підсистема введення забезпечує запис і подальше збереження матчів (рис. 3).

Централізований модуль обробки відеозаписів записує потоки даних від відеокамер у файли з унікальними ідентифікаторами. Ідентифікатор включає id камери, день матчу і назви команд. Відеозаписи зберігаються в дереві каталогів з ієрархією відеозапис / матч / ігровий день / турнір.

Модуль генерації звітів про стан сховища формує статистику про кількість відеозаписів для одного матчу / дня / турніру, про поточний обсяг відеозаписів.

Підсистема попередньої обробки забезпечує переклад відеозаписів у внутрішній формат обробки та подальшу синхронізацію даних. Проводиться попередня математична обробка зображень різними фільтрами (Кенні, Собеля, порогова фільтрація та ін) для вибору оптимальної стратегії пошуку і відстеження об'єктів в відеозаписах в підсистемі обробки (рис. 4). Зображення піддається бінаризації, видаленню зайвих деталей і шуму, розрахунку градієнта зображення, відніманню фону, виділення контурів та ін.[5-7].

Модуль обробки відеозаписів виконує кадрування відео і створення внутрішнього формату. Цей формат зберігає набір зображень на жорсткому диску з унікальними ідентифікаторами. Ідентифікатор складається з позначки часу кадру і ідентифікатора камери.

Модуль синхронізації обробляє внутрішні дані і створює таблицю, яка зберігає позначки часу і списки зображень з камер.

Модуль візуалізації дозволяє відтворювати відеозапис, переглядати окремі кадри, піддавати їх обробці фільтрами.

Модуль звіту про попередню обробку генерує статистику про час, витрачений на обробку відеозапису / всіх відеозаписів матчу, найкращих фільтрах для обробки зображення, часу, витраченого на синхронізацію даних та ін.

3. Опис підсистеми обробки. Конвеєр розпізнавання і відстеження об'єктів у відеозаписах

Підсистема обробки забезпечує виявлення та пошук об'єктів в відеозаписах.

Модуль розпізнавання і відстеження підсистеми обробки реалізує конвеєр обробки з застосуванням бібліотеки OpenTL (рис. 5) [8].

Модуль формування вихідних даних для аналізу створює файли з траєкторіями переміщення гравців для кожного обробленого відеозапису.

Модуль генерації звітів про обробку обчислює статистику про результати обробки: кількість виявлених об'єктів; кількість втрачених об'єктів; кількість оброблених кадрів; кількість оброблених відеозаписів та ін.

У кожному такті конвеєр отримує одне або декілька зображень. У зображеннях проводиться пошук нових і втрачених об'єктів. Об'єкт описується математичною моделлю (видами ступенів свободи і руху) і станом (положенням в кадрі, швидкістю і прискоренням). Виконується їх порівняння з набором існуючих об'єктів і формується новий набір. Отриманий набір об'єктів передається в байєсовський фільтр [8]. Паралельно на етапі передобробки з зображення виділяється інформація, незалежна від моделі і стану. Це набір заданих візуальних характеристик: пікселі зображення в форматах RGB і HSV, набори точок, що характеризують властивості зображення – кути, грані, контури.

На етапі обробки відбувається порівняння характеристик, отриманих із зображення, і передбачених характеристик об'єктів, оброблених за допомогою байєсівського фільтра [8].

Вихідними даними для кожного відстежуваємого об'єкту є: вектор Z = <h,z,e,R,H>, де h і z – порівнювані характеристики, e – різниця між ними, R – шум у вимірах, H – якобіан вимірювань, та ймовірності значень характеристик P (z|s), де s – стан об'єкта. Для підвищення точності відстеження на даному етапі можливо статичне злиття характеристик об'єкта, отримані різними методами, в загальну характеристику.

За допомогою байєсовського фільтра для кожного об'єкта відстеження вирішуються дві основні задачі: передбачення стану об'єкта з використанням динамічних моделей і оновлення. Можуть застосовуватися фільтри Гаусса (на основі фільтрів Кальмана) і фільтри Монте-Карло (на основі фільтрів частинок) [8].

На останній стадії конвеєра проводиться перевірка точності відстежування після фільтрації. Якщо точність низька і об'єкт був втрачений, виконується повернення на етап пошуку нових і втрачених об'єктів.

Прискорення роботи розроблюваних алгоритмів розпізнавання і відстеження вирішується розпаралелюванням обчислень із застосуванням графічних процесорів CUDA.

Для відстеження об'єктів можуть застосовуватися методи фрагментів, описані в [9].

4. Опис підсистем аналізу та візуалізації результатів

Модуль аналізу з підсистеми аналізу забезпечує розрахунок статистичних характеристик гравців і команд.

В ході аналізу техніко-тактичних дій (ТТД) реєструються: короткі (до 10 м), середні (до 25 м) і довгі (понад 25 м) передачі м'яча, що виконуються вперед, назад і впоперек поля; ведення, відбір та перехоплення м'яча; обведення суперника; гра головою; штрафні та кутові удари; удари по воротах; фоли. Оцінюються фізичні характеристики гравця (швидкість, прискорення, ривки, пройдені відстані), тактичні характеристики (процентне розташування гравця / групи-гравців / команди на поле, побудова команди і ліній гравців), важливі елементи гри (вкидання через лінії поля, положення поза ігри, пенальті, голи).

Модуль аналізу забезпечує отримання характеристик на основі трьох підходів: автоматично на основі координат об'єктів (швидкісні характеристики, розташування на полі); на основі комп'ютерного аналізу з коригуванням експертом (передачі, удари, ведення м'яча); вручну експертом (пенальті, стрибки, штрафні, фоли ).

Модуль генерації звітів про аналіз створює звіти для підсистеми виводу.

Підсистема виведення забезпечує виведення результатів роботи комплексу на екран і збереження звітів.

Модуль візуалізації забезпечує анімацію завантаженої моделі матчу, візуалізацію траєкторій переміщень об'єктів на полі (рис. 6), відображення статистичних даних, отриманих в підсистемі аналізу (рис. 7) [10].

Модуль збереження звітів в БД заносить згенеровані звіти в базу даних.

Модуль для роботи з БД забезпечує перегляд існуючих звітів, формування звітів за період часу і виклик модуля візуалізації статистики за даними з БД.

Висновки

На основі методів комп'ютерного зору розроблена архітектура програмного комплексу аналізу відеозаписів футбольних матчів. Сформульовано функціональні вимоги до підсистем комплексу. Реалізовано базові версії підсистем передобробки, аналізу і виводу.

Додаткові дослідження будуть проведені для удосконалення підсистем аналізу, виведення і передобробки; реалізації систем введення і обробки; розпаралелювання трудомістких обчислювальних процесів.

Розпаралелювання обчислювальних процесів дозволить створити високопродуктивну систему, що виконує пошук і відстеження об'єктів в реальному часі.

Розроблювані методи та алгоритми обробки зображень, пошуку і відстеження об'єктів в послідовності кадрів, алгоритми підрахунку статистичних характеристик можуть бути використані при вирішенні широкого класу задач, пов'язаних з обробкою даних про спортивні змагання, в інших відеосистемах пошуку та аналізу об'єктів за певними характеристиками, в системах керованих відеоданими.

При написанні даного реферату магістерська робота ще не завершена. Остаточне завершення: грудень 2012 року. Повний текст роботи і матеріали по темі можуть бути отримані у автора або його керівника після зазначеної дати.

Література

1. Handbook of soccer match analysis / Christopher Carling, A. Mark Williams, and Thomas P. Reilly. – London: Rourtledge,2005. – 163 c.
2. Сайт компанії AMISCO [Електронний ресурс]. Режим доступу: http://www.sport‐universal.com/.
3. Сайт компанії PROZONE [Електронний ресурс]. Режим доступу: http://www.prozonesports.com/index.html.
4. Кулиш М.Н., Ладыженский Ю.В. Архитектура программного комплекса для обработки и анализа видеозаписей футбольных матчей// Моделирование и компьютерная графика — 2011 / Материалы IV международной научно-технической конференции — 5-8 октября 2011 — Донецк, ДонНТУ — 2011.– c. 166-170.
5. Форсайт Д., Понс Ж. Компьютерное зрение: Современный подход – М.:Вильямс,2004. – 928 с.
6. Шапиро Л., Стокман Дж Компьютерное зрение– М.:Бином,2006. – 752 с.
7. Курс лекцій Введение в компьютерное зрение [Електронний ресурс]. Режим доступу: http://courses.graphicon.ru/main/vision/2011/lectures.
8. Panin G.. Model-based visual tracking : the OpenTL framework – Chicester: John Wiley & Sons,2011. – 318c.
9. Ладиженський Ю.В., Середа А.О. Відстежування об’єктів у відеопотоці на основі відстежування переміщення фрагментів об’єктів //Наукові праці Донецького національного технічного університету. Серія: Обчислювальна техніка та автоматизація. Випуск 17 (148). – Донецьк : ДонНТУ, 2009. – 127-134 сс.
10. Кулиш М.Н., Середа А.А., Ладыженский Ю.В. Визуализация результатов анализа видеозаписей футбольных матчей// Інформатика та комп'ютерні технології — 2010 / Матеріали VI науково-технічної конференції молодих учених та студентів — 23-25 листопада 2010 — Донецьк, ДонНТУ — 2010. – c. 110-115.