Программный комплекс для мониторинга транспортных средств по видеоизображению
Оригинал

А.А. Лукьяница, А.Г. Шишкин  
Московский государственный университет им. М.В. Ломоносова, Москва, Россия 
{luk, shishkin}@ic.msu.su 
 

Аннотация

В настоящей работе проведен как теоретический, так и практический анализ методов и алгоритмов для создания программных компонентов системы мониторинга транспортных средств по видеоизображению. В результате исследования был определен набор модулей, составляющих систему видеонаблюдения, и сделаны заключения относительно создания системы мониторинга. Полученные результаты позволяют создать эффективную систему видеонаблюдения, конкурентоспособную на современном рынке программного обеспечения.

Ключевые слова: Видеоизображение, транспортное средство, обнаружение, трекинг, классификация, мониторинг.

1. Введение

Обработка видеоизображений, представленных последовательностью оцифрованных кадров, в настоящее время широко используется в различных сферах человеческой деятельности. Одной из наиболее сложных и актуальных задач обработки видеоизображений является проблема выделения и распознавания движущихсяобъектов в условиях действия различного рода помех и возмущений и создание на этой основе систем мониторинга. Главная задача таких систем — информировать человека о сложившейся ситуации на наблюдаемом объекте и по возможности предпринять какие-либо заранее предусмотренные или программно заложенные действия.

Процесс построения указанных систем представляет собой сложную технологическую цепочку, включающую обработку цифрового изображения с целью выделения значимой информации и анализ этой информации для решения определенной задачи. Идеальным вариантом представляется создание универсальной адаптивной системы, которая в условиях возможных ограничений обеспечивала бы эффективный мониторинг объекта.

Условно анализ видеоизображений в таких системах можно разделить на следующие этапы:

• обнаружение движущихся объектов;
• классификация движущихся объектов;
• отслеживание траектории движения интересующихобъектов;
• распознавание типов и действий обнаруженных объектов.

Обнаружение движущихся объектов, заключающееся в выделении переднего плана, является основным для дальнейшего анализа. От того, насколько аккуратно и корректно решена эта задача, зависят все последующие этапы, а также требуемые вычислительные ресурсы. Именно поэтому огромное количество работ посвящено методам детектирования движущихся объектов. Дополнительную сложность здесь создают внезапное изменение освещенности, падающие тени, движение ветвей деревьев на ветру и др.

На этапе классификации обнаруженные движущиеся объекты соотносятся с заранее определенными классами: автомобили, люди, животные, колышущиеся ветви деревьев. В настоящее время существует два основных подхода для различения движущихсяобъектов– контурные методы (shape-based) и методы, основанные на движении (motion-based). Первые используют двумерную пространственную информацию об объекте, а вторые - изменение характерных параметров объекта во времени.

Следующий этап – отслеживание траектории (трекинг) всех движущихся объектов. На этом этапе выявляется временное соответствие между детектированными объектами от кадра к кадру. При этом обеспечивается временная идентификация выделенных областей изображения и определяется соответствующая информация об объектах в наблюдаемой зоне, а именно, траектория, скорость и направление движения. Результаты данного этапа обычно также используются для верификации информации, полученной на предыдущих этапах.

На заключительном шаге обработки видеоизображений проводится распознавание и описание действий выделенных объектов. Обычно это простое соотнесение их с одним из высказываний типа: «автомобиль выехал с парковочного места и подъехал к воротам».

С учетом сказанного, целями настоящей работы являются:

• анализ существующих и разработка новых методов, алгоритмов и экспериментального программного обеспечения для решения задач обработки видеоизображений и структурного анализа сцен в системе мониторинга транспортных средств (ТС) (обнаружение ТС, классификация ТС, определение координат ТС, определение параметров движения и т.п.). 

• исследование влияния временных условий мониторинга ТС (день/ночь) на качество работы алгоритмов.

• исследование влияния погодных условия мониторинга ТС (дождь, снег) на качество работы алгоритмов.

• исследование возможности селекции групповых целей.

• определение допустимых диапазонов углов наблюдения за ТС.

• определение допустимых диапазонов линейных размеров ТС на анализируемом изображении.

• определение допустимых направлений движения ТС относительно телекамеры.

• создание программного комплекса, демонстрирующего выполнение разработанных алгоритмов.

С учетом целей работы, особое внимание уделено исследованию следующих вопросов:

• Обнаружение ТС на динамическом изображении .

• Распознавание класса и габаритов обнаруженного ТС (мотоцикл / легковой автомобиль / грузовик или автобус).

• Сопровождение ТС в зоне наблюдения на динамическом изображении.

• Определение относительных координат обнаруженного ТС.

• Определение события «остановка ТС в зоне наблюдения».

• Определение события «начало движения неподвижного ТС в зоне наблюдения».

• Обнаружение ТС на статическом изображении (отдельном кадре).

2. Основные блоки программного комплекса

Несмотря на то, что в мире создается большое число систем для различных видов мониторинга, проведенный нами анализ показал, что последовательность обработки видеосигнала в этих систем осуществляется по похожим алгоритмам. Типовая система, как правило, состоит из шести модулей.

1. Предварительная обработка изображения

Обычно сигналы, получаемые от видеокамеры, имеют невысокое качество. Камеры, как правило, работают на улице, часто в неблагоприятных погодных условиях, снижающих качество изображения. Для улучшения качества изображения, как правило, проводят предварительную обработку. Среди наиболее часто применяемых методов такой обработки используют различные виды фильтрации и сглаживания изображения. Кроме того, при использовании короткофокусных камер должна проводиться компьютерная компенсация сферической и других аберраций.

2. Обнаружение движущихся объектов

Этот этап является крайне важным, поскольку именно он определяет дальнейшее качество системы в целом. В принятой терминологии считается, что движущиеся объекты принадлежат «переднему плану», а стационарные – к «заднему плану», который часто называют фоном. Процесс обнаружения движущихсяобъектовчасто называют процессом выделения переднего плана. Для выделения движущихсяобъектов используют методы, основанные на вычитании фона, вероятностные методы, методы временного отличия и оптического потока.

Методы вычитания фона строят модель заднего плана сцены на основе попиксельного сравнения текущего значения и построенного на предыдущих шагах. В вероятностных моделях изменение значений пикселей во времени рассматривается как «пиксельный процесс», т.е. временной ряд, который для каждого пикселя характеризуется своей функцией распределения.  Методы временной разности отделяют передний план от фона путем попиксельного вычитания двух или большего числа последовательных кадров. Методы оптического потока основаны на том, что у движущихсяобъектов можно вычислить направление и величину скорости для каждого пикселя.

3. Классификация объектов

На видеоизображении могут присутствовать различные движущиеся объекты: автомобили, автобусы, мотоциклы, люди, группы людей, животные и т.п. Конечной целью видеонаблюдения является выявление нештатных ситуаций, поэтому крайне важно правильно классифицировать обнаруженные объекты. Методы классификацииобъектов можно разделить на две большие группы: геометрические и динамические методы. К геометрическим методам относятся различные варианты методов сегментирования изображений и контурные методы. В основе этих методов лежит идея выделения признаков, характеризующих геометрическую форму объекта, с последующей классификацией объектов на основе этих признаков. Динамические методы используют периодичность двигательных процессов, присутствующих у большинства объектов. Например, у человека во время ходьбы можно выделить повторяющиеся через определенное время характерные позы.

4. Трекинг (сопровождение) объектов

Целью трекинга является установление соответствия между объектами или их частями в последовательности кадров, а также определение их траекторий и скорости движения. Особую сложность этой задаче придают изменения ракурсов объектов во время движения, а также их частичное или полное перекрытие, когда один объект полностью загораживает другой.

5. Определение координат объектов

При осуществлении видеонаблюдения для выявления различных внештатных ситуаций необходимо знать координаты обнаруженных объектов, а также уметь соотносить их с координатами на местности. Эта задача часто называется задачей геолокации, т.е. представление объектов на реальной трехмерной сцене. Отметим, что для движущейся камеры с изменяющимся увеличением необходимо применять процедуру калибровки камеры.

6. Принятие решения о подаче сигнала тревоги

Для большинства систем мониторинга этот модуль является последним при осуществлении наблюдения. Он характеризует реакцию всей системы на обнаружение заранее обусловленных внештатных ситуаций, таких как нарушение ПДД, аварии и т.п. В определенном смысле данный модуль неразрывным образом связан с системой определения координат объектов, хотя может быть реализован автономно. Результатом его работы является оповещение оператора о возникновении заданной ситуации либо выделением соответствующего объекта, либо звуковым сигналом, либо наведением другой камеры на объект и т.п.

3. Численный эксперимент

Для оценки эффективности наиболее интересных в теоретическом плане алгоритмов была разработана программа на С++ для Windows. Данная программа может использоваться в трех режимах, выбор которых производится в главном меню, а именно:

1. Слежение за объектами, их классификация, определение скорости и направления движения.
2. Контроль пересечения запрещенной линии (пересечение двойной разграничительной линии и парковка в неположенном месте)
3. Парковка, т.е. фиксирование фактов занятия ТС определенных областей и их освобождение.

На основании большого числа численных экспериментов можно сделать следующие выводы:

1. Использование цветной видеокамеры более предпочтительно, чем черно-белой, поскольку как процесс выделения движущихся объектов, так и их классификация для цветных изображений приводят к лучшим результатам.
2. Оптимальными методами для выделения фона являются статистические методы, поскольку они наиболее устойчивы к плавным и резким изменениям освещенности и к атмосферным помехам, таким как дождь. В то же время по быстродействию они всего в несколько раз уступают методам вычитания фона и временной разности. Методы оптического потока при современных вычислительных мощностях не подходят для задач реального времени.
3. Для классификации объектовнаиболее эффективными оказались методы, основанные на K-means кластеризации и контурные методы. Агломеративные методы не могут быть использованы в реальном времени.
4. Качество работы системы в целом существенно зависит от высоты крепления камеры. Здесь применим простой принцип: чем выше, тем лучше.
5. Размеры ТС влияют на процесс классификации и трекинга. Экспериментально установлено, что инсталляция системы мониторинга должна осуществляться таким образом, чтобы размер ТС в зоне наблюдения был не менее 3% от размеров кадра в ширину или в высоту.
6. От углов направления движущихсяобъектов(или, что то же самое, от угла наблюдения) зависит точность определения скорости. Если для классификации используется какой-либо из примитивных методов, например, аспектное отношение минимально возможного прямоугольника, то в некоторых случаях от угла направления ТС зависит точность классификации.
7. Временные условия (день/ночь) и погодные условия (дождь, снег) влияют только на процесс выделения переднего плана. Если для этих целей использовать вероятностные методы, которые способны адаптироваться к условиям наблюдения, то можно резко снизить зависимость качества работы системы от внешних условий.
8. Селекция групповых целей частично решается при трекинге объектов. Однако добиться хорошего качества можно лишь при создании большой базы данных, содержащей изображения разнообразных ТС, с последующим обучением на ней распознающей системы, основанной на нейросети или методе опорных векторов.

4. Заключение

В настоящей работе проведен как теоретический, так и практический анализ компонентов, лежащих в основе типичной системы для видеомониторинга. Сделанные выводы позволят создать эффективную систему видеонаблюдения, конкурентоспособную на современном рынке программного обеспечения.

Статья написана по результатам исследований, выполненных авторами по заказу компании «Ай Ти Ви групп» (http://www.itv.ru).

5. Библиография

1. L. Wang, W. Hu, and T. Tan. Pattern Recognition, 36(3):585–601, 2003.
2. C. R. Wren, A. Azarbayejani, T. J. Darrell and A. P. Pentland. IEEE Pattern Recognition and Machine Intelligence, 19(7):780–785, 1997.
3. M. Valera and S. A. Velastin. IEE Proc.-Vis. Image Signal Process., 152(2):192–204, 2005.

Об авторах

Андрей Александрович Лукьяница – кандидат физ.-мат. наук, ст. научный сотрудник факультета вычислительной математики и кибернетики Московского государственного университета им. М.В. Ломоносова.

Адрес: Москва, 119992, ГСП-2, Воробьевы горы, МГУ, 2-й учебный корпус, факультет ВМиК, кафедра автоматизации научных исследований.

E-mail: luk@ic.msu.su

Алексей Геннадиевич Шишкин – кандидат физ.-мат. наук, ст. научный сотрудник факультета вычислительной математики и кибернетики Московского государственного университета им. М.В. Ломоносова.

Адрес: Москва, 119992, ГСП-2, Воробьевы горы, МГУ, 2-й учебный корпус, факультет ВМиК, кафедра автоматизации научных исследований.

E-mail: shishkin@ic.msu.su

Software for Visual-based Vehicle Monitoring System

Abstract

Theoretical and experimental analysis of methods and algorithms for the development of visual-based vehicle monitoring system is performed. As a result a set of modules for the system was specified. The obtained results allow to create the effective video surveillance system.

Keywords: Video, Vehicle, Tracking, Surveillance, Detection, Moving Object, Classification. 

About the author(s)

Andrey Lukyanitsa is a senior research worker at Moscow State University, Department of Computational Mathematics and Cybernetics. His contact email is luk@ic.msu.su.

Alexey Shishkin is a senior research worker at Moscow State University, Department of Computational Mathematics and Cybernetics. His contact email is shishkin@ic.msu.su.