Программный
комплекс для мониторинга транспортных
средств по видеоизображению
Оригинал
А.А. Лукьяница,
А.Г. Шишкин
Московский государственный университет
им. М.В. Ломоносова, Москва, Россия
{luk, shishkin}@ic.msu.su
Аннотация
В настоящей работе проведен как теоретический, так и практический анализ методов и алгоритмов для создания программных компонентов системы мониторинга транспортных средств по видеоизображению. В результате исследования был определен набор модулей, составляющих систему видеонаблюдения, и сделаны заключения относительно создания системы мониторинга. Полученные результаты позволяют создать эффективную систему видеонаблюдения, конкурентоспособную на современном рынке программного обеспечения.
Ключевые слова: Видеоизображение, транспортное средство, обнаружение, трекинг, классификация, мониторинг.
Обработка видеоизображений, представленных последовательностью оцифрованных кадров, в настоящее время широко используется в различных сферах человеческой деятельности. Одной из наиболее сложных и актуальных задач обработки видеоизображений является проблема выделения и распознавания движущихсяобъектов в условиях действия различного рода помех и возмущений и создание на этой основе систем мониторинга. Главная задача таких систем — информировать человека о сложившейся ситуации на наблюдаемом объекте и по возможности предпринять какие-либо заранее предусмотренные или программно заложенные действия.
Процесс построения указанных систем представляет собой сложную технологическую цепочку, включающую обработку цифрового изображения с целью выделения значимой информации и анализ этой информации для решения определенной задачи. Идеальным вариантом представляется создание универсальной адаптивной системы, которая в условиях возможных ограничений обеспечивала бы эффективный мониторинг объекта.
Условно анализ видеоизображений в таких системах можно разделить на следующие этапы:
Обнаружение движущихся объектов, заключающееся в выделении переднего плана, является основным для дальнейшего анализа. От того, насколько аккуратно и корректно решена эта задача, зависят все последующие этапы, а также требуемые вычислительные ресурсы. Именно поэтому огромное количество работ посвящено методам детектирования движущихся объектов. Дополнительную сложность здесь создают внезапное изменение освещенности, падающие тени, движение ветвей деревьев на ветру и др.
На этапе классификации обнаруженные движущиеся объекты соотносятся с заранее определенными классами: автомобили, люди, животные, колышущиеся ветви деревьев. В настоящее время существует два основных подхода для различения движущихсяобъектов– контурные методы (shape-based) и методы, основанные на движении (motion-based). Первые используют двумерную пространственную информацию об объекте, а вторые - изменение характерных параметров объекта во времени.
Следующий этап – отслеживание траектории (трекинг) всех движущихся объектов. На этом этапе выявляется временное соответствие между детектированными объектами от кадра к кадру. При этом обеспечивается временная идентификация выделенных областей изображения и определяется соответствующая информация об объектах в наблюдаемой зоне, а именно, траектория, скорость и направление движения. Результаты данного этапа обычно также используются для верификации информации, полученной на предыдущих этапах.
На заключительном шаге обработки видеоизображений проводится распознавание и описание действий выделенных объектов. Обычно это простое соотнесение их с одним из высказываний типа: «автомобиль выехал с парковочного места и подъехал к воротам».
С учетом сказанного, целями настоящей работы являются:
С учетом целей работы, особое внимание уделено исследованию следующих вопросов:
Несмотря на то, что в мире создается большое число систем для различных видов мониторинга, проведенный нами анализ показал, что последовательность обработки видеосигнала в этих систем осуществляется по похожим алгоритмам. Типовая система, как правило, состоит из шести модулей.
Обычно сигналы, получаемые от видеокамеры, имеют невысокое качество. Камеры, как правило, работают на улице, часто в неблагоприятных погодных условиях, снижающих качество изображения. Для улучшения качества изображения, как правило, проводят предварительную обработку. Среди наиболее часто применяемых методов такой обработки используют различные виды фильтрации и сглаживания изображения. Кроме того, при использовании короткофокусных камер должна проводиться компьютерная компенсация сферической и других аберраций.
Этот этап является крайне важным, поскольку именно он определяет дальнейшее качество системы в целом. В принятой терминологии считается, что движущиеся объекты принадлежат «переднему плану», а стационарные – к «заднему плану», который часто называют фоном. Процесс обнаружения движущихсяобъектовчасто называют процессом выделения переднего плана. Для выделения движущихсяобъектов используют методы, основанные на вычитании фона, вероятностные методы, методы временного отличия и оптического потока.
Методы вычитания фона строят модель заднего плана сцены на основе попиксельного сравнения текущего значения и построенного на предыдущих шагах. В вероятностных моделях изменение значений пикселей во времени рассматривается как «пиксельный процесс», т.е. временной ряд, который для каждого пикселя характеризуется своей функцией распределения. Методы временной разности отделяют передний план от фона путем попиксельного вычитания двух или большего числа последовательных кадров. Методы оптического потока основаны на том, что у движущихсяобъектов можно вычислить направление и величину скорости для каждого пикселя.
На видеоизображении могут присутствовать различные движущиеся объекты: автомобили, автобусы, мотоциклы, люди, группы людей, животные и т.п. Конечной целью видеонаблюдения является выявление нештатных ситуаций, поэтому крайне важно правильно классифицировать обнаруженные объекты. Методы классификацииобъектов можно разделить на две большие группы: геометрические и динамические методы. К геометрическим методам относятся различные варианты методов сегментирования изображений и контурные методы. В основе этих методов лежит идея выделения признаков, характеризующих геометрическую форму объекта, с последующей классификацией объектов на основе этих признаков. Динамические методы используют периодичность двигательных процессов, присутствующих у большинства объектов. Например, у человека во время ходьбы можно выделить повторяющиеся через определенное время характерные позы.
Целью трекинга является установление соответствия между объектами или их частями в последовательности кадров, а также определение их траекторий и скорости движения. Особую сложность этой задаче придают изменения ракурсов объектов во время движения, а также их частичное или полное перекрытие, когда один объект полностью загораживает другой.
При осуществлении видеонаблюдения для выявления различных внештатных ситуаций необходимо знать координаты обнаруженных объектов, а также уметь соотносить их с координатами на местности. Эта задача часто называется задачей геолокации, т.е. представление объектов на реальной трехмерной сцене. Отметим, что для движущейся камеры с изменяющимся увеличением необходимо применять процедуру калибровки камеры.
Для большинства систем мониторинга этот модуль является последним при осуществлении наблюдения. Он характеризует реакцию всей системы на обнаружение заранее обусловленных внештатных ситуаций, таких как нарушение ПДД, аварии и т.п. В определенном смысле данный модуль неразрывным образом связан с системой определения координат объектов, хотя может быть реализован автономно. Результатом его работы является оповещение оператора о возникновении заданной ситуации либо выделением соответствующего объекта, либо звуковым сигналом, либо наведением другой камеры на объект и т.п.
Для оценки эффективности наиболее интересных в теоретическом плане алгоритмов была разработана программа на С++ для Windows. Данная программа может использоваться в трех режимах, выбор которых производится в главном меню, а именно:
На основании большого числа численных экспериментов можно сделать следующие выводы:
В настоящей работе проведен как теоретический, так и практический анализ компонентов, лежащих в основе типичной системы для видеомониторинга. Сделанные выводы позволят создать эффективную систему видеонаблюдения, конкурентоспособную на современном рынке программного обеспечения.
Статья написана по результатам исследований, выполненных авторами по заказу компании «Ай Ти Ви групп» (http://www.itv.ru).
Об авторах
Андрей Александрович Лукьяница – кандидат физ.-мат. наук, ст. научный сотрудник факультета вычислительной математики и кибернетики Московского государственного университета им. М.В. Ломоносова.
Адрес: Москва, 119992, ГСП-2, Воробьевы горы, МГУ, 2-й учебный корпус, факультет ВМиК, кафедра автоматизации научных исследований.
E-mail: luk@ic.msu.su
Алексей Геннадиевич Шишкин – кандидат физ.-мат. наук, ст. научный сотрудник факультета вычислительной математики и кибернетики Московского государственного университета им. М.В. Ломоносова.
Адрес: Москва, 119992, ГСП-2, Воробьевы горы, МГУ, 2-й учебный корпус, факультет ВМиК, кафедра автоматизации научных исследований.
E-mail: shishkin@ic.msu.su
Software for Visual-based Vehicle Monitoring System
Abstract
Theoretical and experimental analysis of methods and algorithms for the development of visual-based vehicle monitoring system is performed. As a result a set of modules for the system was specified. The obtained results allow to create the effective video surveillance system.
Keywords:
Video, Vehicle, Tracking, Surveillance, Detection, Moving Object,
Classification.
About the author(s)
Andrey Lukyanitsa is a senior research worker at Moscow State University, Department of Computational Mathematics and Cybernetics. His contact email is luk@ic.msu.su.
Alexey Shishkin is a senior research worker at Moscow State University, Department of Computational Mathematics and Cybernetics. His contact email is shishkin@ic.msu.su.