Борисов Александр Сергеевич
Факультет: компьютерных наук и технологий
Кафедра: компьютерной инженерии
Специальность: Компьютерные системы и сети
Тема выпускной работы:
Отслеживание и управление геометрической формой регионов интереса в видеопоследовательности
Научный руководитель: Самощенко Александр Викторович
Реферат на тему "Регионы интереса в видеопоследовательности"
Введение
Актуальность темы
Научная значимость работы
Практическая ценность результатов работы
Объект и предмет исследований
Обзор исследований по теме
Индексный подход и его применение к проблеме слежения за движущимися объектами
Морфологический анализ динамических сцен по видеопоследовательности
Классический подход к детектированию объектов
Сегментирование объекта
Гибридная система сопровождения
Заключение
Список литературы
Введение
В наше время с развитием интернета и цифрововой техники, множество людей используют различные приспособления, такие как фотоаппараты, видеокамеры и даже мобильные телефоны для того, чтобы запечатлить понравившиеся им моменты их жизни на фотографиях или видеозаписях. Однако, это могут так же быть и фильмы или, например, скачанные из интернет видеофайлы. Но иногда качество полученных видеопотоков оставляет желать лучшего. Например, видео, загруженное довольно давно, когда еще не было такого прогрессивного оборудования, может содержать некоторые, так называемые, артефакты. А допустим, зрителю необходимо рассмотреть определенную фигуру - регион интереса - на экране в данном видео. Для этого видео будет подвержено фильтрации для устранения артефактов. Но снижение количества артефактов напрямую зависит с пропускной способностью канала передачи. Так как передавать лучше по каналу с низким битрейтом, то именно здесь и возникает потребность в выделении региона интереса видеопоследовательности, которая будет подвержена фильтрации, в то время как остальная часть изображения (например, фон) останется с низким битрейтом и менее качественным представлением.
Актуальность темы
Задача нахождения региона интереса в видеопоследовательности очень актуальна, поскольку с её помощью можно независимо обрабатывать необходимые участки видеопоследовательности. Это позволяет сконцентророваться на существенных существенных объектах и пренебречь качеством несущественных, таких как фон.
Научная значимость работы
Научная значимость данной работы заключается в разработке улучшенного метода поиска и управления формой регионов интереса в видеопоследовательности.
Практическая ценность результатов работы
В ходе выполнения работы после проведения моделирования с улучшенным методом управления формой региона интереса в видеопоследовательности предполагается получить видеофайл с меньшим размером чем, например, файл, в котором так же применяется нахождение региона интереса видеопоследовательности, но нет реализации управления его формой.
Объект и предмет исследований
Объектом исследований является последовательность видеокадров, содержащая регионы с разной информационной значимостью. Предметом исследований является алгоритм поиска и управления формой регионов интереса.
Обзор исследований по теме
Тематика поиска регионов интереса в видеопоследовательности встречается в работах магистрантов и сотрудников ДонНТУ. Также присутствуют работы по сегментации, поиску определённых объектов в видеоинформации. Найти работы можно с помощью раздела «Ссылки».
На данный момент в интерент и не только представлено большое количество работ по теме нахождения регионов интереса в видеопоследовательности. В данных работах преобладают алгоритмы для решения какой-то конкретной задачи, т.е. известна непосредственно исходная информация.
Индексный подход и его применение к проблеме слежения за движущимися объектами
Задача нахождения соответствующего эталона является актуальной проблемой, находящей практическое применение во многих задачах компьютерного зрения и, в частности, в видеонаблюдении.
Используемый алгоритм решения задачи нахождения соответствующего эталона построен исходя из концепции индексной памяти, предложенной А.М.Михайловым. Существует немало алгоритмов решения задачи нахождения соответствующего эталона. Например, предложена модификация Full Search подхода связанная с использованием результатов рассмотрения предыдущих шаблонов. Традиционно производительность алгоритмов решения задачи нахождения соответствующего эталона сравнивается с Full Search подходом.
Также существующие методы снижения размерности данных, такие как хэширование или кодирование, среди которых можно выделить метод вэйвлетов, можно рассматривать как способы решения задачи нахождения признаков. Например, с помощью вэйвлетов, а распознавать полученный вектор признаков с помощью индексной памяти.
Решение задачи нахождения соответствующего эталона индексным методом.
Пусть мы запомнили Х шаблонов, при чем каждый шаблон характеризуется вектором из Y свойств. Тогда для заданного свойства y{xy}z означает множество всех запомненных шаблонов у которых значениесвойcтва у равно z [1].
Пусть у нас есть рассматриваемый объект z (z - это вектор свойств). Тогда задача нахождения соответствующего эталона решается следующим образом:
В случае если распределение запомненных шаблонов по значениям признаков равномерно с шириной Z, то экономия вычислений по сравнению с Full Search подходом составляет в Z раз.
Морфологический анализ динамических сцен по видеопоследовательности
В стандартных морфологических методах рассматривается множество V всех изображений, получаемых от данной сцены при всех возможных условиях наблюдения, и правило узнавания сцены (или объекта сцены) на предъявленном изображении f состоит в проверке его принадлежности этому множеству: f є V означает, что изображение f можно получить от заданной сцены при некоторых условиях регистрации. Если изображение рассматривается. как элемент некоторого метрического пространства, то проверка условия f є V может быть решена в терминах проекции P f V изображения f на множество V. Проекция P f V определяется как изображение из множества V, наиболее близкое к f. Равенство f P f = V эквивалентно включению f є V. Успешное применение морфологических методов обусловлено существованием конструктивного правила вычисления проекции P f V для ситуаций, когда сцена на разных изображениях из V представлена водном и том же ракурсе. Множество V (или опеерация PV проецирования на него) называется «формой изображения сцены»
При построении проектора PV (t) используется математическая модель видеопоследовательности, учитывающая, что условия изменения освещения не могут существенно измениться, а фрагменты поля зрения, изображающие движущиеся объекты сцены, не могут существенно смещаться за время между двумя кадрами.
На основе алгоритма вычисления проектора PV (t) разработаны методы анализа динамических сцен по видеопоследовательности, в частности – методы слежения за движущимся и изменяющимся объектом на изменяющемся фоне.
Для слежения за таким объектом последовательно решаются следующие задачи:
1. Выделение новых объектов путем выделения отличий текущего полученного изображения от изображения фона.
2. Определение «области интереса», основанное на анализе размеров новых
объектов и скорости их перемещения.
3. Поиск нового местоположения объекта.
4. Обновление модели формы объекта.
5. Обновление модели формы фона.
Классический подход к детектированию объектов
Общий алгоритмический подход к детектированию подвижных объектов состоит в анализе различий между текущим кадром и моделью фона.
Упрощенно, этот подход называется вычитанием фона (background subtraction). Принадлежность пикселя к объекту (или к фону) определяется
на основе отклонения значения (яркости) пиксела в текущем кадре от его статистической оценки в модели фона. Известно множество методов
моделирования фона изображения. Наиболее распространены методы бегущего гауссовского среднего (running Gaussian average) и гауссовой
смеси (mixture of Gaussians):
1. Метод бегущего среднего успешно работает в стерильных условиях, когда фон остается неподвижным.
В случае глобального изменчивого фона, например, движения леса, кустарников и воды, одномодальная модель не позволяет эффективно
обнаруживать инородные объекты.
2. Метод гассовской смеси является многомодальным и позволяет более точно описывать статистику изменчивого фона.
Однако, при моделировании отдельных пикселов, а не их паттернов, он не обеспечивает заметного прироста в точности детектирования.
При этом метод гауссовской смеси является существенно более ресурсоемким, чем бегущее среднее, и обычно не вписывается в рамки
вычислительных возможностей встроенного процессора.
На этапе сегментирования, отдельные пикселы, выделенные из фона, объединяются в регионы при помощи морфологических операций. Регионы, соответствующие заданным габаритам и форме, можно считать целевыми объектам. Как правило, именно фаза морфологического анализа составляет наибольшие вычислительные затраты. Сложность анализа нелинейно возрастает с увеличением площади регионов и их количества.
Сегментирование объекта
Маска объекта, рассчитываемая сегментатором, полезна для вычисления признаков объекта, для его сопровождения и для более точного моделирования фона.
Cущественным недостатком классического подхода является высокая ресурсоемкость морфологических операций на этапе определения маски регионов.
Многомасштабный подход позволяет существенно повысить вычислительную эффективность видеоаналитики за счет ограничения глубины сегментирования
и/или использования модели формы объекта. При этом габариты детектируемых объектов, которые могут существенно варьироваться в поле зрения камеры,
не будут значительно влиять на вычислительные затраты алгоритма.
В ходе обратного распространения сигнала, формируется многомасштабная маска региона. Сегментирование производиться от грубой к детальной маске,
причем процесс можно прервать после достижения желаемого уровня детализации или после исчерпания квоты вычислительных ресурсов. Входными данными
являются маска с предшествующего региона, разность признаков текущего кадра и модели фона на текущем слое, а так же, опционально, модель детектируемого
объекта. Выходными данными является маска региона на текущем слое. На каждом пикселе производится уточнение маски на основе метода связывания в пирамиде.
На рис. 1 представлен результат работы многомасштабного сегментатора на базе метода связывания в пирамиде по нескольким признакам: сверху - исходный кадр,
обрабатываемый видеоаналитикой с траекторией сопровождаемого человека; ниже - четыре слоя маски сегментирования. Маски содержат незначительные ошибки в виде
точек и неточных границ, обусловленные вычислительной оптимизацией морфологических операторов.
Рисунок 1 - Многомасштабное сегментирование: исходное изображения и маски с увеличивающейся детализацией (анимация состоит из 4 кадров, 28 Кбайт, создана GIF Animator)
Гибридная система сопровождения
Алгоритмы сопровождения (трассирования) позволяют получить траекторию объектов для более точного распознавания и оценки динамических признаков [2].
В классических реализациях встроенной аналитики популярны следующие алгоритмические подходы:
1. Объединение регионов, определенных детектором, во времени по множеству последовательных кадров позволяет рассчитать искомую траекторию движения объекта. Это самый простой метод с точки зрения реализации. Основной его недостаток состоит в том, что ошибки детектора регионов приводят к нежелательным разрывам траектории. Так же, метод не позволяет сопровождать объекты в группе и сбивается при появлении ложных регионов. При медленном движении или остановке, объекты «врастают» в фон, и алгоритм сопровождения теряет цель.
2. Корреляционные методы предполагает построение статистической модели не только фона, но и объекта. Расчет степени схожести объекта в различных точках окрестности объекта позволяет определить наиболее вероятное его положение. Преимуществом такого подхода по сравниванию с первым является возможность сопровождения частично перекрывающихся объектов в группе, а так же более устойчивая работа со слабоконтрастными или медленными объектами. Основной недостаток – существенно более высокая ресурсоёмкость. Корреляционные методы неэффективны при низкой частоте кадров и сильной изменчивости сопровождаемых объектов.
3. Оптический поток опирается на предположение, что освещение постоянно, а форма и текстура фона и сопровождаемого объекта не меняются. Метод оптического потока с вычислительной точки более эффективен, чем корреляционной метод, но уступает ему по стабильности в условиях шума и изменчивости объекта.
Рисунок 2 - Сопровождение изменчивого объекта при помощи алгоритма связывания регионов
Рассмотрим гибридный метод. С одной стороны, анализ временного ряда найденных регионов позволяет эффективно сопровождать изолированные объекты, в том числе, которые значительно меняют форму (рис. 2). С другой стороны, корреляционный метод позволяет сопровождать объекты в группе (рис. 3) или когда детектор не обладает достаточной чувствительностью для нахождения регионов.
Объединение результатов работы алгоритмов производится путем выбора наиболее вероятной оценки положения объекта. Для таких подходов основой для оценки служит контрастность региона на фоне и значения корреляции признаков по площади объекта. Запрещается при взаимном перекрытии сопровождаемых объектов.
Многомасштабное представление маски и признаков объекта позволяет существенно повысить вычислительную эффективность корреляционного алгоритма и увеличить радиус поиска, то есть решает проблемы апертуры [2].
Рисунок 3 - Индивидуальное сопровождение объектов в момент встречи (наверху) и после встречи (внизу) при помощи корреляционного алгоритма. Фрагмент видео из PETS
Заключение
Из приведенного выше материала видно, что существует большое количество подходов для нахождения регионов интереса в видеопоследовательности и его обработке. Хотя набор методов не исчерпывающий, они являются характерными представителями техники выделения регионов интереса видеопоследовательностей.
Список литературы
1.Техническое зрение в системах управления 2011 (тезисы докладов) [Электронный ресурс] - http://tvcs2011.technicalvision.ru/docs/Abstracts2011.pdf
2.Птицын Н. - Встроенная видеоаналитика для детектирования и сопровождения объектов при помощи многомасштабных признаков (ГрафиКон 2010) [Электронный ресурс] - http://synesis.ru/ru/surveillance/articles/multiscale-va
3.Журавель И. М. - Основные процедуры захвата изображений [Электронный ресурс] - http://rrc.dgu.ru/res/matlab/imageacquis/book1/2.html
4.Субботин С.А., Бойченко К.Ю. - Автоматическая система обнаружения и распознавания автотранспортных средств на изображении [Электронный ресурс] - http://www.swsys.ru/index.php?page=article&id=2448
5.Назиров Р.Р., Грищин В.А. - Техническое зрение в система управления 2011 [Электронный ресурс] - http://tvcs2011.technicalvision.ru/docs/Abstracts2011.pdf
6.Обзор форматов качества видео [Электронный ресурс] - http://en.wikipedia.org/wiki/Video_quality
7.Востров Г.М., Монастырский О.В., Полторак Д.М. - Анализ потерь при компрессии видеопоследовательностей и методов их устранения. [Электронный ресурс] - http://www.library.ospu.odessa.ua/online/periodic/opu_2004_1(21)/4/4-8.pdf
8.Обзор характеристик потокового видео [Электронный ресурс] - http://en.wikipedia.org/wiki/Video#Characteristics_of_video_streams
9.Фаворская М.Н. - Модели и методы распознавания динамических образов на сонове пространственно-временного анализа последовательностей изображений [Электронный ресурс] - http://research.sfu-kras.ru/sites/research.sfu-kras.ru/files/Favorskaya_Favorskaya__11.pdf
10.Савченко Д.А. - Исследование методов сегментации изображений [Электронный ресурс] - http://masters.donntu.ru/2010/fknt/savchenko/diss/index.htm