Анализ методов детектирования и сопровождения потоков покупателей на основе видеоинформации

Авторы: А.А. Велиева, Т.В. Мартыненко
Источник: Мир компьютерных технологий: Сборник статей всероссийской научно-технической конференции студентов, аспирантов и молодых ученых – г. Севастополь: СевГУ, 2019. – с.82–86, [Ссылка]

Аннотация: В статье приведено описание методов обработки видеоданных для получения аналитической информации о посещаемости центров розничной торговли. Рассмотрены такие этапы решения поставленной задачи, как выделение объектов в кадре и отслеживание объекта на последующих кадрах. Произведен сравнительный анализ существующих методов для решения поставленной задачи, а также выявлены основные проблемы, возникающие при обработке видеоданных.

Ключевые слова: видеонаблюдение, компьютерное зрение, трекинг объектов, пересечение силуэтов.

Введение

На сегодняшний день основной целью любой торговой сети является максимальное удовлетворение потребителей, что в свою очередь ведёт к максимизации прибыли предприятия. Для достижения поставленной цели, прежде всего необходимо изучить модель поведения покупателей в торговом зале, их привычки, потребности, восприятие. Современные модели поведения покупателей основываются на видеоанализе, как изменение психоэмоционального состояния человека [1] так и изменение траектории движения покупателей. Для дальнейшего понимания исследования предметной области, необходимо вести понятие – покупательский поток, и дать ему определение. 

Поток покупателей (покупательский поток) – это направление по которому проходит большинство покупателей в магазине.

Очень многие сегодня сталкиваются с проблемами привлечения покупательских потоков в торговом зале, это может быть связано с непривлекательной выкладкой товара, либо с неправильным графиком работы персонала, неправильным размещением оборудования торгового зала, которое не позволяет пройти покупателям к какому-либо отделу и т.д.

Таким образом анализ распределения потоков покупателей позволит:

1. оценить посещаемость магазина, что в свою очередь поможет эффективно распределить работу персонала;
2. определить такой базовый показатель эффективности торговой точки, как конверсия, которая показывает отношение количества посетителей торговой точки по отношению к числу транзакций (покупок);
3. определить малопосещаемые зоны, в следствии чего переставить товары, не пользующиеся спросом в так называемые горячие зоны, то есть наиболее популярные места посещений торговой точки;
4. выяснить как изменилась посещаемость торговой точки после смены оформления выкладки товаров и т.д.

Неотъемлемой частью структуры торгового центра является система видеонаблюдения для обеспечения безопасности. Если использовать имеющиеся аппаратные средства таких систем, то существует перспектива преобразования обычной системы наблюдения в интеллектуальную систему с функциями статистического анализа.

Таким образом на данный момент времени самая прогрессивная технология получения статистических данных поведения посетителей в розничном магазине основана на видеоанализе.

Постановка проблемы детектирования и сопровождения потоков покупателей

Проблеме обнаружения и сопровождения человека по изображению в видео посвящено множество работ, однако в целом она ещё далека от разрешения. Основной вклад в развитие компьютерного зрения внесли такие ученые, как Ян Лекун, Паул Виола, Майкл Джонс и многие другие.

Основные трудности заключаются в том, чтобы можно было распознать объект независимо от изменения ракурса, условий освещённости при съёмке, а также при различных изменениях, связанных с возрастом, внешним видом и т. д. Также немаловажной проблемой является пересечение в кадре нескольких объектов. Следует отметить, что ситуация перекрытия силуэтов становится основной причиной неверной работы детектирования, так как детекторы обучаются на определенных образцах, соответствующих силуэтам людей в то время, как при перекрытии возникает силуэт, не похожий на фигуру человека, что и становится причиной ошибки.

Цель исследования – анализ методов детектирования и сопровождения объектов видеопоследовательности для повышения эффективности работы центров розничной торговли. В данном случае под объектом понимается изображение фигуры человека.

На рисунке 1 представлены основные этапы обработки видеоданных для решения поставленной задачи. Входной информацией для такой системы является видеопоток. Из него выделяется последовательность кадров, к каждому из которых применяются методы предварительной обработки изображений [2], а также алгоритм детектирования фигур людей. Затем с помощью специальных методов трекинга производится отслеживание выделенных фигур и строится траектория передвижений. В результате анализа поведения посетителей будут получены такие статистические данные, как наиболее и наименее популярные часы посещения торговой точки, популярность того или иного отдела, маршруты передвижений по торговому залу и т.д.

Обзор методов обнаружения объектов в кадре

Для решения задачи детектирования существует множество различных подходов, а именно: сегментация изображения, сравнение с шаблоном, методы вычитания фона и многие другие. Далее будут рассмотрены наиболее популярные и перспективные на сегодняшней день подходы в области компьютерного зрения, а именно обнаружения объектов в кадре.

Нейросетевые методы

Основной особенностью нейронных сетей является их обучаемость на наборе готовых примеров заранее занесенных в базу данных. В процессе обучения, сеть автоматически извлекает ключевые признаки и строит взаимосвязь между ними. После этого, для распознавания неизвестного объекта, нейронная сеть применяет полученный опыт.

Основным достоинством можно выделить высокую точность обнаружения при правильном подборе архитектуры и настройке параметров сети. «Основная проблема применения моделей глубокого обучения нейронных сетей является чрезвычайно высокая вычислительная стоимость, особенно когда речь идет об обработке видеопотока» [3].

Методы, основанные на извлечении признаков

Методы, основанные на извлечении признаков, осуществляют поиск фигур с помощью обученных классификаторов. Использование классификатора подразумевает выделение некоторых характерных признаков на изображении, машинное обучение классификатора на наборе позитивных и негативных образцов, на которых заведомо присутствуют или отсутствуют объекты искомого класса, и применение классификатора к очередному изображению с целью поиска объектов на нем.  

Среди наиболее популярных методов данной группы можно выделить следующие: метод Виолы-Джонса, главных компонент, HOG-детектор [4,5].

Анализ методов детектирования объектов на изображении

Для того, чтобы выяснить целесообразность применения вышеописанных методов в системе анализа распределения потоков покупателей, было произведено сравнение с точки зрения точности распознавания, времени распознавания, вычислительной сложности.

Полученные результаты сравнения представлены в таблице 1.

Проанализировав вышеописанные критерии, можно сделать вывод что с точки зрения точности распознавания, а также быстроты наиболее перспективным на настоящий момент походом к детектированию объектов на изображении является, метод Виолы-Джонса.

Математическая постановка сопровождения объектов в кадре

Сопровождение (трекинг) движущихся объектов – это создание траектории объекта во времени путем локализации его позиции в каждом кадре видео. Входными данными любого алгоритма сопровождения является последовательность изображений (кадров видео) I₁, I₂,..., I_n c нарастающим объемом информации, которую необходимо обрабатывать и анализировать.

Задача сопровождения состоит в том, чтобы построить траектории движения целевых объектов на входной последовательности кадров.

Допустим, что положение объекта на изображении с номером обозначается P_k.

Тогда траекторией движения объекта называется последовательность его положений P_s, P_s+1,..., P_s+l-1

где s – номер первого кадра, на котором был обнаружен объект, l – количество кадров последовательности, где наблюдается объект.

Обзор методов трекинга объектов в кадре

В системах видеонаблюдения применяются различные методы и алгоритмы для отслеживания траектории объекта. Классифицировать их можно по разным признакам: по представлению объекта для трекинга, по используемым особенностям изображения, по способу моделирования движения, по внешнему виду и форме объекта. В работах [6,7] представлены основные алгоритмы трекинга объектов на видеоизображении.

Шаблонов движений (Motion Templates) – основан на поиске границ объектов в каждом кадре видеопотока I_t (h, w). Смещение границы на новом кадре I_t+1(h, w) относительно предыдущего задает вектор движения объекта. Данный алгоритм наиболее эффективен при движении крупных объектов и часто используется для распознавания динамических жестов в человеко-машинных интерфейсах.

Алгоритм Лукаса – Канаде (Lucas – Kanade) – основан на дифференциальном вычислении оптического потока с помощью анализа пикселей (предполагается, что оптический поток одинаков для пикселей, лежащих в окрестности центра окна слежения), при этом смещение пикселей между соседними кадрами I_t (h, w) должно быть невелико.  

Метод сдвига среднего (Mean-Shift) – основан на математической модели, которая заключается в том, что вычисляется локальный экстремум плотности распределения набора характерных точек, т. е. алгоритм отслеживает смещение центра масс точек, определяющих объект слежения, получая на выходе вектор движения объекта.

Метод непрерывно адаптирующегося сдвига (CamShift) – основан на алгоритме сдвига среднего, но отличается тем, что автоматически подстраивает границы и размер окна, в пределах которого расположены характерные точки. Таким образом производится более точное отслеживание объекта, изменяющегося в размерах;

Фильтр Кальмана – позволяет получить вероятные положения найденных ранее объектов в новом кадре на основе истории его предыдущих положений. Алгоритм состоит из двух повторяющихся фаз: фаза экстраполяции и фаза коррекции. В процессе работы первой фазы происходит предсказание (экстраполяция) значения переменных состояния на основе оценки состояния предыдущего шага. Вторая фаза отвечает за уточнение результата экстраполяции при помощи соответствующих измерений.

Анализ методов трекинга объектов в кадре

В работах [6,7] рассмотренные выше алгоритмы были проверены на устойчивость под влиянием различных негативных параметров. Результаты проверки приведены в таблице 2.

Выводы

В статье исследуется процесс анализа распределения потоков покупателей на основе видеоинформации. Проведен сравнительный анализ методов решения поставленной задачи, выявлены достоинства и недостатки. Определены такие направления в решении поставленной задачи, как локализация объектов, а также их дальнейшее сопровождение.

Анализ методов отслеживания объектов показал, что в настоящее время остро стоит проблема обеспечения непрерывного трекинга. Большинство существующих систем трекинга не поддерживают данный функционал, либо пытаются решить проблему путем выбора ракурса, при котором вероятность перекрытия минимальна. Таким образом следующим направлением в исследовании будет поиск решений, в области восстановления траекторий движения объектов в условиях перекрытий (окклюзий).

Библиографический список:

1. Мартыненко Т.В., Щербаков А.А, Боднар Б.В. Анализ методов распознавания эмоционального состояния человека для выявления аномального поведения в видеоаналитических системах ИНФОРМАТИКА И КИБЕРНЕТИКА. – Д.: ДонНТУ, – 2017. – № 3(9). – С. 89-93 URL http://infcyb.donntu.ru/A_9_13.pdf
2. Martynenko T.V., Privalov M.V., Sekirin A.I. Evolutional approach to image processing on the example of microsections Cognitive Architectures (BICA) for Young Scientists Proceedings of the First International Early Research Career Enhancement School (FIERCES 2016) Advances in Intelligent Systems and Computing Springer International Publishing Switzerland 2016, vol. 449 pp.141-150
3. М.С. Егорова, Т.В. Мартыненко, И.В. Ченгарь Применение методов глубокого обучения в системе видеонаблюдения Материалы IX Международной научно-технической конференции Информатика, управляющие системы, математическое и компьютерное моделирование (ИУСМКМ-2018). – Донецк: ДонНТУ, 2018. – С. 172 – 176 URL http://iuskm.donntu.ru/electronic/iusmkm2018.pdf
4. Забашта А.Ю., Хохлов С.А., Скоритокова С.А. Анализ существующих алгоритмов распознавания лиц. //Серия: Естественные и технические науки №7-8 – август 2017.
5. Dalal N., Triggs B. Histograms of oriented gradients for human detection // Computer Vision and Pattern Recognition (CVPR). 2005. V. 1. P. 886–893
6. Алфимцев А.Н., Демин Н.А. Захват и отслеживание удаленных объектов в видеопотоке. Инженерный журнал: наука и инновации, 2013, вып. 11. URL: http:// engjournal.ru/catalog/it/hidden/1049.html
7. В.Ю. Агафонов, В.Л. Розалиев, А.В. Заболеева–Зотова. Использование фильтра Калмана в задачах трекинга объектов. – С.11–13