RU UA EN
 
Резюме Біографія Реферат

Реферат за темою випускної роботи

При написанні даного реферату магістерська робота ще не завершена. Остаточне завершення: травень 2020 року. Повний текст роботи і матеріали по темі можуть бути отримані у автора або його керівника після зазначеної дати.

Зміст

Вступ

В даний час тенденція до автоматизації набирає все більшу швидкість. Однією зі сфер, в якій автоматизація має великі перспективи, є відеоаналітіка.

Використання відеоаналітики в ритейлі може допомогти оцінити рекламну стратегію в магазині, а також ефективність розміщення проходів і продуктів. Таким чином, стає дуже важливо розмістити інформацію про рекламну акцію в потрібному місці і в потрібний час.

Існують різні аналітичні можливості, які можуть допомогти роздрібного магазину отримати швидке уявлення про ефективності рекламних заходів, а також про вплив динаміки потоків покупців на конверсію в торгових залах.

1. Актуальність теми

На сьогоднішній день основною метою будь-якої торговельної мережі є максимальне задоволення споживачів, що в свою чергу веде до максимізації прибутку підприємства. Для досягнення поставленої мети, перш за все необхідно вивчити модель поведінки покупців в торговому залі, їх звички, потреби, сприйняття. Сучасні моделі поведінки покупців ґрунтуються на видеоанализе, як зміна психоемоційного стану людини, так і зміна траєкторії руху покупців. Для подальшого розуміння дослідження предметної області, необхідно вести поняття – купівельний потік, і дати йому визначення.

Потік покупців (купівельний потік) – це напрямок, по якому проходить більшість покупців в магазині.

Дуже багато людей стикаються з проблемами залучення купівельних потоків у торговельному залі, це може бути пов'язано з непривабливою викладкою товару, або з неправильним графіком роботи персоналу, неправильним розміщенням обладнання торгового залу, яке не дозволяє пройти покупцям до якого-небудь відділу і т. д.

Власнику торгової точки, вкрай необхідно мати уявлення про відвідуваності закладу, так як саме ця інформація дозволить дізнатися пікові години, дні, тижні, що в свою чергу дозволить сформувати зручний графік роботи робочого персоналу. Існує також ряд додаткових даних, які можуть бути отримані при аналізі розподілу потоків покупців, наприклад, теплові карти (рис.1) – дозволяють визначати зони активності (відділи, що викликають найбільшу зацікавленість у відвідувачів), мертві зони (відділи які зовсім не приваблюють своїм товаром) і вузькі місця, це дозволить зрозуміти, де краще всього розміщувати оголошення та рекламні акції. Карти траєкторій – показують найбільш популярні маршрути пересування відвідувачів по торговому залу і т. д.

Таким чином основна мета контролю відвідуваності – це безперервний пошук важелів, щоб ця відвідуваність росла або хоча б не падала. На сьогоднішній день замовників все більше цікавлять технологічні інструменти для залучення і утримання клієнтів.

Невід'ємною частиною структури торгового центру є система відеоспостереження для забезпечення безпеки. Якщо використовувати наявні апаратні засоби таких систем, то існує перспектива перетворення звичайної системи спостереження в інтелектуальну систему з функціями статистичного аналізу.

На даний час найпрогресивніша технологія отримання статистичних даних поведінки відвідувачів у роздрібному магазині заснована на видеоанализе.

Сучасні системи аналізу розподілу потоків покупців мають ряд переваг, наприклад, високу швидкість обробки, точність підрахунку і т. д. Однак, вони як і раніше не є надійними, так як у відкритому доступі відсутні методи і алгоритми за допомогою яких було реалізовано завдання, досить дорогими і мають обмежену функціональність.

Магістерська робота присвячена актуальної наукової задачі аналізу розподілу потоків покупців на основі відеоінформації, спрямованого на підвищення ефективності й подальшої оптимізації роботи торгового залу.

2. Мета і задачі дослідження та заплановані результати

Метою проведених досліджень є підвищення ефективності роботи торгового залу за рахунок застосування сучасних методів і алгоритмів виявлення і супроводу об'єктів відеопослідовності.

Для досягнення поставленої мети необхідно виконати наступні завдання:

  1. Ознайомитись з впливом динаміки потоків покупців на конверсію в торгових залах.
  2. Провести аналіз і порівняння існуючих методів і алгоритмів виявлення, супроводу об'єктів відеопослідовності.
  3. Виконати структурно-алгоритмічний аналіз програмних засобів.
  4. Розробити вдосконалений алгоритм визначення об'єктів відеопотоку.
  5. Модифікувати алгоритм супроводу об'єктів інтересів системи.
  6. Провести експериментальні дослідження ефективності розроблених алгоритмів.
  7. Розробити комп'ютеризовану систему для аналізу розподілу потоків покупців на основі відеоінформації.

Об'єктом дослідження є процес аналізу розподілу потоків покупців в торговому залі.

Предметом дослідженняє об'єднання методів і алгоритмів виявлення і супроводу об'єктів відеопослідовності.

В рамках магістерської роботи планується отримання актуальних наукових результатів по наступним напрямкам:

  1. Розробка модифікованого алгоритму супроводу об'єктів інтересу системи.
  2. Удосконалення методу виявлення об'єктів відеопослідовності та оцінка ефективності його застосування.

3. Практичне значення отриманих результатів

Розроблену комп'ютеризовану систему, можливо використовувати в центрах роздрібної торгівлі для аналізу розподілу потоків покупців, з метою підвищення ефективності роботи торгових залів, а також при деякій модифікації можна буде використовувати і в інших організаціях (ресторани, кінотеатри і т. д.)

Використання розробленого додатка дозволить:

  1. Забезпечити точний підрахунок відвідувачів в торговій точці, оцінити відвідуваність магазина виявивши годинник пікового навантаження, що в свою чергу допоможе ефективно розподілити роботу персоналу (оптимізувати роботу).
  2. Визначити значення базового показника ефективності торгової точки – конверсії продажів, яка показує відношення кількості відвідувачів торгової точки по відношенню до числа транзакцій (покупок).
  3. Виявляти ті місця в магазині, в яких люди проявляють найбільшу активність.
  4. Аналізувати переміщення потоків покупців всередині магазину.
  5. Визначити маловідвідуваній зони, в слідстві чого переставити товари, що не користуються попитом у так звані гарячі зони, тобто найбільш популярні місця відвідувань торгової точки.

4. Огляд досліджень і розробок

Виявлення та відстеження об'єктів відеопослідовності набуло значного інтересу в останні два десятиліття. Підвищений інтерес обумовлений наявністю якісних недорогих камер відеоспостереження і необхідністю автоматизованого відеоаналізу. Розпізнавання дій людину в реальних умовах знаходить застосування в інтелектуальному відеоспостереженні, аналізі поведінки покупців, національної безпеки, профілактики злочинності та багато іншого [1].

Наряду з цим в даному розділі буде представлен огляд найостанніших досліджень в області комп'ютерного зору, зокрема детектування і супроводу об'єктів інтересу відеопослідовності за допомогою самих різних методик і алгоритмів як американськими, європейськими, китайскими вченими, так і вітчизняними фахівцями.

4.1 Огляд міжнародних джерел

На сьогоднішній час випускається величезна кількість публікацій і відповідних досліджень в області комп'ютерного зору. Існує велика кількість класичних методів класифікації та виявлення. В основному ці методи полягають у виділенні на зображеннях якихось особливостей (особливих точок) або локальних регіонів, які будуть характеризувати картинку. З даної задачі можу впоратися наприклад такі методи, як SVM, HOG/SIFT.

Однак на сьогоднішній день існують більш вдосконалені методи, наприклад нейронні мережі, які самі класифікують об'єкт і повертають передбачення, тобто мітку класу до якого належить об'єкт.

У зв'язку з цим перш за все варто відзначити застосування нейромереж в комп'ютерному зорі, яке було висвітлено в ЗМІ ще в 1983, по розпізнавання рукописних цифр, реалізоване Яном ЛеКуном [2]. Це була перша згорткова нейромережа для класифікації. Її основна перевага була в тому, що вона стала використовувати convolution і pooling операції.

Однак розвиток не стояло на місці і в 2012 році з'явилася AlexNet, яка брала участь у змаганнях ILSVRC (ImageNet Large-Scale Visual Recognition Challenge). В роботі Raghav Prabhu [3] представлений огляд архітектур які були першими на змаганнях ILSVRC(ImageNet Large-Scale Visual Recognition Challenge) з 2010 до 2016 року.

Наступним кроком до розуміння того, що відбувається всередині згорткових нейронних мереж, стала стаття [4], в якій автори запропонували способи візуалізації того на які частини картинки реагують нейрони в різних шарах CNN. Автори показали що перші слої згорткової мережі реагують на низькорівневі речі (краї/кути/лінії), а останні слої реагують вже на цілі частини зображень, тобто вже несуть в собі деяку семантику.

В 2018 р. група вчених Li Liu ,Wanli Ouyang, Xiaogang Wang, Paul Fieguth, Jie Chen, Xinwang Liu, Matti Pietikainen з Китаю, Канади та Фінляндії представила спільну публікації спрямовану на дослідження застосування глибокого навчання в області комп'ютерного зору, в публікації розповідається про різних архітектурах нейронних мереж, проводяться експерементальні дослідження оцінки якості даних мереж, розглядаються проблеми детектування, датасеты на яких проводяться дослідження та багато іншого [5].

Крім класифікації зображень і виявлень об'єктів на відео, окрему увагу варто приділити ре-ідентифікації. Класичні методи описані в роботі [6], автори знайомлять знайомить з історією повторної ідентифікації особистості і її взаємозв'язком з класифікацією зображень і пошуком примірників, досліджують широкий вибір створених вручну систем і методів для великомасштабних повторної ідентифікації на основі зображень і відео, описують критично майбутні напрямки в наскрізний повторної ідентифікації і швидкого пошуку у великих галереях а також коротко викладаються деякі важливі, недостатньо розроблені питання. Ще одна робота повтороному відстеження представлена групою авторів на Міжнародна конференція з аналізу та розпізнавання зображень (ICIAR 2019) [7 ].Авторами розглядається питання багатокамерного відстеження кількох людей–алгоритм реидентификации (повторної ідентифікації людини, який розпізнає і зберігає ідентифікатори всіх виявлених невідомих людей у всьому відеопотоці.

Супровід людей в видеопоследовательности висвітлено в роботах Nicolai Wojke, Alex Bewley, Dietrich Paulus [8] і Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, Ben Upcroft [9]. В останній роботі був запропонований один з перших real-time трекерів – Simple Online and Realtime Traker (SORT), який є надеженым і вміє справлятися зі складними ситуаціями,був опублікований в 2016 році. У 2017 році вийшла модифікація SORT'а у вигляді DeepSORT [10]. DeepSORT став застосовувати нейромережу для вилучення візуальних ознак, використовуючи їх для вирішення колізій. На сьогоднішній день вважається одним з кращих онлайн-трекерів.

4.2 Огляд національних джерел

Завданням відстеження об'єктів відеопотоці активно займаються в Московському державному технічному університеті ім. Баумана, поряд з цим були виділені наступні роботи в області комп'ютерного зору, зокрема відстеження об'єктів. Публікація К.Л. Тассова і Д.Є. Бекасова присвячена проблемі перекриттів об'єктів у відеопотоці [11]. У статті представлено опис завдання відстеження об'єктів у відеопотоці, введені основні поняття проблемної області, висвітлені типові рішення задачі. У роботі А.Н. Алфімцевим, Н.А. Дьоміним запропоновано інтегральний алгоритм, що використовує можливості алгоритму Лукаса–Канаді та алгоритму Віоли–Джонса для захоплення і відстеження віддаленого об'єкта [12]. Також можна відзначити роботу групи аторов І.І. Личкова, А.Н. Алфімцева, В.В. Дев'яткова – Відстеження рухомих об'єктів для моніторингу транспортного потоку [13].

Застосування згорткових нейронних мереж для детектування об'єктів на зображеннях детально висвітлено в роботах А.П. Береснєва, І.В. Зоєва, Н.Г. Маркова (Томський політехнічний університет) [14 ] і Н.С. Артамонова, П.Ю. Якимова (Самарський національний дослідницький університет ім. Академіка С.П. Королева) [15 ].

В Санкт-Петербурзькому державному університеті телекомунікацій їм. проф. М.А. Бонч-Бруєвича була запропонована інтелектуальна система з виявлення людей в пішохідній зоні, Створений прототип на платформі мікрокомп'ютера Raspberry Pi 3, для того щоб показати, що дані системи можливо розгортати не тільки на потужних обчислювальних кластерах, але і на кінцевих пристроях [16].

Висновки

На даному етапі виконання магістерської роботи був проведений аналіз впливу динаміки потоків покупців на конверсію в торгових залах. Визначено такі напрямки в рішенні поставленого завдання, як локалізація об'єктів, а також їх подальший супровід. Проаналізовано основні алгоритми виявлення і супроводу людей в потоці.

В результаті порівняння методів детектування, були зроблені наступні висновки: методи пошуку по шаблонах вкрай чутливі до вхідних даних і їх змін. Таким чином, вони можуть ефективно працювати тільки при певних, жорстко фіксованих умовах. Методи засновані на отриманні ознак і нейронні мережі можуть навчатися під певні класи об'єктів, що збільшує точність виявлення і дозволяє класифікувати об'єкти по декількох класах. В результаті порівняльного аналізу різних методів пошуку об'єктів для реалізації завдання детектування, було прийнято рішення використовувати нейромережеві методи їх обробки. Дане рішення обумовлене високою точністю обраних методів.

Аналіз методів відстеження об'єктів показав, що в даний час гостро стоїть проблема забезпечення безперервного трекінгу. Більшість існуючих систем трекінгу не підтримують даний функціонал, або намагаються вирішити проблему шляхом вибору ракурсу, при якому ймовірність перекриття мінімальна.

Серед розглянутих методів трекінгу об'єктів відеопослідовності можна виділити фільтр Калмана, що є найбільш популярним алгоритмом для відстеження та прогнозування поточних і майбутніх позицій. Основною особливістю даного алгоритму є те що, він дозволяє відслідковувати траєкторію об'єкта навіть у тому випадку, коли він не був розпізнаний на кількох кадрах поспіль з тієї чи іншої причини.

Перелік посилань

  1. Debaditya Acharya, Kourosh Khoshelham, Stephan Winter Real-time detection and tracking of pedestrians in CCTV images using a deep convolutional neural network/ Conference: Proc. of the 4th Annual Conference of Research@Locate, At Sydney, Australia, Volume: 1913/Infrastructure Engineering, The University of Melbourne/April 2017, 31-36
  2. Y.Le Cunn, B.Boser ,J.S. Denker, D.Henderson, R.E.Howard, W.Hubbard and L.D.Jackel Handwritten Digit Recognition with a Back-Propagation Network / [Электронный ресурс]. – Режим доступа: [Ссылка].
  3. Raghav Prabhu CNN Architectures — LeNet, AlexNet, VGG, GoogLeNet and ResNet [Электронный ресурс]. – Режим доступа: [Ссылка].
  4. Matthew D Zeiler, Rob Fergus Visualizing and Understanding Convolutional Networks / Dept. of Computer Science, Courant Institute, New York University [Ссылка]
  5. Li Liu ,Wanli Ouyang, Xiaogang Wang, Paul Fieguth, Jie Chen, Xinwang Liu, Matti Pietikainen Deep Learning for Generic Object Detection: A Survey
  6. Liang Zheng, Yi Yang, Alexander G. Hauptmann Person Re-identification: Past, Present and Future [Электронный ресурс]. – Режим доступа: [Ссылка].
  7. Mohammadreza Baharani, Shrey Mohan Hamed Tabkhi:Real-Time Person Re-identification at the Edge: A Mixed Precision Approach /International Conference on Image Analysis and Recognition (ICIAR 2019), pp.27-39 (2019)
  8. Nicolai Wojke, Alex Bewley, Dietrich Paulus: Simple Online and Realtime Tracking with a Deep Association Metric / University of Koblenz-Landau, Queensland University of Technology (2017)
  9. Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, Ben Upcroft SIMPLE ONLINE AND REALTIME TRACKING/Queensland University of Technology, University of Sydney (2017)
  10. Nicolai Wojke, Alex Bewley, Dietrich Paulus Simple Online and Realtime Tracking with a Deep Association Metric [Электронный ресурс]. – Режим доступа: [Ссылка].
  11. Тассов К.Л., Бекасов Д.Е. Обработка перекрытий в задачах отслеживания объектов в видеопотоке. Инженерный журнал: наука и инновации, 2013, вып. 6. – Режим доступа: [Ссылка].
  12. Алфимцев А.Н., Демин Н.А. Захват и отслеживание удаленных объектов в видеопотоке. Инженерный журнал: наука и инновации, 2013, вып. 11. Режим доступа: [Ссылка].
  13. Девятков В.В., Алфимцев А.Н. Отслеживание движущихся объектов для мониторинга транспортного потока / Труды 34-й Конференции «Информационные технологии и системы» (Геленджик, 2011). Геленджик: ИППИ им. А.А. Харкевича РАН, 2011. С. 31-36.
  14. Берсенев А.П., Зоев И.В., Марков Н.Г. Исследование свёрточных нейронных сетей класса YOLO для мобильных систем детектирования объектов на изображениях. Труды международной конференции по компьютерной графики и зрению "Графикон", вып.28, 2018. - 196-199 с.
  15. Н.С. Артамонов, П.Ю. Якимов Классификация дорожных знаков при помощи YOLO CNN на мобильной платформе NVIDIA Jetson / IV Международная конференция и молодёжная школа «Информационные технологии и нанотехнологии» (ИТНТ-2018) Самара, 24-27 апреля 2018 г. - 2328-2334 с.
  16. Яскеляйнен Я.С., Хакимов А.А., Мутанна М. С.А., Мутханна А.С.А., Киричёк Р.В. Разработка системы распознавания пешеходов в режиме реального времени для ее применения в концепции Умного города // Информационные технологии и телекоммуникации. Санкт-Петербург: СПбГУТ, 2018. Том 6. № 3. С. 123–136.