Русский   English
ДонНТУ   Портал магістрів

Реферат за темою випускної роботи

Зміст

Вступ

Багато водіїв за кермом автомобіля відчувають почуття втоми або сонливості, і вони навіть не підозрюють про те, що знаходяться в такому стані. Відстеження небезпечної поведінки за кермом може допомогти звернути увагу водіїв на стиль свого водіння і пов'язані з цим ризики, тим самим знизити відсоток необережного водіння і поліпшити навички безпечної поведінки на дорозі. Поняття «водіння в напівсонному стані», можливо, звучить несерйозно, але кількість нещасних випадків,викликаних засинанням водія за кермом, з кожним роком забирає все більше життів і призводить до травматизму. Водіння в стані сонливості настільки ж небезпечно, як і водіння в стані алкогольного сп'яніння, про що свідчить аналіз числа травм і смертей, отриманих при водінні. Заснув чи водій за кермом, або ж у нього сповільнилася швидкість реакції–все це в рівній мірі може привести до серйозних небезпечних наслідків водіння в стані сонливості.

1. Актуальність теми

Системи автоматизованої підтримки водія (Advanced Driver Assistance Systems, ADAS) націлені на надання допомоги водієві в справі недопущення дорожньо-транспортних пригод (ДТП) або пом'якшення їх наслідків. Попереджувальні сигнали високої пріоритетності подаються цими системами для стимулювання пильності і своєчасних і належних дій водія в ситуаціях, коли може мати місце або безпосередньо існує небезпека виникнення серйозних ушкоджень або загибелі людей.

Основні сучасні технології, які складають ADAS-системи:

  • система виявлення дорожньої розмітки (Lane Detection, LDA)–маркерів смуг і краю проїжджої частини, оцінка стану автомобіля в межах смуги;
  • система контролю рядності руху (Lane Departure Warning, LDW) використовує інформацію від модуля виявлення смуги LDA, обчислює час до перетину розмітки (Time to Lane Crossing, TLC) і забезпечує попередження водієві в разі виявлення догляду;
  • функція виявлення транспортних засобів (ТЗ), що працює на основі монокамерних алгоритмів, розпізнає всі моторизовані механічні ТЗ–автомобілі, мотоцикли, вантажівки, в умовах денного або нічного освітлення;
  • функція попередження про передньому зіткненні і пом'якшення неминучої аварії (Forward Collision Warning and pre-crash mitigation), шосейний моніторинг і попередження (Headway Monitoring and Warning).

    • Все ADAS-системи можна умовно розділити за формою подання на дві категорії:

  • мобільні додатки, що встановлюються на смартфон з магазину додатків (Google Play / App Store)
  • зовнішні камери, сенсори, датчики, чіпи і т.д. разом з програмними засобами, що вбудовуються в автомобілі на заводах-виробниках або встановлюються постфактум.
    • На ринку ADAS-систем існує чимала кількість рішень від різних компаній. Можна відзначити наступні недоліки інтегрованих ADAS-систем:
  • вартість таких систем залишається досить високою;
  • вони доступні в основному тільки у вигляді додаткової опції для дорогих і ексклюзивних автомобілів.

    • 2. Мета і завдання дослідження, плановані результати

    Постановка задачі

    Проблемі моніторингу і контролю водія по зображенню присвячено не так вже й багато робіт, отже, тема є актуальною. Основні труднощі полягають в тому, щоб можна було розпізнати об'єкт незалежно від зміни ракурсу та умов освітлення при зйомці. Також важливою проблемою є обмежений функціонал мобільних ADAS- рішень, так як вони не вміють одночасно відстежувати і поведінку водія, і рух транспортних засобів через те, що в процесі роботи використовується тільки одна з камер смартфона.

    Мета дослідження–огляд методів детектування, розпізнавання та супроводження об'єктів фоторяду для підвищення безпеки водіїв і пасажирів ТЗ. В даному випадку під об'єктом розуміється особа водія.             Рішення завдання моніторингу стану водія складається з декількох кроків. На малюнку 1 представлені основні етапи обробки фоторяду.

    Основні етапи обробки фоторяду для завдання моніторингу та контролю втоми водія

    Малюнок 1 – Основні етапи обробки фоторяду для завдання моніторингу та контролю втоми водія

    Виявлення та розпізнавання об'єктів в кадрі

    В першу чергу після отримання чергового кадру, потрібно виділити на ньому об'єкти, що представляють інтерес, а саме особа водія, і потім уточнити тип знайденого об'екта.Для вирішення даного завдання існує безліч різних підходів, а саме сегментація, детектування ознак, категоріальне розпізнавання і т. д., для подальшого аналізу були виділені наступні групи методів: засновані на зіставленні з шаблоном і засновані на отриманні ознак.

    Детектування об'єктів з використанням методу пошуку об'єкта за шаблоном

    Дана група методів працює за наступним принципом: потрібно два компонента–вихідне зображення і зображення-шаблон. Щоб визначити подібний ділянку, необхідно накласти шаблон на знімок і попиксельно рухати його, зліва направо, зверху вниз. У кожному положенні обчислюється метрика, яка показує, збігаються картинки чи ні. Для кожного положення шаблону метрика заноситься в результуючу матрицю R. Кожне положення (x, y) в R містить метрику збігів. Після закінчення порівняння кращі збігу знаходяться в глобальних мінімумах (при використанні методу найменших квадратів) або максимумах (при використанні методу кореляції або методу крос-кореляції). Дана група методів добре застосовувана при аналізі сцен, в яких камера статична, а все екземпляр шуканих об'єктів виглядають однаково. На практиці це призводить до наступних проблем: в разі зміни ракурсу зйомки, перекриття відразу спостерігається нестійка робота методу.

    Категоріальне розпізнавання об'єктів

    Щоб уникнути вищеописаних проблем, було прийнято рішення скористатися альтернативним підходом, а саме пошуком осіб за допомогою навченого класифікатора. Використання класифікатора передбачає виділення деяких характерних ознак на зображенні, машинне навчання класифікатора на наборі позитивних і негативних зразків, на яких свідомо присутні або відсутні об'єкти шуканого класу, і застосування класифікатора до чергового зображенню з метою пошуку об'єктів на ньому. Серед найбільш популярних методів даної групи можна виділити наступні: метод Віоли-Джонса, головних компонент, перетворення Хафа.

    Процес визначення сонливості

    Існуючі зараз апаратно-програмні комплекси оцінюють функціональний стан людини, використовуючи один з наступних методів: електроенцефалографію, аналіз серцевої активності, руху голови, час реакції на стимул, електродермальную активність, руху очей, моргання, вимір частки часу, протягом якого повіки частково закриті за оцінками спостерігача (PERCLOS). PERCLOS (PERcentage of eye CLOSure)–це частка часу, протягом якого повіки водія частково закриті за оцінками спостерігача або відповідної прикладної програми. Однак ефективність подібних систем поки ще невелика. Причина тому -недостатньо розроблені фізіологічні та поведінкові критерії, на підставі яких можуть розпізнаватися небезпечні для водія стану, проблеми з реєстрацією біологічних сигналів, проблеми з ергономікою і зручністю використання, закритість алгоритмів, відсутність обміну інформацією в середовищі розробників, а також просте небажання водіїв бути об'єктами контролю.

    Найбільш перспективним з точки зору зручності використання, якості сигналу та інформативності реєстрованих параметрів є метод аналізу окуломоторний реакцій. У даній роботі використовувався метод відеоокулографіі (eye-tracking), який поєднує в собі всі зазначені гідності. Можна виявити такі фізіологічні ознаки, які вимірюють неуважність, втома або сонливість водія ТЗ: частка часу, коли очі закриті (PERCLOS), позіхання, кивання головою, частота моргання повік, швидкість моргання повік.

    Критерієм сонливості є стан, коли очі закриті більше 80% за хвилину. Якщо відсоток закривання очей перевищує 80% протягом хвилини, то людина вважається дрімаючі. Сонливість–це почуття втоми і «злипання очей», що є наслідком порушення сну і супроводжується постійним або періодичним бажанням заснути під час, не призначене для сну. Надмірна сонливість знижує пильності. Швидкість реакції сповільнюється, утруднюється прийняття рішень, а також знижується увага, пам'ять, страждає координація рухів. Одним з помітних ознак сонливості є момент, коли водій «клює носом», тобто йому важко стає утримувати голову в нормальному положені .Прі розвитку втоми або сонливості моргання очей може стати більш тривалим і більш повільним, і (або) частота моргання може варіювати, і (або) при моргання повіки можуть почати опускатися з невеликою амплітудою, наприклад, поки очі не починають закриватися до короткострокових «мікроснов», тобто станів сну, які тривають протягом приблизно 3-5 с або довше, або до тривалого сну.

    Узагальнена схема роботи системи

    Підсистема моніторингу та контролю втоми водія в спрощеному вигляді складається з трьох модулів:

    1. Модуль детектування особи водія в кадрі.
    2. Модуль розпізнавання очей за ключовими ознаками.
    3. Модуль відстеження особи на наступних кадрах.

    Вхідний інформацією для такої системи є послідовність фото, знятих з певною частотою. До кожного з них застосовується алгоритм детектування особи водія. Отримавши область кадру з об'єктом, необхідно провести порівняння ключових ознак отриманого об'єкта з наявними в БД. В результаті чого, отримуємо підтвердження або спростування твердження «це особа». У разі відсутності збігів, запишемо новий вектор ознак в БД. Потім проводиться відстеження на виявленому особі водія положення очей і перевіряється на втому за допомогою наявних методів. Узагальнена схема роботи підсистеми моніторингу та контролю втоми водія зображена на малюнку 2.

    Узагальнена схема роботи підсистеми моніторингу та контролю втоми водія

    Малюнок 2 – Узагальнена схема роботи підсистеми моніторингу та контролю втоми водія

    3. Аналіз предметної області

    Багато водіїв за кермом автомобіля відчувають почуття втоми або сонливості, і вони навіть не підозрюють про те, що знаходяться в такому стані. Відстеження небезпечної поведінки за кермом може допомогти звернути увагу водіїв на стиль свого водіння і пов'язані з цим ризики, тим самим знизити відсоток необережного водіння і поліпшити навички безпечної поведінки на дорозі. Поняття «водіння в напівсонному стані», можливо, звучить несерйозно, але кількість нещасних випадків, визвали засипанням водія за кермом, з кожним роком забирає все більше життів і призводить до травматизму. Водіння в стані сонливості настільки ж небезпечно, як і водіння в стані алкогольного сп'яніння, про що свідчить аналіз числа травм і смертей, отриманих при водінні. Заснув чи водій за кермом, або ж у нього сповільнилася швидкість реакції–все це в рівній мірі може привести до серйозних небезпечних наслідків водіння в стані сонливості.

    Системи автоматизованої підтримки водія (Advanced Driver Assistance Systems, ADAS) націлені на надання допомоги водієві в справі недопущення дорожньо-транспортних пригод (ДТП) або пом'якшення їх наслідків. Попереджувальні сигнали високої пріоритетності подаються цими системами для стимулювання пильності і своєчасних і належних дій водія в ситуаціях, коли може мати місце або безпосередньо існує небезпека виникнення серйозних ушкоджень або загибелі людей.

    Все ADAS-системи можна умовно розділити за формою подання на дві категорії:

  • мобільні додатки, що встановлюються на смартфон з магазину додатків (Google Play / AppStore);
  • зовнішні камери, сенсори, датчики, чіпи і т.д. разом з програмними засобами, що вбудовуються в автомобілі на заводах-виробниках або встановлюються постфактум.

    • На ринку ADAS-систем існує чимала кількість рішень від різних компаній. Можна відзначити наступні недоліки інтегрованих ADAS-систем:

  • вартість таких систем залишається досить високою;
  • вони доступні в основному тільки у вигляді додаткової опції для дорогих і ексклюзивних автомобілів.

    • 3.1 Огляд інструментальних засобів

    У зв'язку з новизною дослідження в рамках предметної області, в процесі дослідження ринку програмного забезпечення був знайдений всього один програмний продукт, схожих своєю функціональністю з розглянутою в рамках магістерської роботи системи.

    Одним з найбільш популярних мобільних додатків в сфері ADAS-систем є рішення iOnRoad3. Додаток використовує вбудовані в смартфон тилову камеру, сенсори і датчики для виявлення попереду автомобілів, що йдуть і попередження водія у разі небезпеки. Дана система фіксує об'єкти перед водієм в реальному часі, вираховуючи поточну швидкість за допомогою сенсорів. При насувається спливає звукове та графічне попередження про можливість зіткнення, дозволяючи водієві вчасно загальмувати.

    Мобільні додатки мають, в свою чергу, свої недоліки. Головним з них є те, що мобільні ADAS-рішення не вміють відстежувати одночасно і поведінку водія, і рух транспортних засобів, і в таких додатках задіюється тільки одна з наявних на смартфоні камер. Таким чином, мобільні ADAS-рішення не враховують весьспектр небезпечних дорожніх ситуацій, з якими може зіткнутися водій ТЗ. Крім того, в таких мобільних рішеннях все інтенсивні обчислення з обробки та аналізу зображень та дорожніх ситуацій виконуються тільки на смартфоні водія, що може бути не завжди прийнятно через обмеженість ресурсів мобільних пристроїв. Таким чином, розгортання і виконання процесів мобільних додатків не представлено в хмарному середовищі.

    Приклад роботи ADAS системи

    Малюнок 3 – Приклад роботи ADAS системи

    3.2 Аналіз методів вирішення

    Якщо розглядати завдання моніторингу та контролю втоми водія, то її можна розділити на три підзадачі–виявлення, розпізнавання і відстеження.

    1. виявлення (detection)–виділення областей на зображенні, які можуть містити цікавий для нас об'єкти, в нашому випадку особа водія;
    2. розпізнавання (recognition)–уточнення типів знайдених об'єктів, а саме очі водія;
    3. супровід (tracking)–локалізація на наступних кадрах розпізнаних об'єктів.

    Існує два способи відстеження особи водія на фото. Перший–виявлення об'єкта в кожному кадрі і другий–супровід через виявлення в першому кадрі, тобто виділяється об'єкт, розпізнається і надалі відслідковується на кожному наступному кадрі. Даний спосіб є обчислювально ефективним на відміну від першого, де доводиться шукати об'єкти в кожному кадрі, що веде до суттєвої обчислювального навантаження на систему.

    Аналіз методів детектування об'єктів

    1. Один з можливих підходів до вирішення завдання пошуку об'єктів полягає в тому, щоб використовувати алгоритми машинного навчання для побудови моделей класів об'єктів (людина, мотоцикл, літак, автомобіль, автобус і т.д.) і алгоритми виводу для визначення положення об'єктів на зображенні.

    Побудова моделі складається з двох етапів:

  • витяг ознак (числових характеристик), характерних для об'єктів класу, на деякій множині зображень–побудова характеристичних векторів ознак для особливих точок об'єкта (кутів, 20 ліній, ребер, контурів) або для всього об'єкта. На даному етапі, по суті, формується тренувальна вибірка.
  • побудова моделі об'єкта. Передбачає навчання класифікатора на отриманій вибірці.
  • побудова формального опису об'єкта–витяг ознак об'єкта з тестового зображення. На даному етапі використовується такий же алгоритм вилучення, що і при побудові моделі.
  • визначення положення об'єктів на зображенні. Вхідними даними алгоритму пошуку положення є формальний опис об'єкта і модель класу об'єктів. На підставі цієї інформації виконується порівняння формального опису з моделлю. Значення міри схожості можна розглядати як ступінь достовірності того, що об'єкт належить класу, який визначається заданою моделлю.

    • Пошук об'єктів на підставі деякого шаблону передбачає, що є зображення об'єкта–шаблон–і тестове зображення, яке зіставляється з цим шаблоном. У найпростішому випадку в якості шаблону може виступати матриця інтенсивностей квітів, найбільш характерних для об'єкта. Більш складні методи даної групи в якості шаблону використовують набори векторів ознак (дескриптори), геометричне уявлення об'єкта або імовірнісні моделі об'єктів, які містять інформацію про розподіли інтенсивностей пікселів. Зіставлення (matching) з шаблоном на увазі порівняння описів тестового і шаблонного зображень за деякою обраної метриці–як правило, вибирається Евклідова відстань, норма L1, зважена згортка квадратичних помилок, або кореляція.

    Наукова новизна і практична цінність

    Наукова новизна насамперед полягає в тому, що для дослідження взято маловивчений об'єкт, а саме модель визначення особи і виділення очей, що додає складність у вивченні предметної області. У процесі вивчення предметної області, було зібрано різні матеріали для подальшого аналізу, і вибору напрямку власного дослідження. Складність дослідження полягає насамперед у нестабільності більшості алгоритмів до розпізнавання осіб, а саме складність їх розпізнавання при незначних поворотах і нахилах. На основі вивчених матеріалів, був сформульована математична постановка задачі детектування об'єктів.

    За підсумками проведеного огляду було прийнято рішення використовувати метод категоріального розпізнавання об'єктів на зображенні. На даний момент найпопулярнішим в силу високої швидкості та ефективності є представлений в 2001 році метод Віоли–Джонса.

    Основні принципи методу Віоли-Джонса такі:

  • используются изображения в интегральном представлении;
  • використовуються ознаки Хаара, за допомогою яких відбувається
  • поиск нужного объекта (в данном контексте, лица и его черт);
  • використовується бустінг (від англ. boost–поліпшення, посилення) для вибору найбільш підходящих ознак для шуканого об'єкта;
  • всі ознаки надходять на вхід класифікатором, який дає результат «вірно» або «брехня»;
  • використовуються каскади ознак для швидкого відкидання вікон, де не знайдено особа.

    • Характеристики методу:

  • Віола-Джонс є одним з кращих по співвідношенню показників ефективність розпізнавання / швидкість роботи.
  • Володіє вкрай низькою ймовірністю помилкового виявлення.
  • Алгоритм добре працює і розпізнає об'єкт під невеликим кутом, приблизно до 30 градусів. При куті нахилу більше 30 градусів відсоток виявлень різко падає.

    • Основу методи Віоли-Джонса складають примітиви Хаара. В оригінальній версії алгоритму використовувалися тільки примітиви без поворотів, а значення ознаки обчислювалося як проста різниця між сумою яркостей пікселів в підгалузях. Надалі були запропоновані примітиви з нахилом на 45 градусів, а також несиметричних конфігурацій. Замість обчислення простий різниці було запропоновано приписувати кожної підобласті певне політичне значення і обчислювати значення ознаки як зважену суму пікселів різнотипних областей. Ознаки обчислюються в межах переміщається по зображенню скануючого вікна змінного розміру.

    Обчислюваним значенням такого показника буде: F = X-Y

    де Х–сума значень яскравості точок, які закривають світлою частиною ознаки, а Y–сума значень яскравості точок, які закривають темною частиною ознаки.

    Для їх обчислення використовується понять інтегрального обчислення (англ. Summed Area Table–SAT): в кожному пікселі зображення записана сума всіх пікселів лівіше і вище даного.

    В алгоритмі Віоли–Джонса використовується так званий бустінг [(англ. Boosting)–комплекс методів, що сприяють підвищенню точності аналітичних моделей, або посилення «слабких» моделей. Це процедура послідовного побудови композиції алгоритмів машинного навчання, коли кожен наступний алгоритм прагне компенсувати недоліки композиції всіх попередніх. В даному випадку застосовується алгоритм бустінга AdaBoost.

    Метод Віоли–Джонса використовує каскадну модель сильних класифікаторів. Вона являє собою дерево прийняття рішень, де кожен вузол побудований так, щоб детектувати все цікавлять образи і відхиляти області, які не є образами.

    Каскад застосовується за такими правилами:

  • робота ведеться з простими» класифікаторами;
  • тільки позитивне значення одного класифікатора запускає наступний, більш пристосований;
  • від'ємне значення класифікатора призводить до негайного переходу до наступного скануючого вікна і відкидання поточного;
  • ланцюжок класифікаторів стає все більш складною, і кількість помилок скорочується.

    • Для завдання відстеження об'єкта було прийнято використовувати фільтр Кальмана, який дозволяє отримати ймовірні положення знайдених раніше об'єктів в новому кадрі на основі історії його попередніх положень.

    Основні особливості даного алгоритму:

  • дозволяє відстежувати траєкторію об'єкта навіть у тому випадку, коли він не був розпізнаний на кількох кадрах поспіль з тієї чи іншої причини;
  • якщо знайдена на кадрі область, яка містить фігуру людини, що не була порівняна з жодною з поточних траєкторій, вона ставиться початком нової траєкторії;
  • якщо протягом деякої послідовності кадрів до траєкторії об'єкта не додаються нові положення, об'єкт вважається який залишив кадр, і траєкторія завершується.

    • При написанні даного реферату магістерська робота ще не завершена. Остаточне завершення: квітень 2020 року. Повний текст роботи і матеріали по темі можуть бути отримані у автора або його керівника після зазначеної дати.

    Список джерел

    1. Culjak  I., Abram  D., Pribanic  T., Dzapo  H., Cifrek  M. A brief introduction // 2012 Proceedings of the 35th International Convention MIPRO. Opatija, Croatia. 2012. P. 1725-1730.
    2. Kalman R.E. A new approach to linear filtering and prediction problems // Journal of Basic Engineering, Vol. 82(1), 1960. P. 35-45.
    3. Cristianini  N., Shawe-Taylor  J. An Introduction to Support Vector Machines and Other Kernel based Learning Methods. New York: Cambridge University Press, 2000.
    4. Dalal  N., Triggs  B. Histograms of oriented gradients for human detection // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2005. Vol. 1. P. 886-893.
    5. Amos  B., Ludwiczuk  B., Satyanarayanan  M. Openface: A general-purpose face recognition library with mobile applications, CMU School of Computer Science, Pittsburgh, Pennsylvania, United States, CMU-CS-16-118, 2016.
    6. Viola  P., Jones  M. Rapid Object Detection using a Boosted Cascade of Simple Features // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kaiai, Hawaii, USA. 2001. Vol. 1. P. 511-518.
    7. Bay  H., Ess  A., Tuytelaars  T., Van Gool L. Speeded-Up Robust Features (SURF) // Computer Vision and Image Understanding. June 2008. Vol. 110(3). P. 346-359.