Українська   English
ДонНТУ   Портал магистров

Реферат по теме выпускной работы

Содержание

Введение

Многие водители за рулем автомобиля испытывают чувство усталости или сонливости, и они даже не подозревают о том, что находятся в таком состоянии. Отслеживание опасного поведения за рулем может помочь обратить внимание водителей на стиль своего вождения и связанные с этим риски, тем самым снизить процент неосторожного вождения и улучшить навыки безопасного поведения на дороге. Понятие «вождение в полусонном состоянии», возможно, звучит несерьезно, но количество несчастных случаев, вызванных засыпанием водителя за рулем, с каждым годом уносит все больше жизней и приводит к травматизму. Вождение в состоянии сонливости настолько же опасно, как и вождение в состоянии алкогольного опьянения, о чем свидетельствует анализ числа травм и смертей, полученных при вождении. Заснул ли водитель за рулем, или же у него замедлилась скорость реакции – все это в равной мере может привести к серьезным опасным последствиям вождения в состоянии сонливости.

1. Актуальность темы

Системы автоматизированной поддержки водителя (Advanced Driver Assistance Systems, ADAS) нацелены на оказание помощи водителю в деле недопущения дорожно-транспортных происшествий (ДТП) или смягчения их последствий. Предупреждающие сигналы высокой приоритетности подаются этими системами для стимулирования бдительности и своевременных и надлежащих действий водителя в ситуациях, когда может иметь место или непосредственно существует опасность возникновения серьезных повреждений или гибели людей.

Основные современные технологии, составляющие ADAS-системы:

  • система обнаружения дорожной разметки (Lane Detection, LDA) – маркеров полос и края проезжей части, оценка положения автомобиля в пределах полосы;
  • система контроля рядности движения (Lane Departure Warning, LDW) использует информацию от модуля обнаружения полосы LDA, вычисляет время до пересечения разметки (Time to Lane Crossing, TLC) и обеспечивает предупреждение водителю в случае обнаружения ухода;
  • функция обнаружения транспортных средств (ТС), работающая на основе монокамерных алгоритмов, распознает все моторизованные механические ТС – автомобили, мотоциклы, грузовики, в условиях дневного или ночного освещения;
  • функция предупреждения о переднем столкновении и смягчении неизбежной аварии (Forward Collision Warning and pre-crash mitigation), шоссейный мониторинг и предупреждения (Headway Monitoring and Warning).

    • Все ADAS-системы можно условно разделить по форме представления на две категории:

  • мобильные приложения, устанавливаемые на смартфон из магазина приложений (Google Play / App Store)
  • внешние камеры, сенсоры, датчики, чипы и т.д. вместе с программными средствами, встраиваемые в автомобили на заводах-производителях или устанавливаемые постфактум.
    • На рынке ADAS-систем существует немалое количество решений от разных компаний. Можно отметить следующие недостатки интегрируемых ADAS-систем:
  • стоимость таких систем остается достаточно высокой;
  • они доступны в основном только в виде дополнительной опции для дорогих и эксклюзивных автомобилей.

    • 2. Цель и задачи исследования, планируемые результаты

    Постановка задачи

    Проблеме мониторинга и контроля водителя по изображению посвящено не так уж много работ, следовательно, тема является актуальной. Основные трудности заключаются в том, чтобы можно было распознать объект независимо от изменения ракурса и условий освещённости при съёмке. Также немаловажной проблемой является ограниченный функционал мобильных ADAS- решений, так как они не умеют одновременно отслеживать и поведение водителя, и движение ТС из-за того, что в процессе работы используется только одна из камер смартфона.

    Цель исследования – обзор методов детектирования, распознавания и сопровождения объектов фоторяда для повышения безопасности водителей и пассажиров ТС. В данном случае под объектом понимается лицо водителя. Решение задачи мониторинга состояния водителя состоит из нескольких шагов. На рисунке 1 представлены основные этапы обработки фоторяда.

    Основные этапы обработки фоторяда для задачи мониторинга и контроля усталости водителя

    Рисунок 1 – основные этапы обработки фоторяда для задачи мониторинга и контроля усталости водителя

    Обнаружение и распознавание объектов в кадре

    В первую очередь после получения очередного кадра, требуется выделить на нем объекты, представляющие интерес, а именно лицо водителя, и затем уточнить тип найденного объекта.Для решения данной задачи существует множество различных подходов, а именно сегментация, детектирование признаков, категориальное распознавание и т.д., для дальнейшего анализа были выделены следующие группы методов: основанные на сопоставлении с шаблоном и основанные на извлечении признаков.

    Детектирование объектов с использованием метода поиска объекта по шаблону

    Данная группа методов работает по следующему принципу: требуется два компонента – исходное изображение и изображение-шаблон. Чтобы определить сходный участок, необходимо наложить шаблон на снимок и попиксельно двигать его, слева направо, сверху вниз. В каждом положении вычисляется метрика, которая показывает, совпадают картинки или нет. Для каждого положения шаблона метрика заносится в результирующую матрицу R. Каждое положение (x,y) в R содержит метрику совпадений. После окончания сравнения лучшие совпадения находятся в глобальных минимумах (при использовании метода наименьших квадратов) или максимумах (при использовании метода корреляции или метода кросс-корреляции). Данная группа методов хорошо применяема при анализе сцен, в которых камера статична, а все экземпляр искомых объектов выглядят одинаково. На практике это приводит к следующим проблемам: в случае изменения ракурса съемки, перекрытия сразу наблюдается неустойчивая работа метода.

    Категориальное распознавание объектов

    Чтобы избежать вышеописанных проблем, было принято решение воспользоваться альтернативным подходом, а именно поиском лиц с помощью обученного классификатора. Использование классификатора подразумевает выделение некоторых характерных признаков на изображении, машинное обучение классификатора на наборе позитивных и негативных образцов, на которых заведомо присутствуют или отсутствуют объекты искомого класса, и применение классификатора к очередному изображению с целью поиска объектов на нем. Среди наиболее популярных методов данной группы можно выделить следующие: метод Виолы-Джонса, главных компонент, преобразования Хафа.

    Процесс определения сонливости

    Существующие в настоящий момент аппаратно-программные комплексы оценивают функциональное состояние человека, используя один из следующих методов: электроэнцефалографию, анализ сердечной активности, движения головы, время реакции на стимул, электродермальную активность, движения глаз, моргания, измерение доли времени, в течение которого веки частично закрыты по оценкам наблюдателя (PERCLOS). PERCLOS (PERcentage of eye CLOSure) – это доля времени, в течение которого веки водителя частично закрыты по оценкам наблюдателя или соответствующей прикладной программы. Однако эффективность подобных систем пока еще невелика. Причина тому – недостаточно разработанные физиологические и поведенческие критерии, на основании которых могут распознаваться опасные для водителя состояния, проблемы с регистрацией биологических сигналов, проблемы с эргономикой и удобством использования, закрытость алгоритмов, отсутствие обмена информацией в среде разработчиков, а также простое нежелание водителей быть объектами контроля.

    Наиболее перспективным с точки зрения удобства использования, качества сигнала и информативности регистрируемых параметров является метод анализа окуломоторных реакций. В настоящей работе использовался метод видеоокулографии (eye-tracking), который сочетает в себе все указанные достоинства. Можно выявить следующие физиологические признаки, которые измеряют невнимательность, усталость или сонливость водителя ТС: доля времени, когда глаза закрыты (PERCLOS), зевота, кивание головой, частота моргания век, скорость моргания век.

    Критерием сонливости является состояние, когда глаза закрыты больше 80% за минуту. Если процент закрывания глаз превышает 80% в течение минуты, то человек считается дремлющим. Сонливость – это чувство усталости и «слипания глаз», являющееся следствием нарушения сна и сопровождающееся постоянным или периодическим желанием уснуть во время, не предназначенное для сна. Чрезмерная сонливость снижает бдительность. Скорость реакции замедляется, затрудняется принятия решений, а также понижается внимание, память, страдает координация движений. Одним из заметных признаков сонливости является момент, когда водитель «клюет носом», т.е. ему трудно становится удерживать голову в нормальном положении.При развитии усталости или сонливости моргание глаз может стать более продолжительным и более медленным, и (или) частота моргания может варьировать, и (или) при моргании веки могут начать опускаться с небольшой амплитудой, например, пока глаза не начинают закрываться до краткосрочных «микроснов», т.е. состояний сна, которые длятся в течение приблизительно 3–5 с или дольше, или до продолжительного сна.

    Обобщенная схема работы системы

    Подсистема мониторинга и контроля усталости водителя в упрощенном виде состоит из трех модулей:

    1. Модуль детектирования лица водителя в кадре.
    2. Модуль распознавания глаз по ключевым признакам.
    3. Модуль отслеживания лица на следующих кадрах.

    Входной информацией для такой системы является последовательность фото, снятых с определенной частотой. К каждому из них применяется алгоритм детектирования лица водителя. Получив область кадра с объектом, необходимо произвести сравнение ключевых признаков полученного объекта с имеющимися в БД. В результате чего, получаем подтверждение или опровержение утверждения «это лицо». В случае отсутствия совпадений, запишем новый вектор признаков в БД. Затем производится отслеживание на обнаруженном лице водителя положение глаз и проверяется на усталость с помощью имеющихся методов. Обобщённая схема работы подсистемы мониторинга и контроля усталости водителя изображена на рисунке 2.

    Обобщенная схема работы подсистемы мониторинга и контроля усталости водителя

    Рисунок 2 – обобщенная схема работы подсистемы мониторинга и контроля усталости водителя

    3. Анализ предметной области

    Многие водители за рулем автомобиля испытывают чувство усталости или сонливости, и они даже не подозревают о том, что находятся в таком состоянии. Отслеживание опасного поведения за рулем может помочь обратить внимание водителей на стиль своего вождения и связанные с этим риски, тем самым снизить процент неосторожного вождения и улучшить навыки безопасного поведения на дороге. Понятие «вождение в полусонном состоянии», возможно, звучит несерьезно, но количество несчастных случаев, вызванных засыпанием водителя за рулем, с каждым годом уносит все больше жизней и приводит к травматизму. Вождение в состоянии сонливости настолько же опасно, как и вождение в состоянии алкогольного опьянения, о чем свидетельствует анализ числа травм и смертей, полученных при вождении. Заснул ли водитель за рулем, или же у него замедлилась скорость реакции – все это в равной мере может привести к серьезным опасным последствиям вождения в состоянии сонливости.

    Системы автоматизированной поддержки водителя (Advanced Driver Assistance Systems, ADAS) нацелены на оказание помощи водителю в деле недопущения дорожно-транспортных происшествий (ДТП) или смягчения их последствий. Предупреждающие сигналы высокой приоритетности подаются этими системами для стимулирования бдительности и своевременных и надлежащих действий водителя в ситуациях, когда может иметь место или непосредственно существует опасность возникновения серьезных повреждений или гибели людей.

    Все ADAS-системы можно условно разделить по форме представления на две категории:

  • мобильные приложения, устанавливаемые на смартфон из магазина приложений (Google Play / AppStore);
  • внешние камеры, сенсоры, датчики, чипы и т.д. вместе с программными средствами, встраиваемые в автомобили на заводах-производителях или устанавливаемые постфактум.

    • На рынке ADAS-систем существует немалое количество решений от разных компаний. Можно отметить следующие недостатки интегрируемых ADAS-систем:

  • стоимость таких систем остается достаточно высокой;
  • они доступны в основном только в виде дополнительной опции для дорогих и эксклюзивных автомобилей.

    • 3.1 Обзор инструментальных средств

    В связи с новизной исследования в рамках предметной области, в процессе исследования рынка программного обеспечения был найден всего один программный продукт, схожих своей функциональностью с рассматриваемой в рамках магистерской работы системы.

    Одним из наиболее популярных мобильных приложений в сфере ADAS-систем является решение iOnRoad3. Приложение использует встроенные в смартфон тыловую камеру, сенсоры и датчики для обнаружения впереди идущих автомобилей и предупреждения водителя в случае опасности. Данная система фиксирует объекты впереди водителя в реальном времени, высчитывая текущую скорость с помощью сенсоров. При надвигающейся опасности всплывает звуковое и графическое предупреждение о возможности столкновения, позволяя водителю вовремя затормозить.

    Мобильные приложения имеют, в свою очередь, свои недостатки. Главным из них является то, что мобильные ADAS-решения не умеют отслеживать одновременно и поведение водителя, и движение ТС, и в таких приложениях задействуется только одна из имеющихся на смартфоне камер. Таким образом, мобильные ADAS-решения не учитывают весь спектр небезопасных дорожных ситуаций, с которыми может столкнуться водитель ТС. Кроме того, в таких мобильных решениях все интенсивные вычисления по обработке и анализу изображений и дорожных ситуаций выполняются только на смартфоне водителя, что может быть не всегда приемлемо ввиду ограниченности ресурсов мобильных устройств. Таким образом, развертывание и выполнение процессов мобильных приложений не представлено в облачной среде.

    Пример работы ADAS системы

    Рисунок 3 – Пример работы ADAS системы

    3.2 Анализ методов решения

    Если рассматривать задачу мониторинга и контроля усталости водителя, то её можно разделить на три подзадачи–обнаружение, распознавание и отслеживание.

    1. обнаружение (detection) – выделение областей на изображении, которые могут содержать интересующий нас объекты, в нашем случае лицо водителя;
    2. распознавание (recognition) – уточнение типов найденных объектов, а именно глаза водителя;
    3. сопровождение (tracking) – локализация на следующих кадрах распознанных объектов.

    Существует два способа отслеживания лица водителя на фото. Первый–обнаружение объекта в каждом кадре и второй – сопровождение через обнаружения в первом кадре, то есть выделяется объект, распознается и в дальнейшем отслеживается на каждом последующем кадре. Данный способ является вычислительно эффективным в отличии от первого, где приходится искать объекты в каждом кадре, что ведет к существенной вычислительной нагрузки на систему.

    3.3 Анализ методов детектирования объектов

    1. Один из возможных подходов к решению задачи поиска объектов состоит в том, чтобы использовать алгоритмы машинного обучения для построения моделей классов объектов (человек, мотоцикл, самолет, автомобиль, автобус и т.д.) и алгоритмы вывода для определения положения объектов на изображении.

    Построение модели состоит из двух этапов:

  • извлечение признаков (числовых характеристик), характерных для объектов класса, на некотором множестве изображений – построение характеристических векторов признаков для особых точек объекта (углов, 20 линий, ребер, контуров) или для всего объекта. На данном этапе, по существу, формируется тренировочная выборка.
  • построение модели объекта. Предполагает обучение классификатора на полученной выборке.
  • построение формального описания объекта – извлечение признаков объекта из тестового изображения. На данном этапе используется такой же алгоритм извлечения, что и при построении модели.
  • определение положения объектов на изображении. Входными данными алгоритма поиска положения являются формальное описание объекта и модель класса объектов. На основании этой информации выполняется сравнение формального описания с моделью. Значение меры сходства можно рассматривать как степень достоверности того, что объект принадлежит классу, который определяется заданной моделью.

    • Поиск объектов на основании некоторого шаблона предполагает, что имеется изображение объекта – шаблон – и тестовое изображение, которое сопоставляется с этим шаблоном (рисунок 1.5). В простейшем случае в качестве шаблона может выступать матрица интенсивностей цветов, наиболее характерных для объекта. Более сложные методы рассматриваемой группы в качестве шаблона используют наборы векторов признаков (дескрипторы), геометрическое представление объекта или вероятностные модели объектов, которые содержат информацию о распределениях интенсивностей пикселей. Сопоставление (matching) с шаблоном подразумевает сравнение описаний тестового и шаблонного изображений по некоторой выбранной метрике – как правило, выбирается Евклидово расстояние, норма L1, взвешенная свертка квадратичных ошибок, либо корреляция.

    4. Научная новизна и практическая ценность

    Научная новизна прежде всего заключается в том, что для исследования взят малоизученный объект, а именно модель определения лица и выделения глаз, что добавляет сложность в изучении предметной области. В процессе изучения предметной области, были собраны различные материалы для дальнейшего анализа, и выбора направления собственного исследования. Сложность исследования заключается прежде всего в нестабильности большинства алгоритмов к распознаванию лиц, а именно сложность их распознавания при незначительных поворотах и наклонах. На основе изученных материалов, был сформулирована математическая постановка задачи детектирования объектов.

    По итогам проведенного обзора было принято решение использовать метод категориального распознавания объектов на изображении. В настоящий момент самым популярным в силу высокой скорости и эффективности является представленный в 2001 году метод Виолы – Джонса.

    Основные принципы метода Виолы-Джонса таковы:

  • используются изображения в интегральном представлении;
  • используются признаки Хаара, с помощью которых происходит
  • поиск нужного объекта (в данном контексте, лица и его черт);
  • используется бустинг (от англ. boost – улучшение, усиление) для выбора наиболее подходящих признаков для искомого объекта;
  • все признаки поступают на вход классификатору, который даёт результат «верно» либо «ложь»;
  • используются каскады признаков для быстрого отбрасывания окон, где не найдено лицо.

    • Характеристики метода:

  • Виола-Джонс является одним из лучших по соотношению показателей эффективность распознавания/скорость работы.
  • Обладает крайне низкой вероятностью ложного обнаружения.
  • Алгоритм хорошо работает и распознает объект под небольшим углом, примерно до 30 градусов. При угле наклона больше 30 градусов процент обнаружений резко падает.

    • Основу методы Виолы-Джонса составляют примитивы Хаара. В оригинальной версии алгоритма использовались только примитивы без поворотов, а значение признака вычислялось как простая разность сумм яркостей пикселей в подобластях. В дальнейшем были предложены примитивы с наклоном на 45 градусов, а также несимметричных конфигураций. Вместо вычисления простой разности было предложено приписывать каждой подобласти определенный вес и вычислять значение признака как взвешенную сумму пикселей разнотипных областей. Признаки вычисляются в пределах перемещающегося по изображению сканирующего окна переменного размера.

    Вычисляемым значением такого признака будет: F = X-Y

    где Х – сумма значений яркостей точек, закрываемых светлой частью признака, а Y – сумма значений яркостей точек, закрываемых темной частью признака.

    Для их вычисления используется понятий интегрального вычисления (англ. Summed Area Table – SAT): в каждом пикселе изображения записана сумма всех пикселей левее и выше данного.

    В алгоритме Виолы – Джонса используется так называемый бустинг [(англ. boosting) – комплекс методов, способствующих повышению точности аналитических моделей, или усиление «слабых» моделей. Это процедура последовательного построения композиции алгоритмов машинного обучения, когда каждый следующий алгоритм стремится компенсировать недостатки композиции всех предыдущих. В данном случае применяется алгоритм бустинга AdaBoost.

    Метод Виолы – Джонса использует каскадную модель сильных классификаторов. Она представляет собой дерево принятия решений, где каждый узел построен так, чтобы детектировать все интересующие образы и отклонять области, не являющиеся образами.

    Каскад применяется по следующим правилам:

  • работа ведется с простыми классификаторами;
  • только положительное значение одного классификатора запускает следующий, более приспособленный;
  • отрицательное значение классификатора приводит к немедленному переходу к следующему сканирующему окну и отбрасыванию текущего;
  • цепочка классификаторов становится все более сложной, и количество ошибок сокращается.

    • Для задачи отслеживания объекта было принято использовать фильтр Кальмана, который позволяет получить вероятные положения найденных ранее объектов в новом кадре на основе истории его предыдущих положений.

    Основные особенности данного алгоритма:

  • позволяет отслеживать траекторию объекта даже в том случае, когда он не был распознан на нескольких кадрах подряд по той или иной причине;
  • если найденная на кадре область, содержащая фигуру человека, не была сопоставлена ни с одной из текущих траекторий, она ставится началом новой траектории;
  • если на протяжении некоторой последовательности кадров к траектории объекта не добавляются новые положения, объект считается покинувшим кадр, и траектория завершается.

    • При написании данного реферата магистерская работа еще не завершена. Окончательное завершение: апрель 2020 года. Полный текст работы и материалы по теме могут быть получены у автора или его руководителя после указанной даты.

    Список источников

    1. Culjak  I., Abram  D., Pribanic  T., Dzapo  H., Cifrek  M. A brief introduction // 2012 Proceedings of the 35th International Convention MIPRO. Opatija, Croatia. 2012. P. 1725-1730.
    2. Kalman R.E. A new approach to linear filtering and prediction problems // Journal of Basic Engineering, Vol. 82(1), 1960. P. 35-45.
    3. Cristianini  N., Shawe-Taylor  J. An Introduction to Support Vector Machines and Other Kernel based Learning Methods. New York: Cambridge University Press, 2000.
    4. Dalal  N., Triggs  B. Histograms of oriented gradients for human detection // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2005. Vol. 1. P. 886-893.
    5. Amos  B., Ludwiczuk  B., Satyanarayanan  M. Openface: A general-purpose face recognition library with mobile applications, CMU School of Computer Science, Pittsburgh, Pennsylvania, United States, CMU-CS-16-118, 2016.
    6. Viola  P., Jones  M. Rapid Object Detection using a Boosted Cascade of Simple Features // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kaiai, Hawaii, USA. 2001. Vol. 1. P. 511-518.
    7. Bay  H., Ess  A., Tuytelaars  T., Van Gool L. Speeded-Up Robust Features (SURF) // Computer Vision and Image Understanding. June 2008. Vol. 110(3). P. 346-359.