Порубов Д.М., Гладышев А.А., Тюгин Д.Ю., Береснев П.О., Филатов В.И., Пинчин А.В. Разработка системы контроля полосы движения на основе технического зрения. Способ повышения безопасности движения автотранспортных средств за счет применения систем ADAS успешно зарекомендовал себя на практике. Применение в составе автомобилей систем ADAS является обязательным во многих странах мира и закреплено на государственном уровне. Одной из наиболее применяемых систем ADAS является система предупреждения о непреднамеренном сходе с полосы движения(LDWS).

Приведено описание принципов работы существующих систем LDWS в сегменте легких коммерческих транспортных средств(LCV). Представлены алгоритм и структура разрабатываемой системы LDWS для автомобиля ГАЗель Next. Дано описание и анализ алгоритмов распознавания дорожной разметки. Приведены результаты и сравнительный анализ виртуальных испытаний системы LDWS. Даны выводы о работе системы и алгоритме распознавания дорожной разметки.

Ключевые слова: система помощи водителю, выход из полосы движения, система удержания в полосе движения, легкие коммерческие автомобили.

Abstract: Porubov D.M., Gladyshev A.A., Tyugin D.Yu., Beresnev P.O., Filatov V.I., Pinchin A.V. Development of a lane departure warning system based on technical vision. The approach to improving the safety of motor vehicles by using ADAS systems has proven itself successfully in practice. The use of ADAS systems in vehicles is mandatory in many countries of the world and is enshrined at the state level. One of the most used ADAS systems is the lane departure warning system (LDWS).

A description of the principles of operation of existing LDWS systems in the segment of light commercial vehicles (LCV) is given. The algorithm and structure of the developed LDWS system for the GAZelle Next car are presented. A description and analysis of road marking recognition algorithms are given. The results and comparative analysis of virtual tests of the LDWS system are presented. Conclusions are given on the operation of the system and the algorithm for recognizing road markings.

Keywords: driver assistance system, lane departure, lane keeping system, light commercial vehicles.

Введение

Применение в составе автомобилей систем ADAS является обязательным во многих странах мира и закреплено на государственном уровне. Одной из наиболее применяемых систем ADAS является система предупреждения о непреднамеренном сходе с полосы движения(LDWS). Система LDWS занимает широкую нишу в сегменте легкового транспорта за исключением бюджетных моделей, а также, частично сегмент легкого коммерческого транспорта. Как правило, такие системы предлагаются в качестве дополнительного оборудования и являются доступными у многих крупных автопроизводителей.

Система помощи водителю о непреднамеренном выходе из полосы движения(LDWS) – это функционал ТС, предназначенный для предупреждения водителя о том, что транспортное средство начинает выезжать с полосы движения(если в этом направлении не включен сигнал поворота) на автомагистралях и магистральных дорогах, чтобы водитель смог принять необходимые корректирующие меры. Такие системы предназначены для минимизации аварий за счет устранения основных причин столкновений: ошибок водителя, отвлекающих факторов и сонливости. Исследованию алгоритмов работы таких систем и посвящена данная статья.

Краткий обзор систем LDWS

В настоящее время на рынке представлен ряд систем, большинство из которых используют ориентированную вперед, установленную за ветровым стеклом, видеокамеру. В редких случаях системы используют инфракрасные датчики или технологии лазерного сканирования. Современные системы используют различные типы предупреждений: визуальные, звуковые или тактильные, или их комбинацию.

Функционирование системы LDWS на базе видеокамеры осуществляется путем оценки текущего положения и направления транспортного средства в пределах полосы движения, с помощью определения линий дорожной разметки, разграничивающих полосу движения, из входящего видеопотока или изображений участков дороги, снятых камерой, установленной на переднем ветровом стекле транспортного средства.

Таблица 1 – Системы LDWS различных автопроизводителей для легких коммерческих автомобилей

Производитель	Модель ТС	Название
Fiat	Ducato	Lane Departure Warning System
Ford	Transit	Lane keeping system
Mercedes-Benz	Sprinter	Active lane keeping assist
Volkswagen	Crafter	Lane keeping assist system
Citroen	Jumper	Alerte de franchissement involontaire de ligne(AFIL)
Peugeot	Boxer	Alerte de franchissement involontaire de ligne(AFIL)
Renault	Master	Lane Departure Warning

В основе работы всех этих систем лежат два последовательных этапа.

1. Обработка изображения с камеры, расположенной на лобовом стекле автомобиля, с целью поиска линий разметки.

2. Процесс принятия решения о том, необходимо ли подать водителю предупреждающий сигнал о непреднамеренном выходе из полосы движения.

Этап детектирования дорожной разметки также может включать в себя несколько последовательных шагов.

1. Предварительная фильтрация изображения для подавления возможных шумов.

2. Детектирование самой разметки с помощью методов технического зрения и/или нейронных сетей.

3. Постобработка найденных линий для отсечения ложных или некорректных срабатываний.

Известны основные ситуации, которые могут приводить к некорректной работе. Некоторые из них описаны в работе[13]: нечеткие линии дорожной разметки(перекрытие линий, истертость линий, загрязненность линий, линии слабо контрастируют с дорожным полотном), сильная нагрузка задней оси ТС, резкая смена освещения(въезд/выезд из тоннеля), наличие нескольких полос движения, быстрое изменение ограничительных линий разметки, перекрытие линий дорожной разметки другими ТС, крутые повороты, повреждение или загрязнение ветрового стекла в непосредственной близости к сенсору.

Разработка системы LDWS

Группой исследователей из НГТУ разрабатывается собственная система LDWS для применения в сегменте легкого коммерческого транспорта, в частности, на автомобиле Газель Next. За основу подхода были использованы алгоритмы технического зрения. Выбор в пользу данного подхода был определен рядом преимуществ.

1. Простота и прозрачность решения: алгоритмы[14-21], в данном подходе, уже давно разработаны и неоднократно протестированы.

2. Производительность – в общем случае, производительность алгоритмических методов выше, чем у нейронных сетей. Это является немаловажным преимуществом, так как дает возможность удешевления стоимости всей системы за счет выбора менее производительного вычислительного блока, что сделает ее более доступной.

3. Адаптивность – все решение представляет из себя набор последовательных блоков. Каждый из последовательных блоков является зависимым от предыдущего в плане входных/выходных данных, но содержание отдельно взятого блока можно изменить. Например, алгоритмический блок поиска дорожной разметки в будущем может быть заменен на блок, который использует в себе нейронные сети. Тогда для сохранения работоспособности всей системы в целом будет достаточно того, чтобы его выходные данные были такими же, как и у алгоритмического.

Приведенный выше цикл работы состоит из следующих ключевых методов.

1. Оператор Кэнни[14] для выделения границ. Применение данной операции к полутоновому изображению позволяет выделить на нем границы, которые соответствуют перепадам в цветах. В данном случае это решение оправдано тем, что разметка имеет отличный от асфальта цвет, т.е. имеет явную разницу в цветах.

2. Дилатация[15](расширение) найденных границ. Найденные на предыдущем шаге границы проходят процедуру дилатации. Это подготовительный шаг для последующих этапов. Его суть заключается в том, чтобы расширить найденные на изображении границы.

3. Выделение целевых цветов на изображении. Как уже говорилось ранее, выделение границ с помощью оператора Кэнни находит все перепады(градиенты) цветов, однако, они могут относиться не только к дорожной разметке. Они также могут быть найдены на бордюрах, установленных вдоль дороги, или при особом расположении теней от объектов на дороге. Для того, чтобы отсечь ненужные границы, производится дополнительная операция по выделению нужных(целевых) цветов на изображении(белых и желтых). Выделение цветов происходит с помощью пороговых отсечений значений пикселей изображения. Перед применением порогового отсечения стоит также применить метод выравнивания гистограммы распределения цветов, который улучшает контрастность изображения.

4. Побитовое пересечение бинарных изображений. Оператор Кэнни, к сожалению, может выделять не только интересующие нас линии дорожной разметки, но и побочные границы. Выделение целевых цветов на изображении с помощью пороговых значений, зачастую, является зашумленным, т.к. пороги приходится занижать для того, чтобы они работали в различных условиях. Поэтому для компенсации недостатков двух этих подходов происходит их побитовое пересечение. На вход данной операции поступают изображение из пункта 2(дилатация) и изображение из пункта 3(выделение целевых цветов). Результирующее изображение получается путем наложения входных изображений друг на друга и «включением» только тех пикселей, в которых на обоих изображениях было значение, отличное от нулевого.

5. Преобразование Хафа[16, 17] для поиска прямых линий. Бинарное изображение, полученное на предыдущем пункте, отправляется на вход преобразования Хафа. Оно позволяет подобрать параметры прямых линий, которые могли бы находиться на подготовленном бинарном изображении.

6. Первоначальная фильтрация линий по углу наклона. После того, как параметры возможных линий разметки были найдены, происходит их первоначальная фильтрация по углу наклона. Этот этап нужен, чтобы сразу отсеять горизонтальные и вертикальные линии, которые заведомо не могут быть интересующей нас разметкой. Попутно с этим происходит разделение линий на левые и правые прямые по углу наклона.

7. Объединение близких линий в группы(кластера). Отфильтрованные линии необходимо кластеризовать. Это связано с тем, что на одну и ту же линию разметки может быть подобрано несколько параметров прямых. Кластеризация нужна для того, чтобы усреднить все эти параметры и получить одну линию. В качестве метода кластеризации был выбран алгоритм DBSCAN[18].

8. Усреднение параметров прямых по кластерам. После того, как кластеризация была проделана, производится усреднение прямых в этих кластерах, чтобы для каждой линии разметки была только одна прямая.

9. Перевод линий в bird's eye view формат[19]. На данном этапе линии переводятся из исходного изображения в bird's eye view формат. Это делает линии более отделимыми друг от друга, и позволяет накладывать на них осмысленные физические ограничения. Например, что расстояние между двумя соседними линиями разметки не может быть меньше, чем один метр.

10. Многообъектный фильтр частиц[20, 21]. После того, как прямые были преобразованы в bird's eye view, они отправляются на обработку в многообъектный фильтр частиц. Это позволяет скомпенсировать шум, который может присутствовать при подборе параметров прямых. Также за счет этого происходит снижение влияния выбросов, которые случаются из-за различных внешних условий среды. В дополнение этот процесс позволяет еще некоторое время(параметризуемое значение) восстанавливать линии, которые перестали детектироваться.

11. Алгоритм принятия решения. После того, как линии разметки были найдены и отфильтрованы, на их основе рассчитывается относительное положение ТС внутри полосы движения. Далее, в зависимости от выполнения условий, может подаваться или не подаваться предупреждающий сигнал.

После завершения этапа разработки системы была проведена серия испытаний для того, чтобы протестировать разработанные модули и оценить работоспособность системы LDWS в виртуальных и дорожных условиях.

Испытания

Испытания системы проводились согласно двум основных нормативным документам для системы LDWS: Правила ЕЭК ООН 130[21]; Стандарт ISO 17361[22].

Все подготовленные и проведенные тесты были направлены на проверку следующих пунктов: работа логической составляющей системы(включение, активация, смена режимов и т.д.); способность системы распознавать разметку; способность системы позиционировать ТС внутри полосы движения; способность системы подавать предупреждающий сигнал в нужное время.

Тестирование проводилось в виртуальной среде симулятора Carla[24, 25]. Одним из важных преимуществ тестирования системы на симуляторе является возможность оценивать работоспособность системы не только качественно, но и количественно. Это означает, что можно, например, сравнивать расстояние до линий разметки, которое выдает система, с тем, которое выдает симулятор. За счет этого можно получить количественную оценку точности позиционирования системы в полосе движения. Ниже приведена демонстрация данной оценки.

Тестирование системы на симуляторе позволило отметить ряд ошибок во время разработки(в том числе и неудобства с точки зрения использования) еще на этапе разработки и до сборки реального прототипа. В качестве примера приведем тест, который является целевым с точки зрения применения системы: непреднамеренный выход из полосы движения.

Условия теста:

• ТС движется прямолинейно внутри полосы движения со скоростью 65 км/ч;
• начиная с некоторого момента ТС начинает выход из полосы движения;
• указатели поворота отключены;
• скорость выхода достигает 0.1 м/с;
• расстояние подачи предупреждающего сигнала: 0.75 м от соответствующей линии разметки внутрь полосы движения, 0.3 м от линии разметки за пределы полосы движения.

В данном примере ТС совершает выход из полосы движения в правую строну: первый график показывает расстояние от правого колеса ТС до правой линии разметки; второй сверху график отражает факт пересечения транспортным средством WarningZone; видно, что значения графика соответствуют описанным выше условиям; третий сверху график показывает поперечную скорость ТС(скорость выхода из полосы движения). Положительные значения скорости означают, что ТС движется вправо, отрицательные – влево; четвертый график отражает факт наличия предупреждающего сигнала от системы. Видно, что сигнал подается только в тех случаях, когда ТС находится в WarningZone, поперечная скорость вышеописанного ранее порога, а также направление поперечной скорости соответствует стороне выхода.

Проведение испытаний позволило отработать все аспекты поведения системы в виртуальной среде. Были выявлены и устранены все обнаруженные недочеты, допущенные в процессе разработки.

Выводы

Рассмотрены способы повышения безопасности дорожного движения с помощью систем активной помощи водителю на примере системы LDWS. Приведены примеры существующих и применяемых на серийных автомобилях систем LDWS. Представлен алгоритм и структура разрабатываемой системы LDWS для автомобиля ГАЗель Next, состоящий из предварительной обработки видеокадра, поиска и фильтрации линий разметки, вычисления позиции ТС в полосе движения и обработки условий подачи предупреждающего сигнала.

Для данного решения были проведены испытания при помощи симулятора Carla. На основе результатов, полученных в процессе проведенных испытаний разрабатываемого алгоритма можно выделить основные преимущества и недостатки.

Преимущества:

• понятность и простота реализации;
• высокая производительность работы всей системы;
• низкие требования к вычислительным мощностям.

Недостатки([13]):

• чувствительность алгоритма к цветам на кадре, а именно к желтым цветам на закате;
• сбои при резких перепадах освещения;
• сбои при наличии бликующих поверхностей в солнечную погоду.

Таким образом, алгоритмические методы технического зрения, применяемые для распознавания дорожной разметки и реализации функции LDWS, являются стабильно работающими в хороших условиях, но в них возможны ложные срабатывания. Основной причиной срабатываний является чувствительность данной технологии к условиям внешнего освещения. В дальнейшем планируется проведение натурных испытаний на специально подготовленном полигоне, а также проведение работ по настройке системы, модернизации работы алгоритмов и интерфейса.

Исследования выполнены при финансовой поддержке Минобрнауки России в рамках проекта"Создание высокотехнологичного производства модельного ряда автомобилей ГАЗель Next с новой электронной архитектурой электронных систем" по Соглашению № 075-11-2019-027 от 29.11.2019(постановление Правительства Российской Федерации от 09 апреля 2010 года №218).

Библиографический список

1. Neumann-Cosel, K. Preadjustment of a Vision-Based Lane Tracker-Using Virtual Test drive within a Hardware in the Loop Simulator/ K. Neumann-Cosel et al.//Proceedings of the Driving Simulation Conference Monaco, 2009.
2. Amditis, A. A situation-adaptive lane-keeping support system: Overview of the safelane approach/ A. Amditis et al.// IEEE Transactions on Intelligent Transportation Systems. – 2010. – Т. 11. – №. 3. – С. 617-629.
3. Deusch, H. A random finite set approach to multiple lane detection/ H. Deusch et al.// 2012 15th International IEEE Conference on Intelligent Transportation Systems. – IEEE, 2012. – С. 270-275.
4. Ambarak J.M. A neural network for predicting unintentional lane departures/ J.M. Ambarak et al.// 2017 IEEE International Conference on Industrial Technology(ICIT). – IEEE, 2017. – С. 492-497.
5. Hamid, U.Z.A. Current collision mitigation technologies for advanced driver assistance systems–a survey/ U.Z.A. Hamid et al.// Perintis eJournal. – 2016. – Т. 6. – №. 2.
6. FIAT [Электронный ресурс]: [офиц. сайт]. – Электрон. дан. Режим доступа: https://www.fiatprofessional.ru/, свободный.
7. FORD[Электронный ресурс]: [офиц. сайт]. – Электрон. дан. Режим доступа: http://www.ford.ru/Commercialvehicles, свободный.
8. MERCEDES-BENZ[Электронный ресурс]:[офиц. сайт]. – Электрон. дан. Режим доступа: http://www.mercedes-benz.ru/content/russia/mpc/mpc_russia_website/ru/home_mpc/van.html, свободный.
9. VOLKSWAGEN[Электронный ресурс]:[офиц. сайт]. – Электрон. дан. Режим доступа:https://www.volkswagen-commercial.ru/ru.html, свободный.
10. CITROEN[Электронный ресурс]:[офиц. сайт]. – Электрон. дан. Режим доступа:http://www.citroen.ru/index.html, свободный.
11. PEUGEOT[Электронный ресурс]:[офиц. сайт]. – Электрон. дан. Режим доступа:http://www.peugeot.ru/index.html, свободный.
12. RENAULT[Электронный ресурс]:[офиц. сайт]. – Электрон. дан. Режим доступа:https://www.renault.ru/vans/, свободный.
13. Nixon, M. Feature extraction and image processing for computer vision/ M. Nixon, A. Aguado. – Academic press, 2019.
14. Canny, J. A Computational Approach To Edge Detection/ J. Canny// IEEE Transactions on Pattern Analysis and Machine Intelligence, 8(6):679–698, 1986.
15. Serra, J. Image analysis and mathematical morphology/ J. Serra. – Academic Press, Inc., 1983.
16. Hough, P.V.C. Method and means for recognizing complex patterns: пат. 3069654 США/ P.V.C. Hough, 1962.
17. Duda, R.O. Use of the Hough transforms to detect lines and curves in pictures/ R.O. Duda//Commun. ACM. – 1992. – Т. 15. – №. 1. – С. 327-336.
18. Ester, M. A density-based algorithm for discovering clusters in large spatial databases with noise/ M. Ester et al. // Kdd. – 1996. – Т. 96. – №. 34. – С. 226-231.
19. Carlbom, I. Planar geometric projections and viewing transformations/ I. Carlbom, J. Paciorek//ACM Computing Surveys(CSUR). – 1978. – Т. 10. – №. 4. – С. 465-502.
20. Thrun, S. Probabilistic/ S. Thrun, W. Burgard, D. Fox// Robotics(Intelligent Robotics and Autonomous Agents), 2005.
21. Правила ЕЭК ООН №130-2013. Единообразные предписания, касающиеся официального утверждения механических транспортных средств в отношении системы предупреждения о выходе из полосы движения(СПВП).
22. ISO 17361-2017. Intelligent transport systems – Lane departure warning systems – Performance requirements and test procedures.
23. Mahler, R.P.S. Statistical multisource-multitarget information fusion/ R.P.S. Mahler. – Artech House, Inc., 2007.
24. Dosovitskiy, Alexey CARLA: An Open Urban Driving Simulator/ Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio Lopez, Vladlen Koltun// In Proceedings of the 1st Annual Conference on Robot Learning(pp. 1-16).2017.
25. CARLA Open-source simulator for autonomous driving research.// http://carla.org/