ДонНТУ   Портал магистров

Сосенков Артем Юрьевич

Факультет компьютерных наук и технологий

Кафедра автоматизированных систем управления

Специальность Информационные управляющие системы и технологии

Определение номерных знаков транспорта с помощью методов обработки изображений

Научный руководитель: к.т.н., доц. Секирин Александр Иванович

Резюме Биография Реферат Библиотека Ссылки Отчет о поиске Индивидуальный раздел

Реферат по теме выпускной работы

Содержание

• Введение
• 1. Актуальность темы
• 2. Цель и задачи исследования
• 3. Обзор исследований и разработок
• 4. Этапы распознавания номерного знака транспортного средства
• Выводы
• Список источников

Введение

В наше время характерно массовое внедрение информационных технологий в различные области человеческой жизни. Разработка и использование интеллектуальных транспортных систем выполняется для повышения безопасности движения и улучшения дорожной обстановки.

Проблема распознавания номерного знака транспортного средства очень интересна и на протяжении многих лет привлекает множество исследователей и экспертов машинного зрения. Область применения такой системы очень велика и может варьироваться от КПП парковки до управления трафиком.

Решение задачи распознавания автомобильных номеров можно представить в виде комплекса алгоритмов обработки и анализа изображений. Все существующие методы идентификации символов всегда начинаются с процедуры предварительной обработки изображении. Правильные шаги предварительной обработки, такие как, бинаризация, морфологическая стандартизация и сегментация, имеют решающее значение для последующих шагов распознавания.

1. Актуальность темы

Актуальность задачи определения номерных знаков транспорта состоит в том, что в наше время широко развит спектр автоматизированного управления движением автотранспорта, контроля въезда на предприятие, скорости движения, а также выявления нарушителей правил дорожного движения. Кроме этого, отдельные алгоритмы и методы, используемые для распознавания номеров, могут получить обобщение и найти широкое применение в других задачах, связанных с цифровой обработкой и анализом цифровых изображений.

2. Цель и задачи исследования

Основной целью работы является модификация и разработка алгоритмов, входящих в комплекс задач определения номерного знака транспортного средства для более эффективного результата.

Для достижения поставленной цели определены следующие задачи:

1. Анализ методов определения зоны номерного знака на входном изображении.
2. Нормализация и сегментация номерного знака.
3. Реализация метода распознавания символов и оценка его эффективности.

Во время выполнения магистерской работы планируется исследовать существующие методы и алгоритмы распознавания номерных знаков транспорта, а также разработать и реализовать автоматизированную систему, решающую перечисленные выше задачи.

3. Обзор исследований и разработок

Популярность определения автомобильных номеров можно объяснить тем, что заинтересованность таким программным комплексом все чаще стали проявлять различные коммерческие структуры для организации автостоянок и контроля посещения территории крупных предприятий.

Предложено большое количество различных решения для задачи идентификации номерных знаков и их распознавания. Так, например, Tran Duc Duan, Duong Anh Duc и Tran Le Hong Du [1] и Remus Brad [2] в своих работах применили преобразование Хафа, с целью уменьшения времени обработки для сегментации номерных знаков на изображении. Также для достижения более быстрой обработки в некоторых системах используется определение порога размера номерного знака и регионов символов в нём.

N. Zimic, J. Ficzko, M. Mraz, J. Virant [3], Eun Ryung Lee, Pyeoung Kee Kim, и Hang Joon Kim [4] и Opas Chutatape, Li Li, и Qian Xiaodong [5] в своих работах использовали алгоритмы сегментации регионов символов и их распознавания, с помощью нечеткой логики и нейронных сетей.

В работе Wenjing Jia, Huaifeng Zhang и Xiangjian He [6] применяется алгоритм, определяющий несколько регионов кандидатов в изображении, используя такие функции, как прямоугольность, пропорции и плотность границы, чтобы определить, является ли область номерного знака идентифицированной или нет.

Все методы, используемые в перечисленных выше исследовательских работах, стремятся поддерживать правильный баланс между точностью алгоритма и его скоростью.

В основе любой классификации лежат определенные классификационные признаки (принципы). Так в пособии [7] в качестве квалификационного признака используются свойства информации, которая применяется в процессе распознавания. Однако такая классификация не отражает всех характеристик системы реального времени (РВ), поэтому была разработана классификация по свойствам управления систем распознавания образов (СРО) в процессе распознавания (рис. 1).

Рассмотрим наиболее популярные системы автоматического распознавания автомобильных номеров:

1. ATAPY ANPR SDK – специализированный программный продукт с технологией автоматического распознавания номера автомобиля [8]. Предназначен для системных интеграторов и разработчиков прикладных программ, которые желают включить технологию автоматического распознавания номера транспортного средства в своих приложениях. Система ATAPY ANPR SDK имеет высокую точность распознавания т. к. работает на одном из самых точных продуктов в отрасли OCR – движке OCR, разработанном ABBYY Software House [9]. Реализована функция автоматической геометрической коррекции перекоса/наклона (до 30°).
2. АВТОМАРШАЛ – система распознавания автомобильных номеров, имеющая 12 конфигураций (автомойка, парковка, склад, КПП и др.), которые позволяют легко настроить систему под поставленную задачу [10]. Имеет удобный программный помощник для быстрой настройки, также поддерживается интеграция с разнообразным оборудованием (шлагбаумы, светофоры, весы и др).
3. CarGo Enterprise – система распознавания всех типов украинских и иностранных номеров с вероятностью до 96%. Программное обеспечение системы распознавания номеров позволяет эффективно решать задачи по регистрации, идентификации, предотвращению несанкционированного проезда, обеспечения безопасности автомобилей, контроля транспортных потоков [11].

Проведя анализ существующих систем автоматического распознавания автомобильных номеров, было выявлено следующее:

1. Готовые системы распознавания номерных знаков обладают не только готовым решением, но и имеют большую стоимость;
2. Практически все системы имеют большое количество необязательных функций, таких как, автоматизированное управление шлагбаумами и светофорами или формирование отчётов по различным критериям;
3. Все алгоритмы и методы, используемые в решении проблемы, недоступны для всеобщего обозрения;
4. Большинство систем поддерживают распознавание не только местных номерных знаков, но и зарубежных;
5. Готовые системы имеют достаточно высокую точность распознавания.

В магистерской работе О. В. Животченко [12] рассматриваются основные этапы и методы распознавания автомобильных номеров. В работе И. С. Личканенко [13] рассмотрены задачи, возникающие в процессе распознавания номерных знаков транспортных средств, определены методы обработки изображений и распознавания для выявления номерных знаков. В работе А. В. Фёдорова [14] задача распознавания осуществляется только с помощью нейронных сетей. В приведенных выше работах, в отличие от моей, используются другие методы распознавания, не предложены новые модифицированные методы.

На основании проведенного анализа существующих систем, методов и алгоритмов, используемых в разработке системы, была выявлена потребность в создании новой системы автоматического распознавания номерных знаков транспорта, с целью нахождения баланса между скоростью и точностью распознавания, а также минимизации затрат на разработку данной системы.

4. Этапы распознавания номерного знака транспортного средства

Поэтапно процесс распознавания номерного знака транспортного средства представлен на рис. 2.

Исходными данными системы является изображение транспортного средства, захваченное камерой.

Бинаризация

Исходное изображение номерного знака транспорта требует определенных шагов предварительной обработки, чтобы придать подходящий формат для распознавания символов. Так как для большинства алгоритмов ОРС требуются монохромные изображения, необходимо сначала бинаризировать изображение, т. е. преобразовать цветное или серое в черно-белое. На рис. 3 показано сравнение между исходным изображением и черно-белым вариантом, в результате бинаризации.

Нормализация

Этот этап необходим, чтобы улучшить расположение выходного изображения. Нормализация изображения номерного знака проводится в два этапа. На первом этапе определяется угол поворота номера в плоскости изображения. На втором – выполняется алгоритм получения нормализованного изображения номера с учетом угла его поворота. Для поворота области изображения используется алгоритм, основанный на соответствующем аффинном преобразовании координат. Для уменьшения искажений изображения при повороте, связанных с его дискретным характером, используется метод, основанный на билинейной интерполяции по ближайшим четырем пикселям [15].

На первом этапе выполняется операция подчеркивания границ номера на основе линейного оператора Собеля для горизонтальных границ, имеющего маску свертки:

Оператор Собеля более чувствителен к направлениям границ, близким к горизонтальному, в результате чего на полученном изображении хорошо выделяется верхняя и нижняя части номерного знака, как показано на рис. 2.

На втором этапе выполняется расчет карты плотностей найденных точек границ в пространстве параметров пространственных координат согласно преобразованию Хафа. Целью второго этапа является определение уравнения прямых, соответствующих верхней и нижней границе номерного знака. Каждая точка карты границ порождает множество проходящих через неё прямых, которые удовлетворяют уравнению:

y_i = ax_i + b,

что в пространстве параметров соответствует:

b = – ax_i + y_i.

Вес прямых v(x_i, y_i) соответствует значению яркости изображения результата подчеркивания границ (рис. 2в). Таким образом, наделяя весом v прямые и проводя их в пространстве параметров a и b с яркостью, равной весу, получим изображения, подобные приведенному на рис. 3 [16].

Сегментация

Для сегментации изображения, используется алгоритм строки развертки, основанный на особенности наличия переходов от 1 до 0 и от 0 до 1 в области символа на бинарном изображении. Таким образом, общее количество переходов в области символа больше, чем общее количество переходов в другой области. Существует, по крайней мере, семь символов на области номерного знака, и каждый символ имеет более, чем два прыжка [17]. Можно выбрать десять в качестве порогового значения. Если общее количество переходов в определенной линии больше десяти, значит, эта линия может быть в области символа. В противном случае, она не в области символа.

Алгоритм:

1. пусть Н – высота и W – ширина изображения пластины.
2. для (i=H/2 to 0) (не считаем переходов, т.е. от 0 до 1 и от 1 до 0 в cnt; если cnt<10 получим координату у в y_min и прервем;)
3. для (i=H/2+1 to H-1) (не считаем переходов, т.е. от 0 до 1 и от 1 до 0 в cnt; если CNT<10 получим координату у в y_max и прервем;)
4. обрезаем изображение от y_min до y_max.

Просмотрим обрезанное изображение слева направо по столбцам после точного местоположения верхней и нижней границы и подсчитаем общее количество черных точек в каждом столбце. Пороговое значение установлено в h/10. Определим каждое значение в массиве проекции. Если проекция[i] больше, чем h/10, проекция[i] равна одному. В противном случае, проекция[i] устанавливается в ноль. Где h не модифицирует строки на бинарном изображении после точной локализации верхней и нижней границ [17]. Затем символы обрезаются путем выбора частей, имеющих проекцию[i] = 1.

Перед алгоритмом распознавания символы должны быть уточнены в блок, не содержащий дополнительные пробелы (пиксели) со всех четырех сторон символов.

Распознавание символов

Шаблонный метод включает в себя сравнение сходства между данным набором шаблонов и входного изображения, которое нормализовалось, как того же размера из шаблонов, а затем определяется определённый шаблона, который производит наибольшее сходство.

В данной работе применяется формула соответствия для обнаружения сходства между моделями двух сигналов методом кросс-корреляции. Используется функция Matlab "corr2" для вычисления коэффициентов корреляции каждого сравнения между тестируемым изображением и шаблоном. В приведенной ниже формуле, A_mn – входное изображение, B_mn является одним из шаблонов. Функция соответствия r вернет значение показывающее, насколько хорошо A_mn совпадает с B_mn. Если один из коэффициентов корреляции значительно выше, входное изображение идентифицируется как эта буква или цифра.

Следуя линии обнаружения и сегментации символов, процесс согласования начинает читать входной сигнал от первой линии текстов к нижней линии, слева направо, что гарантирует порядок каждой буквы и их выходной компоновки каждой строки. Тогда заключительным шагом является написание слова в текстовый файл. Для входного изображения на рис. 7, система может считывать изображение в текст, как показано на рисунке ниже.

Выводы

В рамках проведенных исследований выполнено:

1. На основании анализа литературных источников выделены задачи для реализации автоматического распознавания номерного знака транспорта. Необходимыми для решения этой задачи являются обнаружение границ, фильтрация, нормализация и сегментация, а наиболее подходящими методами распознавания – корреляционный, K-nearest и нейронные сети.
2. Выполнен анализ существующих систем, выявлены достоинства и недостатки.
3. Реализована предварительная обработка изображений с целью улучшения их качества и удобной локализации номерной пластины.

Дальнейшие исследования направлены на следующие аспекты:

1. Глубокий анализ основных методов обработки изображений и распознавания номерных знаков транспорта.
2. Модификация известных методов обработки изображений с целью повышения качества определения номерного знака.
3. Разработка автоматизированной системы определения номерного знака с помощью методов обработки изображений.

Список источников

1. Tran Duc Duan, Duong Anh Duc, Tran Le Hong Du. Combining Hough Transform and Contour Algorithm for detecting Vehicles License-Plates. Proceedings of 2004 International Symposium on Intelligent Multimedia, Video and Speech Processing. October 2004 – с. 747-750
2. Remus Brad. License Plate Recognition System. Computer Science Department Lucian Blaga University, Romania. – 5 с.
3. N. Zimic, J. Ficzko, M. Mraz, J. Virant. The Fuzzy Logic Approach to the Car Numlber Plate Locating Problem. IEEE. 1997
4. Eun Ryung Lee, Pyeoung Kee Kim, and Hang Joon Kim. Automatic Recognition of a Car License Plate Using Color Image Processing. IEEE. 1994
5. Opas Chutatape, Li Li, and Qian Xiaodong. Automatic License Number Extraction and Its Parallel Implementation. IEEE. 1999.
6. Wenjing Jia, Huaifeng Zhang and Xiangjian He. Mean Shift for Accurate Number Plate Detection. Proceedings of the Third International Conference on Information Technology and Applications (ICITA’05).
7. А. Л. Горелик, В. А. Скрипкин Методы распознавания. – М.: Высш. шк, 2004. – 261 с.
8. ATAPY ANPR SDK [Электронный ресурс]. – Режим доступа: http://www.atapy.com/Products/AutomaticNumberPlateRecognitionANPRSDK.aspx
9. ABBYY Software House [Электронный ресурс]. – Режим доступа: http://www.abbyy.com
10. АВТОМАРШАЛ [Электронный ресурс]. – Режим доступа: http://avtomarshal.ru
11. CarGo Enterprise [Электронный ресурс]. – Режим доступа: http://intteks.com.ua/component/content/article?id=552
12. О. В. Животченко Разработка компьютерной системы обработки изображений с камер видеонаблюдения для определения номерного знака транспортного средства. – Портал магистров ДонНТУ [Электронный ресурс]. – Режим доступа: http://masters.donntu.ru/2012/fknt/zhivotchenko/diss/index.htm
13. И. С. Личканенко Исследование методов и поиск эффективного алгоритма для задачи распознавания номерных знаков транспортных средств. – Портал магистров ДонНТУ [Электронный ресурс]. – Режим доступа: http://masters.donntu.ru/2013/fknt/lichkanenko/diss/index.htm
14. А. В. Фёдоров Исследование методов контурной сегментации для построения системы оптического распознавания символов. – Портал магистров ДонНТУ [Электронный ресурс]. – Режим доступа: http://masters.donntu.ru/2010/fknt/fedorov/diss/index.htm
15. Р. Гонсалес Цифровая обработка изображений / Р. Гонсалес, Р. Вудс – М.: Техносфера, 2006 – 1072 с.
16. К. В. Мурыгин Нормализация изображения автомобильного номера и сегментация символов для последующего распознавания / К.В. Мурыгин – Штучний інтелект 3, 2010 – 6 с.
17. Ch.Jaya Lakshmi, Dr.A.Jhansi Rani, Dr.K.Sri Ramakrishna, M.KantiKiran, A Novel Approach for Indian License Plate Recognition System, International Journal Of Advanced Engineering Sciences And Technologies Vol No. 6, Issue No. 1 – с. 10-14.