АДАПТИВНОЕ ИЗВЛЕЧЕНИЕ НОМЕРНОГО ЗНАКА ИЗ ИЗОБРАЖЕНИЯ

Vladimir Shapiro, Dimo Dimov, Stefan Bonchev, Veselin Velichkov, and Georgi Gluhchev

 

Аннотация: В работе представлены автоматические компоненты системы распознавания номерного знака автомобиля.

Подход заключается в проведении следующих этапов: предварительной обработки краев, фильтрации, обнаружения положение знака, оценка наклона, а также сегментация символов и  их распознавание. Один кадр изображения в серых тонах используется в качестве единственного источника информации. Систему экспериментировали на израильских и болгарских номерных знаках, были использованы снимки с камеры, полученные при различных дневных и погодных условиях. Полученные результаты показали, что такой подход является надежным для такого освещения, наклона знака, масштаба и нечувствителен к географическим особенностям (номерной знак разных стран). Эти результаты могут быть также использованы для других приложений ввода-вывода транспортных систем, где использование автоматического распознавания номерных знаков, щитов, и т.п., часто бывает необходимо.

Ключевые слова: автомобильные номерные знаки, обработка изображений, сегментация и распознавание ввода-вывода информации транспортных систем.

 

1. Введение

В то время как первые промышленные автоматические системы распознавания автомобильных номерных знаков (Car License Plate Recognition - CLPR) начали появляться в 80-х годов, см. Sgurev, Gluhchev и др. [1], взрыв коммерческих систем произошел в 90-х годах, см. также [2, 3]. Тем не менее, многие системы CLPR доступны на мировом рынке, исследования и разработки по-прежнему продолжается, разрабатываются новые сложные решения для локализации номерного знака, сегментации и распознавания символов номерного знака. Это связано с растущим спросом на автоматическую идентификацию транспортных средств, необходимых для управления движением, для пограничного контроля, контроля доступа, учета времени стоянки и ее оплаты, поиск украденных автомобилей или невыплаченных штрафов. Требования для надежной идентификации в разных условиях освещения, наличие случайного или структурированного шума в изображении номерного знака, региональные особенности символов, которые могут быть разными в отношении размеров знака и типа символов.

Система автоматического CLPR состоит из камеры (цветные или черно-белые), граббер кадров, компьютер и специальное программное обеспечение для обработки и анализа изображений.

Система должна быть готова к работе с альтернативно приобретенным оборудованием для обработки изображения, а также работать с изображениями, которые были захвачены ранее, удаленно с другого источника, а также с изображениями, которые уже сохранены.

Она должна уметь:

-       работать как внутри, так и снаружи помещения, например

-       работать в широком диапазоне условий освещения

-       быть инвариантной по размеру, масштабу и толщины линий

-       быть устойчивыми к поврежденным пикселям, дефектам печати, шуму

-       быть устойчивыми к движениям камеры, во время движения автомобиля

-       предоставлять отклики в режиме реального времени.

как показал Cohen и др. [4], Kim и др. [5], и Nelson [6].

Концептуально система CLPR может быть рассматриваться как система, содержащая два отдельных этапа обработки:

-       локализация номерных знаков (License Plate Localization - LPL)

-       распознавание символов номерных знаков (License Plate Character Recognition - LPCR).

На практике, см. Hsieh и др. [7], LPCR служит также как верификатор, обеспечивая указания, что обрезанный фрагмент изображения, о котором говорится ниже подходит в качестве "кандидата на номерной знак" на стадии локализации номерного знака. Если указания системы верны, то кандидат является настоящим знаком, иначе LPL проводит следующую итерацию, пытаясь найти лучших кандидатов.

Самый популярный подход, который, кажется, стал доминирующим, с начала второй половины 90-х годов, основан на обнаружении краев, градиента и использовании других вариантов, таких как производная интенсивность, например, Kim[5], Jilin [8], and Lee [9].Эти методы являются чувствительными к изменению шума и освещенности, поэтому они нуждаются в поддержке или дополняться другими методами.

Эта статья представляет компонент LPL системы CLPR, который работает с одним кадром изображения в серых тонах, полученным в различных дневных и погодных условиях. Изображение является входной информацией для системы. Она организована следующим образом: раздел 2 описывает процедуры предварительной обработки, раздел 3 рассматривает сегментацию изображений, действие которого проверена и описана в разделе 4. В разделе 5 представлены некоторые экспериментальные результаты. Обсуждение и заключение находится в разделе 6.

2. Предварительная обработка кандидата на номерной знак

Предварительная обработка должна улучшить изображение и способствовать лучшему его анализу. Ниже, серия шагов предварительной обработки, участвующих в нашем исследовании, описывается в порядке их

применения. Большинство из них можно считать эвристическим модификации известных методов обработки изображений, например, см. Sonka и др. [10]. Однако, статья делает акцент в основном на их совместном применение с целями локализации номерного знака. Кроме того, по соображениям удобочитаемости, многие экспериментальные константы далее даны как они есть, то есть без каких-либо попыток параметризации.

Исходное изображение может быть достаточно большим (до 1 Мп и даже больше), а размер может варьироваться в зависимости от используемого оборудования, которое захватывает и это требует достаточно времени для обработки. Из-за компромисса между размером и временем обработки, мы

уменьшили первое изображение до 120 столбцов с помощью простого и быстрого прореживания пикселей с сохранением исходного соотношения сторон.

2.1. Вертикальное обнаружение краев/границ

Существуют два основных предположения в работе CLPR системы:

-       знаки ориентированы по горизонтали

-       знаки, у которых зоны характеризуются относительно высокой плотностью резкого изменения контраста между символами и фоном знака, см. Lee [9], и Huang и Suen [11].

Имея эти два предположения в виду, мы применяем оператор Робертс поиска границ к лог-интенсивному изображению, чтобы подчеркнуть вертикальные границы (рис.1б).

2.2. Ранговая фильтрация

Как показано на рис.1б, отчетливо виден кластер высокой плотности ярких краев в зоне номерного знака. Чтобы обнаружить его, горизонтально ориентированный ранговый фильтр M*N (горизонтальный размер M намного больше, чем N) применяется ко всему изображению.  Каждый пиксель изображения заменяется на пиксель с  80%-ной интенсивностью пикселей в районе, указанном в фильтре маски. Этот шаг ведет к созданию яркого пятна эллипсоидальной формы в зоне номерного знака (рис.1в)

3. Сегментация кандидата на номерной знак

3.1. Определение вертикальной проекции

Предварительный этап заканчивается с получением вертикальной проекции, как показано на рис.1г. Для уменьшения шумов проекции сглаживается 5-ти элементным равномерным фильтром, см. например, [10].

3.2. Первое отсечение знака

Предстоящая сегментация работает в несколько этапов. Первый этап состоит в нахождении горизонтальной полосы свободно размещенной на знаке. Чтобы вычислить ее вертикальную границу, мы находим у- координату, для которых вертикальная проекция P_V(y) см. рис.1г., имеет максимальное значение, т.е.

y plate   = Arg( max{PV  ( y)} )

(1)

 

Тогда как границы y_top  и y_bottom  знака изображения находятся как:

ytop   = MaxArg [PV  ( y) = 0.2PV  ( y plate )]
0 < y < y plate		(2)
ybottom   = MinArg [PV  ( y) = 0.2PV  ( y plate )]

 

где Y - высота изображения (в пикселях), и 0,2 экспериментальная экспертная константа, в конкретном случае Y = 125, см.  рис.1г.

 

 

 

 

 

 

 

 

 

 

(а)                                                 (б)

 

 

 

 

 

 

 

 

 

 

(в)                                                  (г)

 

Рис.1. (а) Исходное изображение (б) вертикальные границы в нем;

(в) ранговая фильтрация изображения; (г) вертикальная проекция P_V(y).  

 

3.2 Оценка наклона знака

         После оценки вертикальной границы знака в соответствии с (1) и (2), полоса, содержащая номер, обрезана из изображения (см. рис.2а).

Из-за положения транспортного средства и ориентации по отношению к камере, зона знака может показаться наклоненной. Наклон может помешать системе LPL точно найти и отсечь зону номерного знака, поэтому наклон, если оно присутствует, должке быть устранен. Применяемая техника

аналогична описанному в Srihari и Govindraju [12], где Хью преобразование (англ. Hough transform )(HT) используется для получения угловой проекции. Работая с изображениями серого цвета, использовалось преобразование Радона (RT), а  не HT. Следующее уравнение было установлено, что оно

применимо к пространству радона:

θplate  = Arg( max{σ[R(ρ)θ ]} )	,	(3)

где θ ∈[−θ_start ,θ_end ] , (θ_start =θ_end =8° было выбрано для исследования) и σ стандартное отклонение, применяемое на  R(ρ)_θ , начальное изображение угловой проекции RT на пространство R(ρ,θ) при θ, (см. Рис.2б).

Для экономии времени вычислений и для более надежного измерения преобразования Радона для наклоненного знака, мы изменили его в стиле преобразования Хью, в соответствии с Shapiro [13] и Dimov [14].

Кроме того, RT был применен только к тем краевым пикселям, интенсивность которых превышала определенного порога.

 

 

 

                                                                                                      

(а)                                           (б)

 

 

 

(в)

Рис.2. Обнаружение наклона и его исправление:

(а) расширенная полоса изображения,

(б) его преобразование Радона пространства R(ρ,θ), θ по вертикали;

(в) Полосы изображения без наклона (перекос θ = 3° был обнаружен).

θ _plate имеет значение в соответствии с (3) и y_top , y_bottom определенные из уравнения (2), полоса с номером знака вырезана из исходного изображения и повернута на угол θ = − θ_plate (см. Рис.2в).

3.4. Горизонтальная сегментация

Обрезанное и повернутое изображение обрабатывается оператором обнаружения горизонтальных краев/границ.

Можно опять же использовать ранговый фильтр, но это будет стоящим решением, поскольку уйдет много времени на обработку изображения оригинального размера. Следуя Huang and Suen [11], использование ряда морфологических эрозий в основном с горизонтально ориентированными структурными элементами было бы простым и незатратным решением. Полученный результат показан на рис.3а.

 

 

 

 

           (а)

 

 

 

                                                       

           (б)

Рис.3. Горизонтальная сегментация и обработка зоны номерного знака:

(А) края изображения после эрозии;

(Б) горизонтальная проекция Р(х) с обозначенными левой и правой границами.

 

         Для горизонтальной сегментации мы оцениваем сначала горизонтальную проекцию Р(х), см. рис.3б, как свертку с фильтром длиной, равной приблизительно оцененной длине номерного знака.

         Положение x_plate максимальной свертки получили по аналогии с y_plate, см.(2). Тогда x_plate используется в качестве отправной точки для поиска x_left и x _right, горизонтальные границы знака. Поиск основан на локализации значительных пробелов при переходе от позиции x_plate на позицию вправо x_left и влево на позицию x_{right .}Точнее:

				xleft   = MaxArg[P∆ (x) < 0.005  & PL (x) < 0.5]
				0 <x <x plate			,			(4)
				xright   = MinArg[P∆ (x) < 0.005  & PR (x) < 0.5]
				x plate <x < X

где

 

P_total = ∑^X_j=⁻₀¹P( j), где x - ширина изображения (в пикселях), Δ - определяет интервал усреднения (2Δ+1) для P_Δ(х), и 0,005 и 0,5 экспериментальные константы для конкретного случая: X = 425, Δ = 2, см. рис.3б.

Идея обработки (4) заключается в том, чтобы найти координаты х с достаточно низкой величиной, и чтобы не "Вырезать, когда  x по-прежнему внутри области знака.  Вот здесь можно использовать эвристику определяемой применением ограничений, таких как размер номерного знака, пропорции и т. д.

4. Проверка кандидата на номерной знак

В идеале, система CLPR не накладывает никаких ограничений на содержимое изображения. Фон полностью вне контроля разработчиков, поэтому любые предсказания или предположения о фоне и его поведении может привести к провалу локализации номерного знака. Исключением является наименьшие подмножество задач системы CLPR, когда система работает в закрытом помещении. В статических средах, как, скажем, автостоянка. Места на открытом воздухе часто непредсказуемы в окружающей среде, система часто встречает ситуации, когда фактический номерной знак либо не представлены вовсе, либо присутствует, но не обязательно является кандидатом на него. Этап проверка направлен на проверку данного кандидата на возможный номерной знак. Для этого проводятся  испытания для контекстно-зависимых условий:

геометрические ограничения, такие как ширина, высота, соотношение сторон, и рассмотрение распределения серого уровня на изображении (фон как ожидается, будет ярче, чем символы). Если кандидат на номерной знак проходит все эти испытания, она предоставляется системе LPCR для обработки.

4.1. Последовательность рассмотрения распределений серого уровня в изображении

Подход к определению краев, определенный в этой работе, не делает различий между интенсивностью перехода  к области предполагаемого знака. Таким образом, существует необходимость проводить различие между обычной и обратной ситуацией  определения интенсивности, когда символы ярче, чем фон (рис. 4).

 

 

 

 

 

 

 

(а)                                                             (б)

Рис.4. Обычная и обратная ситуация определения интенсивности:

(а) исходное изображение, (б) неправильный кандидат знака с преобладанием темных уровней в изображении.

Наш подход основан на анализе интенсивности изображений. Сначала мы пытаемся отделить изображение на темные и светлые части. Алгоритм Otsu [16] применяется для этой цели. В этом случае возможный кандидат на номерной знак будет иметь большее количество светлых пикселей (интенсивность выше порога), чем тех, которые находятся ниже. Это условие проверяется путем сравнения порог со средней интенсивностью. Кандидат считается правдоподобным, когда медиана интенсивности знака зоне выше, чем порог. Если тест не пройден текущая полоса изображения, содержащая кандидата на номерной знак, удаляется и система заново проводит этап сегментации, чтобы найти следующих кандидатов на номерной знак.

5. Результаты эксперимента

было проведено всестороннее тестирование с более 150 израильскими и болгарскими транспортными средствами. Изображения были захвачены с различных расстояний и углов обзора. Размер изображения колебался от 64тыс. до 1млн. пикселей. Были использованы JPEG и PNG форматы сжатия изображения

Также было использовано сырое несжатое серое изображение.

Были проанализированы и использованы различные условия дневного света, от яркого солнечного света до освещения в туманный зимний полумрак. Очень часто номерная зона знака была в тени, и контраст символов был слабым по сравнению с фоном. Ситуации смешанного освещения, где определенные части номерного знака были затемнены, а остальные были ярко освещены, вызвало проблемы и иногда приводит к отказу нахождения всего номерного знака. Верная зона номерного знака была правильно расположена и одобрена системой более чем в 90% всех изображений. В остальных случаях было отказано в одной из последовательности тестов. Важно подчеркнуть, что это не было ложных срабатываний, которые объясняют относительно высокую долю отклоненных номерных знаков вследствие умеренных/осторожных тестов при утверждении "кандидатов" на номерной знак.

 

6. Обсуждение и выводы

Основные элементы системы CLPR (распознавания автомобильных номерных знаков), представленные в настоящем документе, как правило, акцентирует на проблемах системы LPL (локализация номерного знака) вместо проблем системы LPCR (распознавания автомобильных номерных знаков). Это отражает LPL специфику CLPR приложения, где проблемы LPCR, как правило, надо априорно решать использованием обычного OCR (оптическое распознавание символов) программного обеспечения.

Целью исследования является изучение возможностей создания всеобъемлющей системы идентификации многонациональных номерных знаков транспортных средств. В этом случае никаких дополнительных аппаратных средств не требуются. Передатчики, установленные на транспортном средстве или дополнительные любые датчики не нужны. Предварительные результаты, полученные на реальных данных, являются вполне удовлетворительными. Их можно суммировать следующим образом:

-       Надежная проверка кандидата на номерной знак генерируется на этапе достигнутой локализации.

-       Получаем точную сегментацию знака при различном освещении и различных искажений изображений.

В подавляющем большинстве классов, номерной знак, содержался в одной из перспективных обнаруженных горизонтальных полос изображения (кандидата на номерной знак). Лишь немногие изображения очень низкого качества (с плохой контрастностью и недостающей частью знака) показывали результат не более трех перспективных полос.

Сделан вывод, что в случае достаточно хорошего изображения описанный выше подход локализация/нахождения номерного знака дает отличные результаты.

Изображение номерного знака эквивалентно сканированию текста с очень низким разрешением с неоднородным фоном и с условиями освещения как дополнение. Использование цветных камер позволит получить более  точный результат положения знака, его обнаружения и сегментации.

Следует отметить, наконец, что эти результаты могут быть, очевидно, расширены и использоваться в других приложениях ввода-вывода транспортных систем, где необходимо автоматическое распознавание номерных знаков, щитов, и т.д. Например,  при необходимости для мультимодального транспорта, т.е. не только для автомобилей, но и для судов, поездов, и т.д.

Благодарности

Авторы выражают благодарность M. Goldstein и D. Barkan для поддержки на предварительных этапах этой работы. Кроме того, работа была частично поддержана Институтом Информационных Технологий Болгарской академии наук, в соответствии с грантом # 1302/2003 и № 1306/2004 от болгарского Министерства образования и науки.

Ссылки

[1]     Sgurev, V., Gluhchev, G., Mutafov, D., et al., 1987. Recognition of Car Registration Numbers, Problems of Engineering Cybernetics and Robotics, 27, Sofia, Bulgaria, pp. 79-85.

[2]     Vehicle Number Plate Recognition Systems, http://home.utad.pt/numberplate/

[3]     PhotoCop Products, http://www.photocop.com/products.htm

[4]     Cohen,  H.,  Bergman,  G.,  Erez,  J.,  2002.  Car  License  Plate  Recognition,  Project Report, Vision and Image Sequence Laboratory, Technion, Israel.

[5]     Kim, S., et al., 2002. A Robust License-Plate Extraction Method under Complex Image Conditions, International Conference on Pattern Recognition, Quebec City, CA, pp. 216-219.

[6]     Nelson, L.J., 1995. Vehicle Recognition: Putting an Image Technology on the Road, Advanced Imaging, pp. 53-55.

[7]     Hsieh, J.W., Yu, S.H., Chen, Y.S., 2002. Morphology-based License Plate Detection from Complex Scenes, International Conference on Pattern Recognition, Quebec City, CA, Vol.3, pp. 176-179.

[8]     Jilin,  L.,  Hongqing,  M.,  Peihong,  L.,  2001.  A  High  Performance  License  Plate Recognition System Based on the Web Technique, IEEE International Conference on Intelligent Transportation Systems, Oakland, CA, pp. 14-18.

[9]     Lee, S-H., Seok, Y-S., Lee, E-J., 2002. Multinational Integrated Car-License Plate Recognition System Using Geometrical Feature and Hybrid Pattern Vector, International Conference on Circuits, Systems, Computers and Communications, Phuket, Thailand, pp. 1256-1259.

[10]   Sonka, M., V. Hlavac, R. Boyle: Image Processing, Analysis, and Machine Vision, 2d edition, PWS Publ. at Brooks-Cole Publ. Co, ITP, Pacific Grove, CA, 1998.

[11]   Huang, Y.S., Suen, C.Y., 1995. Combination of Multiple Experts for the Recognition of Unconstrained Handwritten Numerals, IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 17, pp. 90-94.

[12]   Srihari, S.N., Govindaraju, V., 1989. Analysis of Textual Images Using the Hough Transform, Machine Vision and Applications, 2, pp. 141-153.

[13]   Shapiro, V., 1996. On the Hough Transform of Multilevel Pictures, Pattern Recognition, 29, pp. 589-602.

[14]   Dimov, D.T., 2001. Using an Exact Performance of Hough Transform for Image Text Segmentation, Proceedings ICIP’2001, IEEE International Conference on Image Processing, Oct. 7-10, 2001, Thessaloniki, Greece, Vol.I, pp. 778-781.

[15]   Shapiro, V., Gluhchev, G., Sgurev, V., 1991. Preprocessing for Automatic Examination of Handwritten Documents, Proceedings of 7th Scandinavian Conference on Image Analysis (SCIA), Aalborg, Denmark, pp. 790-797.

[16]   Otsu, N., 1979. A Thresholding Selection Method from Gray Level Histograms, IEEE Transactions on Systems, Man and Cybernetics, 9, pp. 62-66.

 

Об авторах

Vladimir Shapiro, доктор философии, старший иссл. в Orbograph Ltd., POBox 215, Явне 81102, Израиль, электронная почта:

Vladimir.shapiro@orbograph.com

Dimo Dimov, к.т.н., доц. Профессор в Институте информационных технологий, Болгарская академия наук, тел: (+359 2) 8706493, электронная почта: dtdim@iinf.bas.bg

Stefan Bonchev, Иссл. Доц. В Институте информационных технологий, Болгарская Академия наук, тел: (+359 2) 8706493, электронная почта: bonchevs@iinf.bas.bg

Veselin Velichkov, к.т.н. студент Института информационных технологий,

Болгарская академия наук, тел: (+359 2) 8706493, электронная почта: vesko@iinf.bas.bg

Georgi Gluhchev, к.т.н., доц. Профессор в Институте информационных технологий, Болгарская академия наук, тел: (+359 2) 8706493, электронная почта: gluhchev@iinf.bas.bg