Источник: Информационные управляющие системы и компьютерный мониторинг – 2012 (ИУСиКМ – 2012) / Сборник трудов III научно-технической конференции студентов, аспирантов и молодых ученых – 16-18 апреля 2012 г., Донецк, ДонНТУ . – 2012.

УДК 004.4

ОБРАБОТКА ИЗОБРАЖЕНИЙ С КАМЕР ВИДЕОНАБЛЮДЕНИЯ ДЛЯ ОПРЕДЕЛЕНИЯ НОМЕРНОГО ЗНАКА ТРАНСПОРТНОГО СРЕДСТВА

Животченко О.В., Ярошенко Н.А.

Донецкий национальный технический университет

кафедра автоматизированных систем управления

E-mail: vidyashhiy@gmail.com

 

Аннотация:

Животченко О.В., Ярошенко Н.А. Обработка изображений с камер видеонаблюдения для определения номерного знака транспортного средства. Рассмотрена потребность в разработке системы для распознавания номерных знаков. Определены методы обработки изображения для получения номерного знака. Определен способ для эффективного применения путем использования алгоритмов на основе нейронных сетей.

 

Введение

Повсеместное внедрение информационных технологий во все сферы современной жизни создает требование считать систему обработки изображений с камер видеонаблюдения с последующим распознаванием каких-либо его частей, например, номерного знака автомобиля, является неотъемлемым ресурсом информационной системы. Потому что отдельно взятая информационная система, без каких либо данных не имеет значения, она так же должна уметь трансформировать информацию об изображении, содержащее необходимые данные, из реального мира в информационную систему. Распознавать номерной знак можно как с помощью специального человека, так и с помощью компьютерного оборудования, которое будет идентифицировать автомобили по их номерным знакам (государственным регистрационным знакам) и затем помещать эти данные в информационную систему.

Исходя из этого, могут применяться различные методы распознавания номерных знаков транспортного средства, в различных сферах жизни Автоматическое распознавание номеров широко применяется на предприятиях, которые ограничивают проезд на свою территорию. Во многих странах систему распознавания автомобильных номеров используются для контроля автомобильного движения. Передвижения каждого транспортного средства регистрируется в центральной базе данных и позволяет легко находить угнанные машины, а в час-пик помогает регулировать движение на загруженных городских магистралях.

Методы обработки изображений и распознавания с них образов

Автомобильный номер это всего лишь черно-белое изображение, определяемое как функция f(x,y), где x и y  - это координаты точки внутри номера, а функция f определяется как яркость этой точки. Поэтому имеется необходимость разрабатывать надежные математические алгоритмы, которые могли бы извлекать связанные данные из полученного изображения. Разработка системы обработки изображения, содержащего номер для распознания - это совокупность подзадач в области искусственного интеллекта, машинного зрения, распознавания образов и нейронных сетей.

Обработка изображения с камеры видеонаблюдения и последующее распознавание возможно с помощью различных методов. Наиболее распространенными методами распознавания изображений являются экстремально-корреляционные, статистические, структурно-лингвистические, геометрических инвариантов.

Идея экстремально-корреляционного решения сводится к вычислению корреляционной функции К(x,y) исходного изображения l(x,y) и изображения эталона Э(x,y). Если в исходном изображении найдется фрагмент, идентичный Э(x,y), то в этом месте l(x,y)  возникнет локальный экстремум. Все поле корреляционной функции подвергают высокочастотной фильтрации для подавления шумов, размытых пиков и пороговым методом выделяют положение эталонного объекта. Недостатками экстремально-корреляционного метода являются высокая чувствительность к несовпадению масштаба, ориентации, яркости и значительный объем вычислений. Последний недостаток преодолевают путем параллельных вычислений, достигая высокой скорости из-за потери универсальности вычислителя.

Статистические методы основываются на идее сходства некоторых статистических характеристик (математического ожидания, дисперсии, моментов высшего порядка, гистограмм ...) изображения эталона и их проявлений на анализируемом изображении. Такой подход пригоден для решения задачи распознавания после того, как объект обнаружен, что само по себе остается проблемой. Кроме того, метод анализирует лишь часть содержащейся на изображении информации, игнорируя такие важные характеристики, как форма и структура. Метод оперирует небольшим числом сравнительно просто вычисляемых признаков, что делает его пригодным в частных случаях.

Сущность структурных методов заключается в выделении на распознаваемом и эталонном изображениях некоторых признаков и их связей, кодировании признаков и связей на формальном языке и решении задачи идентичности семантических образов эталона и анализируемого изображения. В качестве признаков, например, могут использоваться фрагменты контурной линии изображения объекта, такие как прямые и дуги определенных направлений. Описываемый подход инвариантен к масштабу, повороту, яркости, однако сам процесс извлечения признаков из изображения остается проблемным и обычно решается субъективным вмешательством.

Метод геометрических инвариантов оперирует такими признаками изображения, как площадь фигуры и площадь выпуклой оболочки, длина периметра, величины углов смежных контурных линий, и их соотношениями в различных сочетаниях. Для выделения этих признаков эталон и анализируемое изображение подвергают бинаризации. Метод может быть применен только в частных случаях.

Все перечисленные методы объединяет общая идея сравнения эталонного и анализируемого изображений непосредственно или через вторичные признаки. Вне зависимости от метода качество сравнения в сильной степени зависит от идентичности условий освещения и наблюдения анализируемого и эталонного изображений.

Принципы определения зоны номерного знака

Обнаружение границ и ранговая фильтрация.

Мы можем использовать периодическую функцию свертки  f с определенными типами матриц для обнаружения различных типов границ в изображении:

,

где  w и h – размеры изображения, представленные функцией f,

        - обозначает двумерную дискретную операцию свертки.

Матрица свертки.

Каждое действие над изображением (или фильтрование изображение) определяется матрицей свертки. Матрица свертки определяет как конкретный пиксель зависит от соседних пикселей в процессе свертки. Отдельные ячейки в матрице представляют соседей, связанных с пикселями, находящихся в центре матрицы. Пиксель представлен ячейкой у в целевом изображении, и она зависит от пикселей x₀…x₈ исходя из следующей формулы:

Рисунок 1 - Пиксель зависит от своих соседей на основе матрицы свертки.

Обнаружение горизонтальных и вертикальных границ.

Для определения горизонтальных и вертикальных границ, можно свернуть исходное изображения с помощью матриц m_he и m_ve. Матрицы свертки, как правило, гораздо меньше, чем само изображение. Кроме того, мы можем использовать большие матрицы для обнаружения грубых краев.

 

Обнаружение границ с помощью оператора Собеля.

Оператор использует матрицы 3×3, с которыми сворачивают исходное изображение для вычисления приближенных значений производных по горизонтали и по вертикали. Пусть A исходное изображение, а G_x и G_y — два изображения, где каждая точка содержит приближенные производные по x и по y. Они вычисляются следующим образом:

 

 

В каждой точке изображения приближенное значение величины градиента можно вычислить, используя полученные приближенные значения производных: . На практике, скорее рассчитать только приблизительно величины: .

Горизонтально и вертикально ориентированные ранговые фильтры.

Горизонтально и вертикально ориентированные ранговые фильтры часто используется для выявления кластеров с высокой плотностью ярких краев в области номерного знака. Ширина матрицы горизонтально ориентированного рангового фильтра гораздо больше, чем высота матрицы (w >> h), и наоборот, для вертикального рангового фильтра (w << h). Для сохранения глобальной интенсивности изображения, необходимо, чтобы каждый пиксель будет заменен пикселем со средней интенсивностью в области, указанном в матрице рангового фильтра. В общем, матрица свертки должна удовлетворять следующим условиям:  ,

где  w и h – размеры матрицы.

Горизонтальные и вертикальные проекции изображения

После серии операций свертки, мы можем обнаружить области номерного знака в соответствии со статистикой снимка. Существуют различные методы статистического анализа. Одним из них является горизонтальная и вертикальная проекции изображения на оси х и у. Вертикальная проекция изображения графа представляет собой общую величину изображения по оси у.

Если вычислить вертикальную проекцию изображения после применения фильтра вертикального обнаружения границы, то величина определенного момента представляет появление вертикальных границ в этой точке. Затем вертикальная проекция так измененного изображения может быть использована для вертикальной локализации номерного знака. Горизонтальная проекция представляет собой общую величину изображения отображающегося на оси х.

Эвристический анализ и приоритетным выбором номерного знака кандидатов.

В целом, захваченные снимки могут содержать несколько кандидатов на номерной знак. Из-за этого, алгоритм обнаружения всегда обрезает несколько полос, и несколько знаков с каждой полосой. Существует заданное значение максимального количества кандидатов, которые определяются на основе анализа прогнозов.

Есть несколько эвристических способов, которые используются для определения стоимости отобранных кандидатов в соответствии с их свойствами. Эти способы были выбраны специально во время практических экспериментов. Логика определения кандидатов сортирует в соответствии с их стоимостью от самых подходящих до наименее подходящих. Затем наиболее подходящих кандидатов анализируют более глубоким эвристическим способом. Более глубокий анализ определенно принимает или отклоняет кандидатуру. Поскольку существует необходимость анализа отдельных символов, этот тип анализа потребляет большое количество процессорного времени. Учитывая, возможности современных методов распараллеливания вычислений, данную операцию можно оптимизировать, используя параллельные вычисления.

Основная концепция анализа состоит из следующих шагов:

1)      Обнаружение возможных кандидатов на номерной знак.

2)      Сортировать их по их стоимости (определяется основным эвристическим способом).

3)      Сокращение первого знака из списка с лучшей ценой.

4)      Сегментировать и проанализировать его более глубоким анализом (емкая по времени операция).

5)      Если глубокий анализ отказывается от данного варианта знака, вернуться к шагу 3.

Принципы сегментации зоны номерного знака

Следующим шагом после выявления области номерного знака является сегментация знака. Сегментация является одним из самых важных процессов в автоматическом распознавании номерных знаков, потому что все дальнейшие шаги зависят от нее. Если сегментация не удается, символ знака может быть неправильно разделен на две части, или два символа могут быть неправильно объединены вместе. Можно использовать горизонтальную проекцию номерных знаков для сегментации, или один из более сложных методов, такой как сегментация, с помощью нейронных сетей. Если мы предположим, что известна  только одна строка знака, то сегментация выльется в процесс поиска горизонтальных границ между символами. На втором этапе сегментации производится расширение сегментов. Сегмент знака содержит, помимо символа и нежелательных элементов, таких как точки и растянутые области, а также как избыточные пространства по бокам символа. Существует необходимость устранения этих элементов, и извлечь только сам символ.

Цель алгоритма сегментации является поиск пиковых значений, соответствующих пространствам между символами. Сначала необходимо определить несколько важных значений в графике горизонтальной проекции p_x(x):

v_m – максимальное значение, содержащиеся в горизонтальной проекции p_x(x), например, v_m = max { p_x(x)}, 0<x<w, где w – ширина знака в пикселях,

v_a – среднее значение горизонтальной проекции, ,

v_b – базовое значение для определения пиковой высоты, вычисляется как v_b = 2 v_a - v_m.

Алгоритм сегментации многократно находит максимальный пик на графике вертикальной проекции. Пик рассматривается как пространство между символами, если он отвечает некоторым дополнительным условиям, таким как высота пика. Затем алгоритм обнуляет пик и многократно повторяет этот процесс, пока не будет места для поиска.

Извлечение признаков и нормализации символов.

Распознать символ из растрового представления, необходимо извлечь дескрипторы такого изображения. Метода извлечения существенно влияет на качество целого процесса оптического распознавания, очень важно, чтобы извлечь признаки, которые будут инвариантны к различным условиям освещения используемого шрифта и деформации символов вызванного перекосом изображения. На первом этапе нормализации яркость и контрастность изображения обрабатываются посегментно. Символы, содержащиеся в сегментах изображения, должны быть изменены на единый размер (второй этап). После этого алгоритм извлечения признаков извлекает соответствующие дескрипторы из нормированных символов (третий шаг).

Распознавание символов

Выделив признаки символов, теперь их необходимо распознать. Цель методов распознавания состоит в получении вектора характеристик (так называемый шаблон), который всесторонне описывает символы, содержащейся в обрабатываемом растровом изображении. Существуют разные методы распознавания, такие как нейронные сети, которые могут классифицировать модели в соответствующих классах. Символ может быть классифицирован и распознан с помощью алгоритма «simple nearest neighbor algorithm» применяемый к вектору извлеченных характеристик, или возможно использовать один из методов «умной» классификации, таких как feed-forward или нейронные сети Хопфилда. Так же необходимо проводить дополнительный эвристический анализ, который используется для устранения с номеров элементов, не являющихся символами алфавита. Иногда процесс распознавания может не работать, или результаты распознавания могут содержать ошибки. Некоторые такие проблемы могут быть устранены проверкой синтаксиса распознанных номеров. Если мы имеем набор правил, по которым формируются автомобильные номера в определенной стране, то возможно провести реконструкцию дефектных номеров.

Заключение

В статье были рассмотрены возможные методы обработки изображения, содержащие в себе номерной знак транспортного средства. Обработанное изображение используется для распознавания символов номерного знака, в свое время распознавание может быть осуществлено различными алгоритмами, основанных на нейронной сети.

 

Литература

 

1.      Ondrej Martinsky Algorithmic and mathematical principles of automatic number plate recognition systems [Текст] / B.SC. Thesis. — Brno University of technology, faculty of information technology, department of intelligent systems, 2007. — 76 с.

2.      Иванов В.П., Батраков А.С. Трехмерная компьютерная графика [Текст] / Под ред. Г.М. Полищука. — М.: Радио и связь, 1995. — 224 с.