ДонНТУ   Портал магистров

Реферат по теме выпускной работы

Содержание

Введение

Повсеместное внедрение информационных технологий во все сферы современной жизни создает требование считать систему обработки изображений с камер видеонаблюдения с последующим распознаванием каких-либо его частей, например, номерного знака автомобиля, является неотъемлемым ресурсом информационной системы. Потому что отдельно взятая информационная система, без каких либо данных не имеет значения, она так же должна уметь трансформировать информацию об изображении, содержащую необходимые данные, из реального мира в информационную систему [1]. Следует учесть, что видеокамеры работают по принципу онлайн передачи всего регистрируемого потока несжатых данных от камеры в кольцевой буфер оперативной памяти компьютера. Также регистрируют потоки несжатых данных и передают их к целевому устройству на жесткий диск или оперативную память. Таким образом, в компьютер поступает очень большой поток данных, которые нужно быстро обработать и записать [2]. Все эти процедуры требуют времени. Необходимо все эти операции оптимизировать для увеличения эффективности системы.

Система, которая сможет распознавать номерной знак как с помощью человека-оператора, так и с помощью компьютерного оборудования, которое будет идентифицировать транспортные средства по их номерным знакам (государственным регистрационным знакам) и затем помещать эти данные в информационную систему.

Исходя из этого, могут применяться различные методы распознавания номерных знаков транспортного средства, в различных сферах жизни. Автоматическое распознавание номеров широко применяется на предприятиях, которые ограничивают проезд на свою территорию. Во многих странах систему распознавания автомобильных номеров используются для контроля автомобильного движения. Передвижения каждого транспортного средства регистрируется в центральной базе данных и позволяет легко находить угнанные машины, а в час-пик помогает регулировать движение на загруженных городских магистралях.

1. Актуальность темы

Актуальность разработки системы распознавания автомобильных номерных знаков состоит в том, что в последнее время возросла интенсивность автоматизации контроля транспортных средств на пропускных пунктах, так же это требуется для определения автомобиля нарушителя движения и за контролем трафика на дороге. Разрабатываемая система автоматически распознает номерной знак автомобиля, записывает его в базу данных или проверяет с уже внесенными данными в базе, позволяя произвести автоматический пропуск на территорию. Такой контроль будет способствовать увеличению эффективности пропускного пункта, так как он не будет зависеть от человеческого фактора.

Данная задача относится к проблеме создания эффективных алгоритмов и программных средств распознавания графических образов в реальном времени. Разработка системы, которая имеет те же функции, однако обладает более выгодным экономическим решением в предмете внедрения, обработки и производительности – актуальная научно-техническая задача.

2. Цель и задачи исследования, планируемые результаты

Распознавание номерного знака транспортного средства включает следующие этапы: определение положения номерного знака, его сегментацию, извлечение отдельных символов знака и их нормализация, распознавание символов и итоговый синтаксический анализ номерного знака.

Целью работы является исследование и разработка методов и алгоритмов распознавания символов, цифр и букв русского/украинского алфавита, обеспечивающих анализ и обработку информации с камер видеонаблюдения для дальнейшего обнаружения, определение положения и идентификации номерного знака транспортных средств. Достижение поставленной цели определило необходимость решения следующих задач:

  1. Анализ способов локализации номерного знака, сегментации.
  2. Разработка структуры и функций системы для обработки символов номерного знака.
  3. Разработка и исследование алгоритмов распознавания символов.
  4. Выбор метода распознавания и оценка его эффективности.
  5. Анализ оборудования для получения корректных данных с камер видеонаблюдения.
  6. Разработка системы и прикладного программного обеспечения для обработки изображения с камер видеонаблюдения для распознавания номерного знака транспортного средства.

После завершения работы планируется получить работоспособную компьютерную информационную управляющую систему, предназначенную для внедрения в систему контроля пропускных пунктов на территорию.

3. Обзор исследований и разработок

В мире уже существуют разработки, касающиеся подобных программных систем. Опишем их более подробно.

Система распознавания номерных знаков CARMEN.

CARMEN – система распознавания номерных знаков, обладает всеми возможностями для обеспечения высококачественной парковки, охраны и контроля доступа по номерному знаку, распознаваемому системой. Характеризуется как очень точная, отказоустойчивая, стабильная и быстрая система [3]. Система CARMEN специально разработана для парковочных систем, систем безопасности и систем контроля доступа. Она имеет уникальный уровень интеграции распознавания знака, технологии получения видео и обработки изображений из видео потоков, а в то же время она по-прежнему предлагает пользователю самую высокую технологическую гибкость.

Также она обеспечивает высокий уровень технологической производительности среди других систем распознавания, система CARMEN предлагает огромную гибкость – одобрена производителями и интеграторами.

Система CARMEN поставляется с качественным драйвером для захвата изображений и потокового видео, обеспечивая быструю установку и использование системы для парковки транспортных средств и систем контроля доступа.

Также в состав системы CARMEN входит Software Development Kit (SDK) – набор модулей, который упрощает интеграцию. Легко, быстро и экономически эффективно. Парковочные системы, системы контроля доступа, системы безопасности работают под контролем системы CARMEN обеспечивают высокую точность распознавания, отказоустойчивости, высокую скорость работы.

Особенности системы CARMEN. Данная система предлагает гибкие, низкие эксплуатационные расходы, представляя эффективные и интеллектуальные технологии для эксплуатации парка автомобилей. Система уменьшает затраты, а также повышает эффективность и безопасность. Система для контроля парковки является одной из основных технологий, и не является полноценной. Она была специально разработана и создана, чтобы легко быть интегрированной в комплекс парковки и контроля доступа. Такая гибкая система может быть адаптирована для удовлетворения особых требований заказчика.

Система распознавания номерных знаков CARMEN содержит следующие компоненты:

Камера Spike+ с системой распознавания номерных знаков.

Spike+ представляет собой компактную, прочную и полностью интегрированную систему распознавания номерного знака в камеру, также производит подсветку и процессор для системы распознавания в одном герметичном корпусе [4]. Spike+ является уникальным продуктом, и выиграл престижную награду Queens Award for Innovation [5]. Разнообразие объективов доступных для разных фокусных требований длины. Способы хранения Compact Flash позволяет хранить и буферизировать данные. Spike+ может использоваться через веб-протокол, и предлагает разнообразные возможности подключения, включая беспроводные сети. Дополнительные продукты, такие как Spike+ Interface Box позволяет быстро и легко развертывать Spike+.

Камера Spike+ проста в установке, что делает ее идеальным для установки в труднодоступных или скрытых условиях. Несмотря на свой небольшой размер, Spike+ очень надежный и предназначен для обеспечения бесперебойной работы в любых погодных условиях 24 часа в сутки.

Приложения для камеры Spike+. Talon Mobile – приложение распознавания автомобильных номерных знаков, обладающее функциями SpeedPlate и VeriPlate, которые предназначены для использования «на ходу» патрулированием полиции, предоставляя начальству и пользователям гибкость и оперативную «досягаемость» для определения информации об области, которые выходят за рамки основных систем распознавания автомобильных номеров [6]. Кроме того, система может работать, когда автомобиль неподвижен или припаркованный на шоссе, на блокпостах и контрольно-пропускных пунктах.

Типичные мобильные приложения для автоматического распознавания номерных знаков состоит из системы и движка ядра Talon, используемых для процесса признания номерного знака. Пользователь контролирует и управляет системой с помощью функции SpeedPlate или Veriplate систем прикладного программного обеспечения распознавания автомобильных номеров, что позволяет использовать данные, как местных, так и национальных баз данных.

Дополнительные функции:

Области применения:

CarDetector Software от Vigilant video.

Компания Vigilant video исследовала динамику использования распознавания номерных знаков, начиная от потребностей конечного пользователя до непосредственно самого производственного процесса. Результаты предоставили предложить продукт, который может считаться наиболее продвинутым по сегодняшним меркам. Система CarDetector позволяет пользователю любого уровня управлять возможностями программного предложения. В комплекте системы идет краткий курс обучения.

Возможности:

Поддержка до 35 камер [7] видеонаблюдения для распознавания знака, подключенных к одному серверу. Современная технология оптического распознавания символов, которая управляется системой через беспроводные сети. Система CarDetector дает максимально активные возможности, которые обеспечивает защиту необходимых территорий.

Система «Авто-Инспектор» – программно-аппаратный комплекс, обеспечивающий распознавание номеров движущихся автомобилей, надежно работающий в широком диапазоне внешних условий, легко интегрируемый с охранным оборудованием, исполнительными устройствами и внешними базами данных [8].

В системе «Авто-Инспектор» реализованы функциональные возможности необходимые для эффективного решения задач на различных объектах: от обеспечения сохранности автомобилей в пределах автостоянки, до контроля за передвижением транспорта в масштабах предприятия, отдельной магистрали, целого города.

Основные функциональные возможности [9]:

Система «Трафик-КОНТРОЛЬ», система взвешивания автомобилей и распознавания номеров. Программное обеспечение «Трафик-КОНТРОЛЬ» предназначено для автоматизированного контроля транспортного потока и обладает следующими функциональными возможностями:

Система «Трафик-Контроль» представляет собой программно-аппаратный комплекс, предназначенный для взвешивания, контроля въезда, выезда и перемещения автомобильного транспорта по территории предприятия, а также учета ввозимых и вывозимых грузов. Важнейшей инновацией системы «Трафик-Контроль» является комплекс автоматического распознавания номеров автомобилей (в том числе и в движении!), что позволяет существенно снизить влияние человеческого фактора и тем самым повысить надежность функционирования системы. Данный комплекс надежно работает в широком диапазоне внешних условий и обеспечивает надежное распознавание номера автомобиля в дневное и ночное время, при любых погодных условиях и на скорости автомобиля до 150 км/ч. Гибкость системы позволяет обеспечить ее интеграцию с уже имеющейся информационной системой предприятия, охранным оборудованием. Также возможно построение общей информационной системы предприятия на базе системы «Трафик-Контроль».

4. Основные этапы в распознавании номерного знака транспортного средства

Автоматическая идентификация транспортных средств является важным этапом в интеллектуальных транспортных систем. В настоящее время транспортные средства играют очень большую роль в транспортировке. Кроме того, использование транспортных средств увеличивается из-за роста населения и потребностей человека в последние годы. Таким образом, контроль транспортных средств становится большой проблемой, и ее гораздо труднее решить. Автоматические системы идентификации транспортного средства используются для эффективного управления. Распознавание номерного знака является одной из форм автоматической идентификации транспортных средств. Это технология обработки изображений используется для идентификации транспортных средств, используя информацию с номерного знаки. В режиме реального времени номерной знак играет важную роль в автоматическом мониторинге правил дорожного движения и поддержании порядка на дороге [10].

Lotufo, Morgan и Johnson [11] предложили автоматическую систему распознавания номерного знака с помощью оптических методов распознавания символов. Fahmy [12] предложил метод двунаправленной ассоциативной памяти нейронной сети для чтения номерных знаков. Этот метод подходит для небольшого количества моделей. Nijhuis, Ter Brugge, Helmholf J.P.W. Pluim, L. Spaanenburg, R.S. Venema и M.A.Westenberg [13] предлагали использование нечеткой логики и нейронных сетей для номерных знаков транспортных средств. Этот метод использовал нечеткую логику для сегментации и дискретно-временные клеточные нейронные сети для выделения признаков. Choi [14] и Kim [15] предложили метод, основанный на использовании вертикального края Хью преобразования для извлечения номерного знака. E.R. Lee, P.K. Kim и H.J. Kim [16] использовали нейронные сети для извлечения цвета и шаблон для распознавания символов. S.K. Kim, D.W. Kim и H.J. Kim [17] использовали генетический алгоритм для сегментации, чтобы извлечь область с номерным знаком. Hontani [18] предложил способ извлечения символов без знания их положения и размеров изображения. Парк и др. [19] разработали метод извлечения корейских номерных знаков в зависимости от цвета номерного знака. H.J. Kim, D.W. Kim, S.K. Kim, J.V. Lee, J.K.Lee [20] предложили метод извлечения области номерного знака на основе сегментации цветных изображений по генетическому распределению. Разнообразие подходов к нахождению номерного знака показывает, насколько актуальна данная задача.

Структура системы распознавания номерных знаков транспортного средства.

На вход системы поступает изображение транспортного средства, захваченное камерой. Захваченные изображения взяты с расстояние 4-5 метров обрабатываются через подсистему извлечения номерного знака с предоставлением его на вход к подсистеме сегментации. Сегментация отделяет символы по отдельности. И, наконец, подсистема распознавания определяет символы, предоставляя результат как номерной знак транспортного средства.

Извлечение области номерного знака.

Извлечение области номерного знака является первым этапом в алгоритме распознавания номерного знака транспортного средства. Изображение, сначала отснятое с камеры, преобразуется в двоичное изображение, состоящее только из 1 и 0 (только черный и белый цвет). Используя порог для пикселей 0 (черные) для всех пикселей исходного изображения с яркостью меньше порогового значения и 1 (белые) для всех остальных точек. Захваченное изображение (исходное изображение) и бинаризированное изображение показано на рисунке 1. Бинаризированное изображение можно обрабатывать с использованием разных методов. Чтобы найти область знака, используется алгоритм размытия. Размытие - метод извлечения текста из смешанного изображения. Алгоритм размытия обрабатывает изображение по вертикали и горизонтали. Если количество белых пикселей меньше желаемого порога или больше, чем любой другой желаемый порог, белые пиксели преобразуются в черные. После размытия, морфологическая операция, расширение, применяется к изображению для указания расположения знака. Однако, может быть более одного кандидата на номерной знак. Чтобы найти точное положение и устранить другие области, некоторые критериальные тесты применяются для размытия изображения и его фильтрации. Обработанные изображения после этого этапа показаны на рисунке 1.

Сегментация

В сегментации символов номерного знака, он делится на составные части для получения символов по отдельности. Во-первых, изображение фильтруется для улучшения вида и удаления шумов и нежелательных пятен. Потом применяется операция расширения к изображению для разделения символов друг от друга, если символы близки друг к другу. После данной операции, горизонтальное и вертикальное размытие применяется для поиска символьных областей. Следующим шагом является обрезка символов номерного знака. Это делается путем нахождения начальной и конечной точек символов в горизонтальном направлении. Отдельные символы, вырезанные из знака, показаны на рисунке 1.

Визуальное представление процесса выделения символов номерного знака для дальнейшего распознавания

Рисунок 1 – Визуальное представление процесса выделения символов номерного знака для дальнейшего распознавания (анимация: 7 кадров, 8 циклов повторений, 83 килобайта)

Распознавание символов

Прежде, чем начать алгоритм распознавания, символы необходимо нормализовать. Нормализация заключается в уточнении символов в блок, содержащий никаких дополнительных пробелов (пикселей) во всех четырех сторонах символа. Затем каждый символ подгоняется под одинаковый размер. Подгонка под одинаковый размер необходима для соответствия шаблону. Для сравнения символов с базой данных, вводные изображения должны быть одинакового размера с символами из базы данных. Следующий шаг - совпадение с шаблоном. Совпадение с шаблоном является одним из эффективных алгоритмов распознавания символов. Изображение символа сравнивается с символами в базе данных и затем измеряется лучшее сходство.

Пример шаблонов символов показан на рисунке 2.

Шаблоны для распознавания

Рисунок 2 – Шаблоны для распознавания

Использование скользящего окна с методом совпадения шаблона.

Скользящее окно, используя метод совпадения шаблона (сумма квадратов разностей), является общей и практической техникой используемой во многих приложениях распознавания изображений [21, 22]. Этот метод дает высокую точность распознавания и сокращает время обработки по сравнению с другими методами, такими как кросс-корреляция. Метод вычисляет сумму квадратов разностей в каждой позиции, в то время как словесный образ, который мы хотим распознать, движется под фоновым шаблоном. Точка, в которой сумма квадратов разности меньше заданного порога будет рассматриваться как точка совпадения. Во-первых, определяется окно содержащее объект размером меньше, чем у основного изображения. Только часть изображения видна через это окно. Функция совпадения шаблонов осуществляется между объектами в окне и соответствующей области изображения. Затем окно сдвигается, и функция совпадения шаблонов применяется между объектами в окне, и новая часть изображения видна через окно. Таким образом, окно перемещается слева направо и сверху вниз по шагам смещения пикселей, пока не покроется все изображение, и метод совпадения шаблонов не осуществится для всех разных позиций окна. Математически, мера дистанции является мерой сходства или общих свойств между двумя сигналами. Обычно используется метрика Минковского [23]:

Метрика Минковского

Рисунок 3 – Метрика Минковского

где X, Y два N-мерных вектора признаков, а r является фактором Минковского. И когда r = 2, это на самом деле Евклидово расстояние.

Плавающее окно и метод совпадения шаблона

Рисунок 3 – Плавающее окно и метод совпадения шаблона

Многослойная нейронная сеть для распознавания символов номерного знака.

Многослойная нейронная сеть может моделировать функцию практически любой степени сложности, причем число слоев и число элементов в каждом слое определяют сложность функции [24]. Определение числа промежуточных слоев и числа элементов в них является важным вопросом при конструировании. Среди многослойных нейронных сетей можно выделить четыре наиболее значимых и важных класса нейронных сетей:

Хороший результат распознавания дают нейросети обратного распространения ошибки и сети Кохонена. Нейросети обратного распространения по структуре аналогичны сети Кохонена, но функционируют и обучаются иначе. Сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя (обратная связь) [25].

Среди преимуществ можно выделить то, что обратное распространение – эффективный и популярный алгоритм обучения многослойных нейронных сетей, с его помощью решаются многочисленные практические задачи.

Нейронная сеть с обратным распространением ошибки

Рисунок 4 – Нейронная сеть с обратным распространением ошибки

Выводы

Целью данной исследовательской работы являлось изучение алгоритмических и математических аспектов распознавания номерных знаков транспортных средств, такие как проблематика машинного зрения, распознавание образов и символов, использование нейронных сетей для этого и других методов. Для разработки эффективной системы обработки изображений с камер видеонаблюдения необходимо иметь не только необходимое оборудование, но также соответствующее программное обеспечение, которое позволит правильно и эффективно проводить операции для контроля над территорией, которая предназначена для проезда транспортных средств.

Исследование и выбор наиболее подходящих к конкретной задаче методов выделения областей изображения, его обработки методами сегментации и бинаризации позволит снизить требования к условиям распознавания, что очень важно в задаче распознавания номерного знака транспортного средства.

В рамках проведенных исследований выполнено:

  1. Разработана структура программной системы и определены функции ее составляющих.
  2. На основании анализа литературных источников выделены основные алгоритмы, которые могут быть использованы при проектировании заданной автоматизированной системы.
  3. Рассмотрены возможности комплексной автоматизации системы обработки изображения с камер видеонаблюдения, оценены требования к программному обеспечению, выполнен поиск функционально подобных программных продуктов и проведен анализ преимуществ и недостатков.

Дальнейшие исследования направлены на следующие аспекты:

  1. Основываясь на результатах эффективности способов распознавания символов, сделан вывод о возможности применения нейронной сети обратного распространения, сети Кохонена или других методов, которые заключаются в обработке шаблонов изображений в распознавании сегментированных символов номерного знака.
  2. Адаптация известных методов обработки и улучшения изображений с целью максимизирования качества определения номерного знака.
  3. Разработка функциональной системы автоматизированной обработки изображений с камер видеонаблюдения, реализующей предложенный способ определения номерного знака транспортного средства.

При написании данного реферата магистерская работа еще не завершена. Окончательное завершение: декабрь 2012 года. Полный текст работы и материалы по теме могут быть получены у автора или его руководителя после указанной даты.

Список источников

  1. Martinsky Ondrej – Algorithmic and mathematical principles of automatic number plate recognition systems [Текст] / B.SC. Thesis. — Brno University of technology, faculty of information technology, department of intelligent systems, 2007. — 76 с.
  2. FastVideo. Скоростная съемка с камер видеонаблюдения [Электронный ресурс]. – Режим доступа: Ссылка
  3. Automatic Number Plate Recognition, The CARMEN Parking ANPR Software [Электронный ресурс]. – Режим доступа: Ссылка
  4. PIPS Technology - Spike+ [Электронный ресурс]. – Режим доступа: Ссылка
  5. Queens Award for Innovation [Электронный ресурс]. – Режим доступа: Ссылка
  6. NDI Recognition Systems UK - Vehicle based ANPR applications [Электронный ресурс]. – Режим доступа: Ссылка
  7. Vigilant Video, Fixed Camera LPR Systems, CarDetector Software [Электронный ресурс]. – Режим доступа: Ссылка
  8. Компания Инком. Комплексы безопасности. [Электронный ресурс]. – Режим доступа: Ссылка
  9. НПО "Дискрет"- Трафик-КОНТРОЛЬ, система взвешивания автомобилей и распознавания номеров. [Электронный ресурс]. – Режим доступа: Ссылка
  10. Bailey D.G., Irecki D., Lim B.K. and Yang L., Test bed for number plate recognition applications, Proceedings of First IEEE International Workshop on Electronic Design, Test and Applications ( DELTA’02 ), IEEE Computer Society, page 501, 2002.
  11. Lotufo R.A., Morgan A.D., and Johnson AS., 1990, Automatic Number-Plate Recognition, Proceedings of the IEE Colloquium on Image analysis for Transport Applications, V01.035, pp.6/1-6/6, February 16, 1990.
  12. Fahmy M.M.M., 1994, Automatic Number-plate Recognition : Neural Network Approach, Proceedings of VNIS’94 Vehicle Navigation and Information System Conference, 3 1 Aug-2 Sept, pp.291-296, 1994
  13. Nijhuis J.A.G. , Brugge Ter M.H., Helmholt K.A., Pluim J.P.W., Spaanenburg L., Venema L., Westenberg M.A., 1995, Car License PlateRecognition with Neural Networks and Fuzzy Logic, IEEE International Conference on Neural Networks, pp.2232-2236, 1995
  14. Choi H.J., 1987, A Study on the Extraction and Recognition of a Car Number Plate by Image Processing, Journal of the Korea Institute of Telematics and Electronics, Vo1.24, pp. 309-315,1987.
  15. Kim H.S., et al., 1991, Recognition of a Car Number Plate by a Neural Network, Proceedings of the Korea Information Science Society Fall Conference, Vol. 18, pp. 259-262, 1991
  16. Lee E.R., P.K. Kim, and H.J. Kim, 1994, Automatic Recognition of a Car License Plate Using Color Image Processing, Proceedings of the International Conference on Image Processing, Lecture Notes in Computer Science, pp.307-314, 2005
  17. Kim S.K., Kim D.W., and Kim H.J., 1996, A Recognition of Vehicle License Plate Using a Genetic Algorithm Based Segmentation, Proceedings of 3rd IEEE International Conference on Image Processing, V01.2., pp.661-664, 1996
  18. Hontani H., and Koga T., (2001), Character extraction method without prior knowledge on size and information, Proceedings of the IEEE International Vehicle Electronics Conference (IVEC’01), pp. 67-72.
  19. Park, S. H., Kim, K. I., Jung, K., and Kim, H. J., (1999), Locating car license plates using neural network, IEE Electronics Letters, vol.35, no. 17, pp. 1475-1477.
  20. Kim H.J., Kim D.W., Kim S.K., Lee J.V., Lee J.K., 1997, Automatic Recognition of Car License Plates Using Color Image Processing, Engineering Design & Automation, 3(2), pp.215-225, 1997
  21. Fairhurst M.C and Hoque M.S, Moving Window Classifier: a new approach to off-line image recognition. Electronics letters, 36(7), pp.628-630, 2000.
  22. Hoque M.S and Fairhurst M.C, Face recognition using the moving window classifier. In proc. Of 11th British Machine Vision Conference (BMVC2000), Bristol, UK, pp. 312-321, 2000.
  23. B.Li, Chang E., and Wu Y., Discovery of a Perceptual Distance Function for Measuring Image Similarity, ACM Multimedia Journal Special Issue on Content based, pp.512-522, Volume 8, Number 6, p.512-522, 2003.
  24. Портал искусственного интеллекта. [Электронный ресурс]. – Режим доступа: Ссылка
  25. Головко В.А. Нейронные сети: обучение, организация и применение: Учеб. пособие по направлению подгот. бакалавров и магистров "Прикладная математика и физика"; Под общ. ред. А.И. Галушкина.— Москва: Редакция журнала "Радиотехника", 2001 .— 256 с.