ДонНТУ   Портал магістрів

Сосенков Артем Юрійович

Факультет комп'ютерних наук та технологій

Кафедра автоматизованних систем управління

Спеціальність Інформаційні управляючі системи та технології

Визначення номерних знаків транспорту за допомогою методів обробки зображень

Науковий керівник: к.т.н., доц. Секірін Олександр Іванович

Резюме Біографія Реферат

Реферат за темою випускної роботи

Зміст

• Вступ
• 1. Актуальність теми
• 2. Мета і задачі дослідження
• 3. Огляд досліджень та розробок
• 4. Етапи розпізнавання номерного знака транспортного засобу
• Висновки
• Перелік посилань

Вступ

У наш час характерно масове впровадження інформаційних технологій у різні сфери людського життя. Розробка та використання інтелектуальних транспортних систем виконується для підвищення безпеки руху та поліпшення дорожньої обстановки.

Проблема розпізнавання номерного знака транспортного засобу дуже цікава і впродовж багатьох років приваблює безліч дослідників та експертів машинного зору. Область застосування такої системи дуже велика і може варіюватися від КПП парковки до управління трафіком.

Рішення задачі розпізнавання автомобільних номерів можна представити у вигляді комплексу алгоритмів обробки та аналізу зображень. Всі існуючі методи ідентифікації символів завжди починаються з процедури попередньої обробки зображенні. Правильні кроки попередньої обробки, такі як, бінаризація, морфологічна стандартизація і сегментація, мають вирішальне значення для подальших кроків розпізнавання.

1. Актуальність теми

Актуальність задачі визначення номерних знаків транспорту полягає в тому, що в наш час широко розвинений спектр автоматизованого управління рухом автотранспорту, контролю в'їзду на підприємство, швидкості руху, а також виявлення порушників правил дорожнього руху. Крім цього, окремі алгоритми і методи, використовувані для розпізнавання номерів, можуть отримати узагальнення і знайти широке застосування в інших завданнях, пов'язаних з цифровою обробкою і аналізом цифрових зображень.

2. Мета і задачі дослідження та заплановані результати

Основною метою роботи є модифікація і розробка алгоритмів, що входять в комплекс задач визначення номерного знака транспортного засобу для більш ефективного результату.

Для досягнення поставленої мети визначені наступні завдання:

1. Аналіз методів визначення зони номерного знака на вхідному зображенні.
2. Нормалізація і сегментація номерного знака.
3. Реалізація методу розпізнавання символів та оцінка його ефективності.

Під час виконання магістерської роботи планується дослідити існуючі методи і алгоритми розпізнавання номерних знаків транспорту, а також розробити і реалізувати автоматизовану систему, вирішальну перераховані вище завдання.

3. Огляд досліджень та розробок

Популярність визначення автомобільних номерів можна пояснити тим, що зацікавленість таким програмним комплексом все частіше стали виявляти різні комерційні структури для організації автостоянок та контролю відвідування території великих підприємств.

Запропоновано велику кількість різних рішення для задачі ідентифікації номерних знаків та їх розпізнавання. Так, наприклад, Tran Duc Duan, Duong Anh Duc и Tran Le Hong Du [1] і Remus Brad [2] у своїх роботах застосували перетворення Хафа, з метою зменшення часу обробки для сегментації номерних знаків на зображенні. Також для досягнення більш швидкої обробки в деяких системах використовується визначення порогу розміру номерного знака та регіонів символів у ньому.

N. Zimic, J. Ficzko, M. Mraz, J. Virant [3], Eun Ryung Lee, Pyeoung Kee Kim, і Hang Joon Kim [4] та Opas Chutatape, Li Li, і Qian Xiaodong [5] у своїх роботах використовували алгоритми сегментації регіонів символів і їх розпізнавання, за допомогою нечіткої логіки і нейронних мереж.

В роботі Wenjing Jia, Huaifeng Zhang і Xiangjian He [6] застосовується алгоритм, що визначає кілька регіонів кандидатів у зображенні, використовуючи такі функції, як прямокутність, пропорції і щільність кордону, щоб визначити, чи є область номерного знака ідентифікованої чи ні.

Всі методи, використовувані в перерахованих вище дослідних роботах, прагнуть підтримувати правильний баланс між точністю алгоритму і його швидкістю.

В основі будь-якої класифікації лежать певні класифікаційні ознаки (принципи). Так в посібнику [7] в якості кваліфікаційного ознаки використовуються властивості інформації, яка застосовується в процесі розпізнавання. Однак така класифікація не відображає всіх характеристик системи реального часу (РЧ), тому була розроблена класифікація за властивостями управління систем розпізнавання образів (СРО) в процесі розпізнавання (рис. 1).

Розглянемо найбільш популярні системи автоматичного розпізнавання автомобільних номерів:

1. ATAPY ANPR SDK – спеціалізований програмний продукт з технологією автоматичного розпізнавання номера автомобіля [8]. Призначений для системних інтеграторів і розробників прикладних програм, які бажають включити технологію автоматичного розпізнавання номера транспортного засобу в своїх додатках. Система ATAPY ANPR SDK має високу точність розпізнавання т. К. Працює на одному з найбільш точних продуктів в галузі OCR – движку OCR, розробленому ABBYY Software House [9]. Реалізована функція автоматичної геометричній корекції перекосу/нахилу (до 30°).
2. АВТОМАРШАЛ – система розпізнавання автомобільних номерів, що має 12 конфігурацій (автомийка, парковка, склад, КПП та ін.), які дозволяють легко налаштувати систему під поставлену задачу [10]. Має зручний програмний помічник для швидкого налаштування, також підтримується інтеграція з різноманітним обладнанням (шлагбауми, світлофори, ваги та ін).
3. CarGo Enterprise – система розпізнавання всіх типів українських та іноземних номерів з імовірністю до 96%. Програмне забезпечення системи розпізнавання номерів дозволяє ефективно вирішувати завдання по реєстрації, ідентифікації, запобігання несанкціонованого проїзду, забезпечення безпеки автомобілів, контролю транспортних потоків [11].

Провівши аналіз існуючих систем автоматичного розпізнавання автомобільних номерів, було виявлено наступне:

1. Готові системи розпізнавання номерних знаків володіють не тільки готовим рішенням, але і мають велику вартість;
2. Практично всі системи мають велику кількість необов'язкових функцій, таких як, автоматизоване управління шлагбаумами і світлофорами або формування звітів за різними критеріями;
3. Всі алгоритми і методи, використовувані у вирішенні проблеми, не доступні для загального огляду;
4. Більшість систем підтримують розпізнавання не лише місцевих номерних знаків, а й зарубіжних;
5. Готові системи мають досить високу точність розпізнавання.

В магістерській роботі О. В. Животченко [12] розглядаються основні етапи та методи розпізнавання автомобільних номерів. В роботі І. С. Лічканенко [13] розглянуті завдання, що виникають в процесі розпізнавання номерних знаків транспортних засобів, визначені методи обробки зображень та розпізнавання для виявлення номерних знаків. В роботі А. В. Федорова [14] задача розпізнавання здійснюється тільки за допомогою нейронних мереж. У наведених вище роботах, на відміну від моєї, використовуються інші методи розпізнавання, не запропоновані нові модифіковані методи.

На підставі проведеного аналізу існуючих систем, методів і алгоритмів, що використовуються в розробці системи, була виявлена потреба у створенні нової системи автоматичного розпізнавання номерних знаків транспорту, з метою знаходження балансу між швидкістю і точністю розпізнавання, а також мінімізації витрат на розробку даної системи.

4. Етапи розпізнавання номерного знака транспортного засобу

Поетапно процес розпізнавання номерного знака транспортного засобу представлений на рис. 2.

Вихідними даними системи є зображення транспортного засобу, захоплене камерою.

Бінаризація

Початкове зображення номерного знака транспорту вимагає певних кроків попередньої обробки, щоб надати відповідний формат для розпізнавання символів. Так як для більшості алгоритмів ОРС потрібні монохромні зображення, необхідно спочатку бінарізіровать зображення, т. Е. Перетворити кольорове або сіре в чорно-біле. На рис. 3 показано порівняння між вихідним зображенням і чорно-білим варіантом, в результаті бинаризации.

Нормалізація

Цей етап необхідний, щоб поліпшити розташування вихідного зображення. Нормалізація зображення номерного знака проводиться в два етапи. На першому етапі визначається кут повороту номера в площині зображення. На другому – виконується алгоритм отримання нормалізованого зображення номера з урахуванням кута його повороту. Для повороту області зображення використовується алгоритм, заснований на відповідному афінному перетворенні координат. Для зменшення спотворень зображення при повороті, пов'язаних з його дискретним характером, використовується метод, заснований на билинейной інтерполяції по найближчих чотирьох пикселям [15].

На першому етапі виконується операція підкреслення меж номера на основі лінійного оператора Собеля для горизонтальних кордонів, що має маску згортки:

Оператор Собеля більш чутливий до напрямів кордонів, близьким до горизонтального, в результаті чого на отриманому зображенні добре виділяється верхня і нижня частини номерного знака, як показано на рис. 2.

На другому етапі виконується розрахунок карти щільності знайдених точок меж в просторі параметрів просторових координат згідно перетворенню Хафа. Метою другого етапу є визначення рівняння прямих, що відповідають верхній і нижній межі номерного знака. Кожна точка карти кордонів породжує безліч проходять через неї прямих, які задовольняють рівняння:

y_i = ax_i + b,

що в просторі параметрів відповідає:

b = – ax_i + y_i.

Вага прямих v(x_i, y_i)відповідає значенню яскравості зображення результату підкреслення меж (рис. 2в). Таким чином, наділяючи вагою v прямі і проводячи їх у просторі параметрів a і b з яскравістю, рівною вазі, отримаємо зображення, подібні до наведеного на рис. 3 [16].

Сегментація

Для сегментації зображення, використовується алгоритм рядки розгортки, заснований на особливості наявності переходів від 1 до 0 і від 0 до 1 в області символу на бінарному зображенні. Таким чином, загальна кількість переходів в області символу більше, ніж загальна кількість переходів в іншій області. Існує, принаймні, сім символів на області номерного знака, і кожен символ має більш, ніж два стрибки [17]. Можна вибрати десять в якості порогового значення. Якщо загальна кількість переходів в певній лінії більше десяти, значить, ця лінія може бути в області символу. В іншому випадку, вона не в області символу.

Алгоритм:

1. нехай Н – висота і W – ширина зображення пластини.
2. для (i=H/2 to 0) (не вважаємо переходів, тобто від 0 до 1 і від 1 до 0 в cnt; якщо cnt<10 отримаємо координату у в y_min і перервемо;)
3. для (i=H/2+1 to H-1) (не вважаємо переходів, тобто від 0 до 1 і від 1 до 0 в cnt; якщо CNT<10 отримаємо координату у в y_max і перервемо;)
4. обрізаємо зображення від y_min до y_max.

Переглянемо обрізане зображення зліва направо по стовпцях після точного місця розташування верхньої та нижньої межі і підрахуємо загальну кількість чорних крапок в кожному стовпці. Порогове значення встановлено в h / 10. Визначимо кожне значення в масиві проекції. Якщо проекція [i] більше, ніж h / 10, проекція [i] дорівнює одному. В іншому випадку, проекція [i] встановлюється в нуль. Де h не змінюйте рядка на бінарному зображенні після точної локалізації верхньої та нижньої кордонів [17]. Потім символи обрізаються шляхом вибору частин, що мають проекцію [i] = 1.

Перед алгоритмом розпізнавання символи повинні бути уточнені в блок, який не містить додаткові пробіли (пікселі) з усіх чотирьох сторін символів.

Розпізнавання символів

Шаблонний метод включає в себе порівняння подібності між даними набором шаблонів і вхідного зображення, яке нормалізувався, як того ж розміру з шаблонів, а потім визначається певний шаблону, який виробляє найбільшу схожість.

У даній роботі застосовується формула відповідності для виявлення подібності між моделями двох сигналів методом крос-кореляції. Використовується функція Matlab "corr2" для обчислення коефіцієнтів кореляції кожного порівняння між тестованим зображенням і шаблоном. У наведеній нижче формулі, A_mn – вхідне зображення, B_mn є одним з шаблонів. Функція відповідності r поверне значення показує, наскільки добре A_mn співпадає з B_mn. Якщо один з коефіцієнтів кореляції значно вище, вхідне зображення ідентифікується як ця буква або цифра.

Слідуючи лінії виявлення і сегментації символів, процес узгодження починає читати вхідний сигнал від першої лінії текстів до нижньої лінії, зліва направо, що гарантує порядок кожної букви і їх вихідний компонування кожного рядка. Тоді заключним кроком є написання слова в текстовий файл. Для вхідного зображення на рис. 7, система може зчитувати зображення в текст, як показано на малюнку нижче.

Висновки

В рамках проведених досліджень виконано:

1. На підставі аналізу літературних джерел виділено завдання для реалізації автоматичного розпізнавання номерного знака транспорту. Необхідними для вирішення цього завдання є виявлення меж, фільтрація, нормалізація і сегментація, а найбільш придатними методами розпізнавання – кореляційний, K-nearest і нейронні мережі.
2. Виконано аналіз існуючих систем, виявлені переваги і недоліки.
3. Реалізована попередня обробка зображень з метою поліпшення їх якості і зручної локалізації номерний пластини.

Подальші дослідження спрямовані на наступні аспекти:

1. Глибокий аналіз основних методів обробки зображень та розпізнавання номерних знаків транспорту.
2. Модифікація відомих методів обробки зображень з метою підвищення якості визначення номерного знака.
3. Розробка автоматизованої системи визначення номерного знака за допомогою методів обробки зображень.

Перелік джерел

1. Tran Duc Duan, Duong Anh Duc, Tran Le Hong Du. Combining Hough Transform and Contour Algorithm for detecting Vehicles License-Plates. Proceedings of 2004 International Symposium on Intelligent Multimedia, Video and Speech Processing. October 2004 – с. 747-750
2. Remus Brad. License Plate Recognition System. Computer Science Department Lucian Blaga University, Romania. – 5 с.
3. N. Zimic, J. Ficzko, M. Mraz, J. Virant. The Fuzzy Logic Approach to the Car Numlber Plate Locating Problem. IEEE. 1997
4. Eun Ryung Lee, Pyeoung Kee Kim, and Hang Joon Kim. Automatic Recognition of a Car License Plate Using Color Image Processing. IEEE. 1994
5. Opas Chutatape, Li Li, and Qian Xiaodong. Automatic License Number Extraction and Its Parallel Implementation. IEEE. 1999.
6. Wenjing Jia, Huaifeng Zhang and Xiangjian He. Mean Shift for Accurate Number Plate Detection. Proceedings of the Third International Conference on Information Technology and Applications (ICITA’05).
7. А. Л. Горелик, В. А. Скрипкин Методы распознавания. – М.: Высш. шк, 2004. – 261 с.
8. ATAPY ANPR SDK [Электронный ресурс]. – Режим доступа: http://www.atapy.com/Products/AutomaticNumberPlateRecognitionANPRSDK.aspx
9. ABBYY Software House [Электронный ресурс]. – Режим доступа: http://www.abbyy.com
10. АВТОМАРШАЛ [Электронный ресурс]. – Режим доступа: http://avtomarshal.ru
11. CarGo Enterprise [Электронный ресурс]. – Режим доступа: http://intteks.com.ua/component/content/article?id=552
12. О. В. Животченко Разработка компьютерной системы обработки изображений с камер видеонаблюдения для определения номерного знака транспортного средства. – Портал магистров ДонНТУ [Электронный ресурс]. – Режим доступа: http://masters.donntu.ru/2012/fknt/zhivotchenko/diss/index.htm
13. И. С. Личканенко Исследование методов и поиск эффективного алгоритма для задачи распознавания номерных знаков транспортных средств. – Портал магистров ДонНТУ [Электронный ресурс]. – Режим доступа: http://masters.donntu.ru/2013/fknt/lichkanenko/diss/index.htm
14. А. В. Фёдоров Исследование методов контурной сегментации для построения системы оптического распознавания символов. – Портал магистров ДонНТУ [Электронный ресурс]. – Режим доступа: http://masters.donntu.ru/2010/fknt/fedorov/diss/index.htm
15. Р. Гонсалес Цифровая обработка изображений / Р. Гонсалес, Р. Вудс – М.: Техносфера, 2006 – 1072 с.
16. К. В. Мурыгин Нормализация изображения автомобильного номера и сегментация символов для последующего распознавания / К.В. Мурыгин – Штучний інтелект 3, 2010 – 6 с.
17. Ch.Jaya Lakshmi, Dr.A.Jhansi Rani, Dr.K.Sri Ramakrishna, M.KantiKiran, A Novel Approach for Indian License Plate Recognition System, International Journal Of Advanced Engineering Sciences And Technologies Vol No. 6, Issue No. 1 – с. 10-14.