ДонНТУ   Портал магістрів

Реферат за темою випускної роботи

Зміст

Вступ

1. Актуальність теми

Штучні нейронні мережі в даний час стають ефективним інструментом для вирішення складних задач розпізнавання образів, управління, прогнозування і т. п. Серед безлічі різних нейромережевих архітектур зараз великі надії покладають на багатошарову нейромережу типу неокогнітрон. В основу архітектури неокогнітрону покладена організація зорової системи людини. Перша модель неокогнітрону була розроблена в 1980 р. японським ученим К.Фукушімою [1] спеціально для вирішення задач розпізнавання образів, що схильні до деформації. Ця модель набула подальшого розвитку в нейромережі когнітрон [2].

Архітектура нейромережі типу неокогнітрон значно складніша, ніж архітектура традиційної нейромережі зворотного поширення помилки. Тому модель неокогнітрону потребує всебічного налаштування на конкретну задачу. Якість нейромережного рішення завдання розпізнавання багато в чому залежить від розуміння принципів функціонування багатопараметричної архітектури неокогнітрону. Приклади розв'язання задач розпізнавання образів і дослідження впливу архітектурних особливостей неокогнітрону на якість розпізнавання розглянуті в роботах [3, 4, 5]. До невирішених питань можна віднести відсутність точного формулювання і рішення задачі оптимізації численних параметрів неокогнітрону, що є адекватними природі графічних і зорових образів, що роспізнаються.

Як відомо, ефективним способом пізнання складних процесів є моделювання. У нашому випадку необхідно побудувати таку програмну модель неокогнітрону, яка дозволить дослідити вплив численних його параметрів на якість розпізнавання. Тому мета статті – розробка програмного емулятора багатошарової нейронної мережі з архітектурою неокогнітрону.

2. Мета і задачі дослідження та заплановані результати

Метою роботи є розробка системи нейромережного розпізнавання людини по зображеннях особи з відеокамери.

  1. Аналіз існуючих нейромережевих моделей розпізнавання образів.
  2. Розробка алгоритмів навчання і розпізнавання на базі нейромережі типу Нейрокогнітрон.
  3. Визначення архітектури неокогнітрону, орієнтованої на розпізнавання зображення лиця людини.
  4. Розробка програмної моделі нейромережного розпізнавателя.
  5. Оцінка ефективності нейромережевого розпізнавання зображення лиця, що надходять з відеокамери в реальному часі.

У рамках магістерської роботи планується отримання актуальних наукових результатів за наступними напрямками:

  1. Параметрична модель багатошарової нейромережі типу неокогнітрон.
  2. Структурна модель нейрокогнітрона.
  3. Програмна модель неокогнітрону в об'єктно-орієнтованому поданні.
  4. Оцінка якості нейромережевого розпізнавання лиця людини.
  5. З'єднуючі блоки введення зображення з відеокамери, виділення і розпізнавання лиця.
  6. Аналіз ефективності процесу розпізнавання лиця людини в реальному часі.

3. Огляд досліджень та розробок

Тема розпізнавання осіб є актуальною в усьому світі, тому цією темою займаються різні вчені з усього світу. Одним з багатообіцяючих підходів по розпізнаванню осіб є використання багатошарових нейромереж. Неокогнітрон є однією з найперспективніших багатошарових нейронних мереж. Велика кількість наукових статей стосовно цієї нейромережі опубліковано в Японії, але також існують публікації і в інших країнах.

3.1 Огляд міжнародних джерел

Неокогнітрон розроблений японським ученим К. Фукушімою [6] і далі вдосконалюється ним же і його колегами [1, 7, 18]. Найчастіше неокогнітрон застосовують для розпізнавання рукописного тексту [8, 10, 13, 16], але також є і спроби використовувати його для розпізнавання автомобільних номерів [20]. Є реалізації паралельних системи розпізнавання осіб за допомогою неокогнітрону [21].

У статті [20] пропонується подальша розробка поліпшеної версії алгоритму неокогнітрону, запропонованого Фукушімою, а саме: регулювання розмірності шару, порогова функція і підключення гаусового очікування. Наведено порівняння з іншими методами розпізнавання символів, заснованих на нейромережі типу неокогнітрон. Запропонована модифікована версія неокогнітрону застосована в задачі розпізнавання символів на автомобільних номерах.

Стаття [21] примітна тим, що в ній реалізований алгоритм неокогнітрону для распозаванія осіб на базі високопродуктивної архітектури графічних процесорів з використанням технології CUDA.

3.2 Огляд національних джерел

В Україні проблемами розпізнавання образів займаються в багатьох університетах: у Харківському національному університеті радіоелектроніки [22, 23, 24], Національному технічному університеті ХПІ [25], Харківському університеті повітряних сил [26], Вінницькому національному технічному університеті [27], а також у Чернігівському державному технологічному університеті [28] та інших.

3.3 Огляд локальних джерел

У Донецькому національному технічному університеті проблемами розпізнавання образів займаються на Кафедрі прикладної математики та інформатики. Зокрема нейромережевими підходами до вирішення даної проблеми займається доцент Федяєв О.І. [29, 34]. Розподілені системи розпізнавання осіб розглядаються в статтях доцента Ладиженського Ю.В. [35, 36].

4. Модель нейронної мережі типу неокогнітрон

Неокогнітрон є ієрархічною нейронною мережею, що складається з досить великої кількості шарів, що йдуть один за одним і мають неповні (можна сказати досить рідкісні) зв'язки між шарами. На мал. 1 представлена ​​спрощена структура неокогнітрону. На ньому зображені три модулі нейромережі, в кожному з яких є два типи шарів: прості (S-шари, від слова simple) і комплексні (C-шари, від слова complex), які складаються відповідно з простих площин (розпізнають вхідну інформацію) і комплексних матриць (узагальнюють розпізнану інформацію). З метою простоти малюнка на ньому не показані площині з гальмівними нейронами.

З наведеної структури видно, що розмір першого шару збігається з розміром вхідного образу (U0) і до останнього шару розміри площин зменшуються. В останньому шарі в кожній площині знаходиться тільки по одному нейрону.

Малюнок 1 – Структура багатошарової нейромережі типу неокогнітрон

Для обчислення вихідних сигналів нейронів S-площині використовується наступна формула:

У цій формулі враховуються вихідні сигнали гальмівної площині , які обчислюються за такою формулою:

На теоретико-множинному рівні параметричну модель багатошарового неокогнітрону NC (NeoCognitron) можна представити у вигляді кортежу:

де L – кількість модулів у неокогнітроні; l – номер модуля, 1≤ l ≤L; – кількість площин в одному шарі (S або C) l-го модуля; Х, Y – відповідно входи (виходи) неокогнітрону для прийому (зняття) вхідних (вихідних) сигналів; – ваговий коефіцієнт зв'язку m-го входу (ij) нейрона р-й площині S-го шару модуля l з виходом ν-го нейрона ( – координати нейрона в області зв'язку); – область зв'язку на p-й площині С шару (l-1)-го модуля; – ваговий коефіцієнт зв'язку n-го входу (ij) нейрона р-й площині шару С модуля l з виходом ν-го нейрона з його рецептивної області (); – область зв'язку для (ij) нейрона, розташована на р-й площині S-го шару модуля l.

У шарах S і C кожного модуля неокогнітрону знаходяться гальмівні нейрони, які в кортежі описуються параметрами , . Це постійні коефіцієнти гальмуючого входу для всіх нейронів відповідно шарів S і С модуля l. Функції активації базових нейронів позначені як і , а функції активації гальмівних нейронів – і .

Параметрична модель і багатошарова структура неокогнітрону з послідовними зв'язками дозволяє в явному вигляді отримати функціональну залежність вихідних сигналів Y нейромережі від її вхідних сигналів Х:

Для навчання даної нейромережі використовується стратегія навчання без вчителя. Для цього використовується складна схема вибору представника – нейрона, який показав найбільший вихідний сигнал. Ця схема докладно описана в статті [1] у розділі 4.2.

У результаті навчання вагові коефіцієнти налаштовуються таким чином, щоб виділяти характерні ознаки вхідного образу. Процес розпізнавання можна продемонструвати на прикладі розпізнавання найпростіших графічних примітивів (вертикаль, горизонталь, діагональ).

Малюнок 2 – Процес розпізнавання вхідних образів
(анімація: 15 кадрів, 7 циклів повторення, 120 кілобайт)

На малюнку 2 представлена ​​спрощена модель неокогнітрону: – вхідний шар, – площина з гальмівними нейронами, – S-шар, що складається з площин S-нейронів, – C-шар, що складається з площин C-нейронів. На вхід нейромережі по черзі подаються образи, на які реагують різні площини нейронів.

Висновки

У ході проведених досліджень виявлено, що для ефективного навчання та розпізнавання неокогнітрон вимагає точного налаштування параметрів нейромережі. Необхідно проводити ретельний аналіз для конкретного завдання, щоб визначити оптимальні значення таких параметрів як: кількість модулів, розмірність галузі зв'язку нейронів, швидкість навчання кожного шару, а також кількість площин в модулях.

У рамках проведених досліджень виконано:

  1. Розроблено параметрична модель нейромережі типу неокогнітрон
  2. Побудовано структурну модель неокогнітрону
  3. Розроблена програмна модель неокогнітрону

Подальші дослідження спрямовані на наступні аспекти:

  1. Оцінка якості нейромережевого розпізнавання осіб людини
  2. З'єднуючі блоки введення зображення з відеокамери, виділення і розпізнавання осіб
  3. Аналіз ефективності процесу розпізнавання осіб в реальному часі

При написанні даного реферату магістерська робота ще не завершена. Остаточне завершення: грудень 2013 року. Повний текст роботи та матеріали по темі можуть бути отримані у автора або його керівника після зазначеної дати.

Перелік посилань

  1. Fukushima K., Miyake S. Neocognitron: a new algorithm for pattern recognition tolerant of deformations and shifts in position – Pattern Recognition Vol. 15, No 6, 1982. – pp. 455-469
  2. Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика. – М.: Мир, 1992
  3. Руденко О.Г., Бодянский Е.В. Основы теории искусственных нейронных сетей. Уч. пособие. – Харьков: ТЕЛЕТЕХ , 2002. – 317 с.
  4. Федяев О.И. Куликов С.А. Применение многоуровневых нейронных сетей типа неокогнитрон для распознавания символов // Сб. тр. междунар. науч. конф. Нейросетевые технологии и их применение. – Краматорск: ДГМА, 2003. – С. 247-256
  5. Федяев О.И., Махно Ю.С. Распознавание графических образов при наличии искажений с помощью неокогнитронных нейросетей // Тр. 8-й междунар. науч. конф. Интеллектуальный анализ информации ИАИ-2008. – К.: Просвіта, 2008. – С. 512-521
  6. Fukushima K. Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position – Biol. Cybernetics 36, 1982. – pp. 193-202
  7. Fukushima K. Neocognitron: A Hierarchical Neural Network Capable of Visual Pattern Recognition [Электронный ресурс]. Режим доступа: http://hebb.mit.edu/courses/9.641/2006/readings/Fukushima88.pdf
  8. Fukushima K., Wake N. Handwritten alphanumeric Character Recognition by the Neocognitron – IEEE Transactions on neural networks, Vol. 2, No 3, 1991. – pp. 355-365
  9. Fukushima K. and Wake N. Improved Neocognitron with Bend-Detection Cells – IEEE International Joint Conference on Neural Networks, Baltimore, Maryland, 1992
  10. Fukushima K. Imagawa T. Recognition and Segmentation of Connected Characters With Selective Attention – Neural Networks, Vol. 6, 1993. – pp. 33-41
  11. Fukushima K., Okada M., Hiroshige K. Neocognitron With Dual C-Cell Layers – Neural Networks, Vol. 7, No 1, 1994. – pp. 41-47
  12. Fukushima K., Tanigawa M. Use of different thresholds in learning and recognition – Neurocomputing, Vol. 11, 1996. – pp. 1-17
  13. Fukushima K., Nagahara K., Shouno H. Training neocognitron to recognize handwritten digits in the real world – IEEE Computer Society Press, Silver Spring, MD, 1997. – pp. 292–298
  14. Fukushima K., Kimura E. and Shouno H. Neocognitron with Improved Bend-Extractors: Recognition of Handwritten Digits in the Real World – Neural Comput & Applic, 1998. – pp. 260-272
  15. Fukushima K. Self-organization of shift-invariant receptive fields – Neural Networks, Vol. 12., 1999. – pp. 791–801
  16. Fukushima K. Neocognitron for handwritten digit recognition – Neurocomputing, Vol. 51, 2003. – pp. 161–180
  17. Fukushima K. Neocognitron capable of incremental learning – Neural Networks, Vol. 17, 2004. – pp. 37–46
  18. Fukushima K. Interpolating vectors for robust pattern recognition – Neural Networks, Vol. 20, 2007. – pp. 904–916
  19. Fukushima K. Increasing robustness against background noise: Visual pattern recognition by a neocognitron – Neural Networks, Vol. 24, 2011. – pp. 767-778
  20. Kangin D., Kolev G., Vikhoreva A. Further Parameters Estimation of Neocognitron Neural Network Modification with FFT Convolution – ISSN: 2180-1843, Vol. 4, No. 2, July – December 2012
  21. Gustavo Poli, José Hiroki Saito, João F. Mari, Marcelo R. Zorzan Processing Neocognitron of Face Recognition on High Performance Environment Based on GPU with CUDA Architecture – 20th International Symposium on Computer Architecture and High Performance Computing, 2008. – pp. 81-88
  22. Замула А.А., Косиковская Н.И., Землянко Ю.В. Биометрическая аутентификация по изображению лица на основе скрытых марковских моделей – Информационно-управляющие системы на железнодорожном транспорте, 2013. – С. 28-31
  23. Вечур А.В., Васильев А.Г. Реализация программной модели распознавания образа человека – Восточно-Европейский журнал передовых технологий // Научный журнал. – Харьков: Технологический центр, 2010. – №4/2 (46). – С. 64-66
  24. Путятин Е.П., Оробинский П.А. Построение 12-факторной модели человеческого лица – Бионика интеллекта, № 1 (72), 2010. – С. 12–17
  25. Ивашко А.В., Потапенко А.И. Алгоритмы выделения объектов на изображении – Вестник национального технического университета ХПИ // Сборник научных трудов, Тематический выпуск 57, 2011
  26. Берковский В.В., Свиридов А.А. Нейротехнологии как метод решения задачи распознавания образов – Сборник научных трудов Харьковского университета Воздушных Сил. – Харьков: ХУПС, 2012. – №1(30). – C. 93-95
  27. Квєтний Р.Н., Поремський Ю.В., Кулик О.А., Перегончук Р.О. Аналіз інформаційних технологій ідентифікації людських облич – Інформаційні технології та комп'ютерна інженерія, № 2, 2011. – C. 27-32
  28. Никитенко Е.В., Силиченко А.И. Структура системы идентификации человека по изображению лица – Вісник Чернігівського державного технологічного університету Технічні науки, №3(51), 2011 р.
  29. Костецкая Г.Ю., Федяев О.И. Распознавание изображений человеческих лиц с помощью свёрточной нейронной сети – Інформаційні управляючі системи та комп’ютерний моніторинг – Донецьк, ДонНТУ, 2010. – C. 216-218
  30. Сова А.А., Федяев О.И. Исследование моделей S- и С нейронов неокогнитрона при обучении и распознавании образов – VII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецк, ДонНТУ, 2011. – С. 164-168
  31. Умяров Н.Х., Костецкая, Г.Ю., Федяев О.И. Исследование алгоритма обучения сверточной нейронной сети в системе распознавания человеческих лиц – VIII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецк, ДонНТУ, 2012. – С. 300-305
  32. Сова А.А., Федяев О.И. Математическая модель распознавания и обучения неокогнитрона – Інформаційні управляючі системи та комп’ютерний моніторинг – Донецьк, ДонНТУ, 2011
  33. Костецкая Г.Ю., Федяев О.И. Кодирование изображений человеческих лиц с помощью самоорганизующейся карты Кохонена – V международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецьк, ДонНТУ, 2009. – С. 265-268
  34. Умяров Н.Х., Федяев О.И. Выделение лица на снимке из видеопотока с целью его распознавания – VII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецьк, ДонНТУ, 2011. – С. 173-177
  35. Колесник А.В., Ладыженский Ю.В. Распределенная программная система распознавания лиц – VI международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецьк, ДонНТУ, 2010. – С. 248-251
  36. Ларин Б.И., Ладыженский Ю.В. Распределенная программная система для распознавания лиц – VII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецьк, ДонНТУ, 2011. – С. 146-149