ДонНТУ   Портал магистров

Реферат по теме выпускной работы

Содержание

Введение

Искусственные нейронные сети в настоящее время становятся эффективным инструментом для решения сложных задач распознавания образов, управления, прогнозирования и т. п. Среди множества различных нейросетевых архитектур сейчас большие надежды возлагают на многослойную нейросеть типа неокогнитрон. В основу архитектуры неокогнитрона положена организация зрительной системы человека. Первая модель неокогнитрона была разработана в 1980 г. японским учёным К.Фукушимой [1] специально для решения задач распознавания образов, подверженных различным искажениям. Эта модель являлась последующим развитием нейросети когнитрон [2].

Архитектура нейросети типа неокогнитрон значительно сложнее, чем архитектура традиционной нейросети обратного распространения ошибки. Поэтому модель неокогнитрона требует всесторонней настройки на конкретную задачу. Качество нейросетевого решения задачи распознавания во многом зависит от понимания принципов функционирования многопараметрической архитектуры неокогнитрона. Примеры решения задач распознавания образов и исследование влияния архитектурных особенностей неокогнитрона на качество распознавания рассмотрены в работах [3, 4, 5]. К нерешённым вопросам можно отнести отсутствие точной формулировки и решения задачи оптимизации многочисленных параметров неокогнитрона, адекватных природе распознаваемых графических и зрительных образов.

Как известно, эффективным способом познания сложных процессов является моделирование. В нашем случае необходимо построить такую программную модель неокогнитрона, которая позволит исследовать влияние многочисленных его параметров на качество распознавания. Поэтому цель статьи – разработка программного эмулятора многослойной нейронной сети с архитектурой неокогнитрона.

1. Актуальность темы

Задача компьютерного распознавания лиц человека имеет большую практическую значимость, т.к. используется в реальных системах автоматического контроля и безопасности. В теоретическом плане, предложенные методы распознавания не обеспечивают требуемого качества. Большие перспективы в улучшении качества распознавания связывают с использованием нейронных сетей (в частности неокогнитрона), которые недостаточно исследованы и опробированны.

2. Цель и задачи исследования, планируемые результаты

Целью работы является разработка системы нейросетевого распознавания человека по изображениям лица с видеокамеры.

Основные задачи исследования:

  1. Анализ существующих нейросетевых моделей распознавания образов.
  2. Разработка алгоритмов обучения и распознавания на базе нейросети типа "Нейрокогнитрон".
  3. Определение архитектуры неокогнитрона, ориентированной на распознавания изображения лиц человека.
  4. Разработка программной модели нейросетевого распознавателя.
  5. Оценка эффективности нейросетевого распознавания изображения лиц, поступающих с видеокамеры в реальном времени.

В рамках магистерской работы планируется получение актуальных научных результатов по следующим направлениям:

  1. Параметрическая модель многослойной нейросети типа неокогнитрон.
  2. Структурная модель нейрокогнитрона.
  3. Программная модель неокогнитрона в объектно-ориентированном представлении.
  4. Оценка качества нейросетевого распознавания лиц человека.
  5. Соединяющие блоки ввода изображения с видеокамеры, выделения и распознавания лиц.
  6. Анализ эффективности процесса распознавания лиц в реальном времени.

3. Обзор исследований и разработок

Тема распознавания лиц является актуальной во всем мире, поэтому этой темой занимаются различные ученые по всему миру. Одним из многообещающих подходов по распознаванию лиц является использование многослойных нейросетей. Неокогнитрон является одной из самых перспективных многослойных нейронных сетей. Большое число научных статей по этой нейросети опубликовано в Японии, но также существуют публикации и в других странах.

3.1 Обзор международных источников

Неокогнитрон разработан японским ученым К. Фукушимой [6] и далее совершенствуется им же и его коллегами [1, 7-18]. Чаще всего неокогнитрон применяют для распознавания рукописного текста [8, 10, 13, 16], но также есть и попытки использовать его для распознавания автомобильных номеров [20]. Есть реализации параллельные системы распознавания лиц с помощью неокогнитрона [21].

В статье [20] предлагается дальнейшая разработка улучшенной версии алгоритма неокогнитрона, предложенного Фукушимой, а именно: регулировка размерности слоя, пороговая функция и подключение гауссового ожидания. Приведены сравнения с другими методами распознавания символов основанных на нейросети типа неокогнитрон. Предложенная модифицированная версия неокогнитрона применена в задаче распознавания символов на автомобильных номерах.

Статья [21] примечательна тем, что в ней реализован алгоритм неокогнитрона для распозавания лиц на базе высокопроизводительной архитектуры графических процессоров с использованием технологии CUDA.

3.2 Обзор национальных источников

В Украине проблемами распознавания образов занимаются во многих университетах: в Харьковском национальном университете радиоэлектроники [22, 23, 24], Национальном техническом университете ХПИ [25], Харьковском университете воздушных сил [26], Винницком национальном техническом университете [27], а также в Черниговском государственном технологическом университете [28] и др.

3.3 Обзор локальных источников

В Донецком национальном техническом университете проблемами распознавания образов занимаются на Кафедре прикладной математики и информатики. В частности нейросетевыми подходами к решению данной проблемы занимается доцент Федяев О.И. [29-34]. Распределенные системы распознавания лиц рассматриваются в статьях доцента Ладыженского Ю.В. [35, 36].

4. Модель нейронной сети типа неокогнитрон

Неокогнитрон является иерархической нейронной сетью, состоящей из достаточно большого числа идущих друг за другом слоёв и имеющих неполные (можно сказать достаточно редкие) связи между слоями. На рис.1 представлена упрощенная структура неокогнитрона. На нём изображены три модуля нейросети, в каждом из которых имеются два типа слоёв: простые (S-слои, от слова simple) и комплексные (C-слои, от слова complex), которые состоят соответственно из простых плоскостей (распознают входную информацию) и комплексных плоскостей (обобщают распознанную информацию). С целью простоты рисунка на нём не показаны плоскости с тормозящими нейронами.

Из приведенной структуры видно, что размер первого слоя совпадает с размером входного образа (U0) и к последнему слою размеры плоскостей уменьшаются. В последнем слое в каждой плоскости находится только по одному нейрону.

Рисунок 1 – Структура многослойной нейросети типа неокогнитрон

Для вычисления выходных сигналов нейронов S-плоскости используется следующая формула:

В этой формуле учитываются выходные сигналы тормозящей плоскости , которые вычисляются по следующей формуле:

На теоретико-множественном уровне параметрическую модель многослойного неокогнитрона NC (NeoCognitron) можно представить в виде кортежа:

где L – количество модулей в неокогнитроне; l – номер модуля, 1≤ l ≤L; – количество плоскостей в одном слое (S или C) l-го модуля; Х, Y – соответственно входы (выходы) неокогнитрона для приёма (снятия) входных (выходных) сигналов; – весовой коэффициент связи m-го входа (ij) нейрона р-й плоскости S-го слоя модуля l с выходом ν-го нейрона ( – координаты нейрона в области связи); – область связи на p-й плоскости С слоя (l-1)-го модуля; – весовой коэффициент связи n-го входа (ij) нейрона р-й плоскости слоя С модуля l с выходом ν-го нейрона из его рецептивной области (); – область связи для (ij) нейрона, расположенная на р-й плоскости S-го слоя модуля l.

В слоях S и C каждого модуля неокогнитрона имеются тормозящие нейроны, которые в кортеже описываются параметрами , . Это постоянные коэффициенты тормозящего входа для всех нейронов соответственно слоёв S и С модуля l. Функции активации базовых нейронов обозначены как и , а функции активации тормозящих нейронов – и .

Параметрическая модель и многослойная структура неокогнитрона с последовательными связями позволяет в явном виде получить функциональную зависимость выходных сигналов Y нейросети от её входных сигналов Х:

Для обучения данной нейросети используется стратегия обучения без учителя. Для этого используется сложная схема выбора представителя – нейрона, показавшего наибольший выходной сигнал. Эта схема подробно описана в статье [1] в разделе 4.2.

В результате обучения весовые коэффициенты настраиваются таким образом, чтобы выделять характерные признаки входного образа. Процесс распознавания можно продемонстрировать на примере распознавания простейших графических примитивов (вертикаль, горизонталь, диагональ).

Рисунок 2 – Процесс распознавания входных образов
(анимация: 15 кадров, 7 циклов повторения, 120 килобайт)

На рисунке 2 представлена упрощенная модель неокогнитрона: – входной слой, – плоскость с тормозящими нейронами, – S-слой, состоящий из плоскостей S-нейронов, – C-слой, состоящий из плоскостей C-нейронов. На вход нейросети поочередно подаются образы, на которые реагируют разные плоскости нейронов.

Выводы

В ходе проведенных исследований выявлено, что для эффективного обучения и распознавания неокогнитрон требует точной настройки параметров нейросети. Необходимо проводить тщательный анализ для конкретной задачи, чтобы определить оптимальные значения таких параметров как: количество модулей, размерность области связи нейронов, скорость обучения каждого слоя, а также количество плоскостей в модулях.

В рамках проведенных исследований выполнено:

  1. Разработана параметрическая модель нейросети типа неокогнитрон
  2. Построена структурная модель неокогнитрона
  3. Разработана программная модель неокогнитрона

Дальнейшие исследования направлены на следующие аспекты:

  1. Оценка качества нейросетевого распознавания лиц человека
  2. Соединяющие блоки ввода изображения с видеокамеры, выделения и распознавания лиц
  3. Анализ эффективности процесса распознавания лиц в реальном времени

При написании данного реферата магистерская работа еще не завершена. Окончательное завершение: декабрь 2013 года. Полный текст работы и материалы по теме могут быть получены у автора или его руководителя после указанной даты.

Список источников

  1. Fukushima K., Miyake S. Neocognitron: a new algorithm for pattern recognition tolerant of deformations and shifts in position – Pattern Recognition Vol. 15, No 6, 1982. – pp. 455-469
  2. Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика. – М.: Мир, 1992
  3. Руденко О.Г., Бодянский Е.В. Основы теории искусственных нейронных сетей. Уч. пособие. – Харьков: ТЕЛЕТЕХ , 2002. – 317 с.
  4. Федяев О.И. Куликов С.А. Применение многоуровневых нейронных сетей типа неокогнитрон для распознавания символов // Сб. тр. междунар. науч. конф. «Нейросетевые технологии и их применение». – Краматорск: ДГМА, 2003. – С. 247-256
  5. Федяев О.И., Махно Ю.С. Распознавание графических образов при наличии искажений с помощью неокогнитронных нейросетей // Тр. 8-й междунар. науч. конф. «Интеллектуальный анализ информации ИАИ-2008». – К.: Просвіта, 2008. – С. 512-521
  6. Fukushima K. Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position – Biol. Cybernetics 36, 1982. – pp. 193-202
  7. Fukushima K. Neocognitron: A Hierarchical Neural Network Capable of Visual Pattern Recognition [Электронный ресурс]. Режим доступа: http://hebb.mit.edu/courses/9.641/2006/readings/Fukushima88.pdf
  8. Fukushima K., Wake N. Handwritten alphanumeric Character Recognition by the Neocognitron – IEEE Transactions on neural networks, Vol. 2, No 3, 1991. – pp. 355-365
  9. Fukushima K. and Wake N. Improved Neocognitron with Bend-Detection Cells – IEEE International Joint Conference on Neural Networks, Baltimore, Maryland, 1992
  10. Fukushima K. Imagawa T. Recognition and Segmentation of Connected Characters With Selective Attention – Neural Networks, Vol. 6, 1993. – pp. 33-41
  11. Fukushima K., Okada M., Hiroshige K. Neocognitron With Dual C-Cell Layers – Neural Networks, Vol. 7, No 1, 1994. – pp. 41-47
  12. Fukushima K., Tanigawa M. Use of different thresholds in learning and recognition – Neurocomputing, Vol. 11, 1996. – pp. 1-17
  13. Fukushima K., Nagahara K., Shouno H. Training neocognitron to recognize handwritten digits in the real world – IEEE Computer Society Press, Silver Spring, MD, 1997. – pp. 292–298
  14. Fukushima K., Kimura E. and Shouno H. Neocognitron with Improved Bend-Extractors: Recognition of Handwritten Digits in the Real World – Neural Comput & Applic, 1998. – pp. 260-272
  15. Fukushima K. Self-organization of shift-invariant receptive fields – Neural Networks, Vol. 12., 1999. – pp. 791–801
  16. Fukushima K. Neocognitron for handwritten digit recognition – Neurocomputing, Vol. 51, 2003. – pp. 161–180
  17. Fukushima K. Neocognitron capable of incremental learning – Neural Networks, Vol. 17, 2004. – pp. 37–46
  18. Fukushima K. Interpolating vectors for robust pattern recognition – Neural Networks, Vol. 20, 2007. – pp. 904–916
  19. Fukushima K. Increasing robustness against background noise: Visual pattern recognition by a neocognitron – Neural Networks, Vol. 24, 2011. – pp. 767-778
  20. Kangin D., Kolev G., Vikhoreva A. Further Parameters Estimation of Neocognitron Neural Network Modification with FFT Convolution – ISSN: 2180-1843, Vol. 4, No. 2, July – December 2012
  21. Gustavo Poli, José Hiroki Saito, João F. Mari, Marcelo R. Zorzan Processing Neocognitron of Face Recognition on High Performance Environment Based on GPU with CUDA Architecture – 20th International Symposium on Computer Architecture and High Performance Computing, 2008. – pp. 81-88
  22. Замула А.А., Косиковская Н.И., Землянко Ю.В. Биометрическая аутентификация по изображению лица на основе скрытых марковских моделей – Информационно-управляющие системы на железнодорожном транспорте, 2013. – С. 28-31
  23. Вечур А.В., Васильев А.Г. Реализация программной модели распознавания образа человека – Восточно-Европейский журнал передовых технологий // Научный журнал. – Харьков: Технологический центр, 2010. – №4/2 (46). – С. 64-66
  24. Путятин Е.П., Оробинский П.А. Построение 12-факторной модели человеческого лица – Бионика интеллекта, № 1 (72), 2010. – С. 12–17
  25. Ивашко А.В., Потапенко А.И. Алгоритмы выделения объектов на изображении – Вестник национального технического университета ХПИ // Сборник научных трудов, Тематический выпуск 57, 2011
  26. Берковский В.В., Свиридов А.А. Нейротехнологии как метод решения задачи распознавания образов – Сборник научных трудов Харьковского университета Воздушных Сил. – Харьков: ХУПС, 2012. – №1(30). – C. 93-95
  27. Квєтний Р.Н., Поремський Ю.В., Кулик О.А., Перегончук Р.О. Аналіз інформаційних технологій ідентифікації людських облич – Інформаційні технології та комп'ютерна інженерія, № 2, 2011. – C. 27-32
  28. Никитенко Е.В., Силиченко А.И. Структура системы идентификации человека по изображению лица – Вісник Чернігівського державного технологічного університету Технічні науки, №3(51), 2011 р.
  29. Костецкая Г.Ю., Федяев О.И. Распознавание изображений человеческих лиц с помощью свёрточной нейронной сети – Інформаційні управляючі системи та комп’ютерний моніторинг – Донецьк, ДонНТУ, 2010. – C. 216-218
  30. Сова А.А., Федяев О.И. Исследование моделей S- и С нейронов неокогнитрона при обучении и распознавании образов – VII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецк, ДонНТУ, 2011. – С. 164-168
  31. Умяров Н.Х., Костецкая, Г.Ю., Федяев О.И. Исследование алгоритма обучения сверточной нейронной сети в системе распознавания человеческих лиц – VIII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецк, ДонНТУ, 2012. – С. 300-305
  32. Сова А.А., Федяев О.И. Математическая модель распознавания и обучения неокогнитрона – Інформаційні управляючі системи та комп’ютерний моніторинг – Донецьк, ДонНТУ, 2011
  33. Костецкая Г.Ю., Федяев О.И. Кодирование изображений человеческих лиц с помощью самоорганизующейся карты Кохонена – V международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецьк, ДонНТУ, 2009. – С. 265-268
  34. Умяров Н.Х., Федяев О.И. Выделение лица на снимке из видеопотока с целью его распознавания – VII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецьк, ДонНТУ, 2011. – С. 173-177
  35. Колесник А.В., Ладыженский Ю.В. Распределенная программная система распознавания лиц – VI международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецьк, ДонНТУ, 2010. – С. 248-251
  36. Ларин Б.И., Ладыженский Ю.В. Распределенная программная система для распознавания лиц – VII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии – Донецьк, ДонНТУ, 2011. – С. 146-149