Реферат по теме выпускной работы

Содержание

Введение

На сегодняшний день распознавание образов является не только актуальной задачей, но и не имеющей однозначного решения или точно определенного направления, в котором должны двигаться исследователи. Одной из основных подзадач при этом, является распознавание людей по изображениям их лиц. Сложность такой задачи сложно недооценить, поскольку лица людей уникальны и не имеют ярко выраженных признаков, которые бы позволяли точно идентифицировать конкретного человека. Кроме того, существующие алгоритмы решения данной задачи, если и позволяют с хорошей вероятностью определять человека, то в строго ограниченных условиях (фото должно быть сделано при хорошем освещении и не иметь шума или других визуальных дефектов).

1. Актуальность темы

Распознавание образов, а так же сопутствующие задачи, всегда имели большую актуальность. Алгоритмы, имеющие хорошие способности в распознавании (приближенные к уровню человека) позволят упростить и автоматизировать большое количество задач, не только гражданских, но и военных (с точки зрения обеспечения безопасности). Поэтому исследования в данной области продолжаются и сегодня.

Хотя задачи подобного рода и не имеют общего решения, одним из перспективных направлений, в котором движутся исследования, является применение искусственных нейронных сетей (возможно в составе нейрокомпьютеров). Сегодня существует множество способов распознавания образов при помощи нейронных сетей, однако не все из них обеспечивают устойчивость по отношению к искаженным образам (например: зашумление, масштабирование, поворот). В основном, данная проблема решается модификацией способов обучения или совершенствованием структуры нейронной сети с введением ограничений на вид распознаваемых образов. При распознавании лиц проблема усиливается в разы и анализ существующих решений показывает, что модели нейросети, которая была бы в равной степени устойчива ко всем видам искажений, просто не существует.

Для зашумленных и смещенных образов существуют хорошие решения на основе сетей с обратным распространением ошибки. Нейросети типа неокогнитрон в перспективе могут позволить решить проблему и с точки зрения самого сложного вида искажений — поворота. Уже предложены модификации, которые позволяют с хорошим уровнем достоверности распознавать лица, повёрнутые на изображении. Неокогнитрон предлагает качественно новую архитектуру сети, в основу которой заложены принципы зрительной системы человека.

2. Цели и задачи исследования, планируемые результаты

Целью данной работы является разработка системы распознавания людей по изображению их лиц на снимке, при помощи нейросетевого подхода, с использованием архитектуры нейронной сети типа неокогнитрон.

Основные задачи исследования:

• изучение и анализ современных подходов к распознаванию лиц людей нейросетевыми методами;
• разработка программной объектно-ориентированной модели нейронной сети типа неокогнитрон;
• проектирование архитектуры (структуры) нейронной сети, в соответствии с решаемой задачей;
• тестирование и оценка эффективности сети типа неокогнитрон при распознавании людей по изображению их лиц.

3. Обзор исследований и разработок

Распознавание лиц, на текущий момент, является актуальным направлением для исследований во всём мире. Кроме прочих подходов, многослойные нейронные сети, в частности типа неокогнитрон, является перспективными для применения. Большая часть исследований, посвященных неокогнитрону, проводится в Японии, однако результаты поиска показывают значительный рост интереса к данной архитектуре сети во многих странах.

3.1 Обзор международных источников

Структура нейросети типа неокогнитрон была разработана учёным из Японии К. Фукушимой [1], он и сегодня со своими коллегами продолжает его совершенствовать.

В целом, сеть получила широкое применение при распознавании текста (как рукописного, так и печатного, были эксперименты и с иероглифами) [2, 3, 4, 5], одним из возможных применений так же является распознавание номеров автомобилей [6]. Авторы статьи [6] предлагают улучшенную версию неокогнитрона, а именно: возможность регулировать размеры слоя, гауссово ожидание, а так же пороговая функция. Выполнено сравнение с другими подходами к распознаванию символов, основывающихся на нейронной сети типа неокогнитрон.

Существует реализация системы распознавания людей по изображениям их лиц с помощью сети данного типа [7], так же в статье описана реализация неокогнитрона на базе архитектуры графических процессоров (используется технология CUDA), что значительно увеличивает производительность, особенно на этапе обучения.

3.2 Обзор национальных и локальных источников

На кафедре прикладной математики и информатики, донецкого национального технического университета проблемами распознавания образов занимается доцент Федяев О.И. [8, 9], так же проблемой занимался доцент Ладыженский Ю.В. [10, 11]. Изучением проблемы распознавания образов занимаются и во многих университетах Украины [12, 13, 14] и России [15, 16].

4. Структура нейронной сети типа неокогнитрон

Основной задачей неокогнитрона является моделирование зрительной системы, по подобию человеческой. На вход сети подаются двумерные изображения (образы), которые обрабатываются сетью во внутренних слоях по аналогии с тем, как это происходит в зрительной коре живых существ.

Нейронная сеть такого типа состоит из последовательности слоёв, образующих иерархию (на рисунке 1 показана усовершенствованная профессором Фукушимой архитектура неокогнитрона со слоем выделения контраста).

Изначально, входной образ передаётся первому слою U₀, а далее поступает через плоскости следующих слоёв, пока не будет достигнут последний выходной слой. В последнем слое происходит конечная идентификация входного образа.

Слои неокогнитрона состоят из двух наборов плоскостей, при этом один из наборов содержит простые нейроны, а второй — комплексные. Плоскости с простыми нейронами U_S получают на выход результаты предыдущего слоя, выделяют ключевые признаки, а затем передают их в плоскости с комплексными нейронами U_C, которые минимизируют зависимость выделенных признаков от позиции.

Плоскости с простыми и комплексными нейронами образуют пары, таким образом, с каждой плоскостью простых нейронов связана только одна плоскость комплексных, которая и обрабатывает её выходные значения (рисунок 2). Каждую из плоскостей можно представить как двумерную матрицу нейронов.

Рассмотрим подробнее простые нейроны (S-нейроны). Каждый нейрон из простой плоскости должен реагировать на единственный образ. Необходимо отметить, что простые нейроны чувствительны только к определенной области входного образа, размер этой области (её называют рецептивной) может настраиваться. Таким образом, простой нейрон реагирует только тогда, когда распознаваемый им признак присутствует во входном образе, а так же если он присутствует в его рецептивной области. Для каждого уникального ключевого признака требуются дополнительные плоскости.

Возьмём в качестве примера вертикальную линию, для её распознавания понадобится одна плоскость, если мы захотим её повернуть, то потребуются дополнительные плоскости для поворота на определённый градус.

Для покрытия всего входного образа, у простых нейронов рецептивные области перекрывают друг друга.

Рассмотрим подробнее комплексные нейроны (С-нейроны). Основной их задачей является минимизация влияния смещения и других видов искажений на результат распознавания. Комплексный нейрон имеет собственную рецептивную область, которая распространяется на набор простых нейронов из соответствующей плоскости того же слоя. Если хотя бы один из простых нейронов в рецептивной области комплексного нейрона среагировал на образ, то комплексный нейрон тоже среагирует. Из этого следует, что такие нейроны реагируют на такие же ключевые признаки, что и простые нейроны, только менее чувствительны к позиции, в которой был обнаружен признак. Такая иерархия позволяет с каждым слоем уменьшать общую зависимость от смещения входного образа.

Начальные слои имеют менее абстрактное представление о входном образе, рассматривая конкретные ключевые признаки. С каждым последующим слоем нейронной сети, уровень абстракции растёт, и сеть реагирует уже на обобщения более простых ключевых признаков (рисунок 3). В конечном итоге, последний слой (в частности его плоскости комплексных нейронов, на каждой из которых он всего один) реагирует на свой образ, практически независимо от его позиции или искажений.

Так же, в рассматриваемой модели присутствует дополнительный слой извлечения контраста U_G, который содержит две плоскости нейронов, а именно: нейроны первой плоскости концентрируются на центрах своих рецептивных областей, а нейроны второй плоскости — наоборот. В конечном итоге, на выходе первой плоскости получается контраст по яркости, а на второй — его негатив. Выход данного слоя поступает на вход простым нейронам следующего слоя. Извлечение контраста позволяет ввести этап предварительной обработки входного изображения прямо в нейронную сеть и тем самым, уменьшить требования к входному сигналу.

5. Обучение неокогнитрона

Обучение неокогнитрона осуществляться без учителя, однако имеют место эксперименты по обучению с учителем, работы [17] и [1]. Алгоритм обучения, по принципу действия, не имеет больших отличий от процесса обучения нейронных сетей других типов. Основной целью процесса обучения является настройка весовых коэффициентов таким образом, чтобы сеть могла стабильно выделять признаки подаваемого на вход образа.

В процессе обучения сети последовательно передаётся распознаваемый образ, при этом происходит настройка весов для каждого из слоёв, начиная с близлежащих к U₀. Увеличение весов связей от простых плоскостей нейронов к комплексному узлу происходит только в том случае, когда он сам реагирует и реакция простого узла сильнее, чем у любого из его соседей внутри области конкуренции.

Критерием завершения процесса обучения, является стабильная реакция одного нейрона выходного слоя на подаваемый образ. Однако чаще всего, возбуждаются несколько нейронов с различной силой, в таком случае можно выбрать максимум.

Выводы

В процессе исследований было обнаружено, что неокогнитрон, как и большинство нейронных сетей других типов, зависит от точности настройки его параметров (правильный подбор числа необходимых плоскостей в слоях, количества самих слоёв, размеров рецептивных областей и других параметров).

Результаты исследований, проведенных в рамках данной работы:

• реализована объектно-ориентированная программная модель нейронной сети типа неокогнитрон;
• выполнено построение и анализ иерархической модели неокогнитрона;

Направление для дальнейшего исследования:

• проверка качества распознавания лиц человека неокогнитроном;
• поиск и реализация методов для улучшения характеристик нейронной сети.

Список источников

1. Fukushima K. Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position — Biol. Cybernetics 36, 1982. — pp. 193–202
2. Fukushima K., Wake N. Handwritten alphanumeric Character Recognition by the Neocognitron — IEEE Transactions on neural networks, Vol. 2, No 3, 1991. — pp. 355–365
3. Fukushima K. Imagawa T. Recognition and Segmentation of Connected Characters With Selective Attention — Neural Networks, Vol. 6, 1993. — pp. 33–41
4. Fukushima K., Nagahara K., Shouno H. Training neocognitron to recognize handwritten digits in the real world — IEEE Computer Society Press, Silver Spring, MD, 1997. — pp. 292–298
5. Fukushima K. Neocognitron for handwritten digit recognition — Neurocomputing, Vol. 51, 2003. — pp. 161–180
6. Kangin D., Kolev G., Vikhoreva A. Further Parameters Estimation of Neocognitron Neural Network Modification with FFT Convolution — ISSN: 2180–1843, Vol. 4, No. 2, July — December 2012
7. Gustavo Poli, Jos? Hiroki Saito, Joao F. Mari, Marcelo R. Zorzan Processing Neocognitron of Face Recognition on High Performance Environment Based on GPU with CUDA Architecture — 20th International Symposium on Computer Architecture and High Performance Computing, 2008. — pp. 81–88
8. Сова А.А., Федяев О.И. Исследование моделей S- и С нейронов неокогнитрона при обучении и распознавании образов — VII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии — Донецк, ДонНТУ, 2011. — С. 164–168
9. Умяров Н.Х., Костецкая, Г.Ю., Федяев О.И. Исследование алгоритма обучения сверточной нейронной сети в системе распознавания человеческих лиц — VIII международная научно-техническая конференция студентов, аспирантов и молодых научных работников Информатика и компьютерные технологии — Донецк, ДонНТУ, 2012. — С. 300–305
10. Колесник А.В., Ладыженский Ю.В. Распределенная программная система распознавания лиц — VI международная научно-техническая конференция студентов, аспирантов и молодых научных работниковИнформатика и компьютерные технологии — Донецьк, ДонНТУ, 2010. — С. 248–251
11. Ларин Б.И., Ладыженский Ю.В. Распределенная программная система для распознавания лиц — VII международная научно-техническая конференция студентов, аспирантов и молодых научных работниковИнформатика и компьютерные технологии — Донецьк, ДонНТУ, 2011. — С. 146–149
12. Квєтний Р.Н., Поремський Ю.В., Кулик О.А., Перегончук Р.О. Аналіз інформаційних технологій ідентифікації людських облич — Інформаційні технології та комп'ютерна інженерія, № 2, 2011. — C. 27–32
13. Вечур А.В., Васильев А.Г. Реализация программной модели распознавания образа человека — Восточно-Европейский журнал передовых технологий // Научный журнал. — Харьков: Технологический центр, 2010. — №4/2 (46). — С. 64–66
14. Никитенко Е.В., Силиченко А.И. Структура системы идентификации человека по изображению лица — Вісник Чернігівського державного технологічного університету Технічні науки, №3(51), 2011 р.
15. Аксёнов С. В., Новосельцев В. Б. Аксёнов С. В., Новосельцев В. Б. Повышение качества распознавания сцен нейронной сетью "Неокогнитрон" // Известия ТПУ. 2006. №7. [Электронный ресурс]. Режим доступа: http://cyberleninka.ru/article/n/povyshenie-kachestva-raspoznavaniya-stsen-neyronnoy-setyu-neokognitron
16. Терехов В. И. О реализации нейросетевого алгоритма распознавания лиц на графических процессорах // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. 2013. №12. [Электронный ресурс]. Режим доступа: http://cyberleninka.ru/article/n/o-realizatsii-neyrosetevogo-algoritma-raspoznavaniya-lits-na-graficheskih-protsessorah
17. Fukushima K., Miyake S. Neocognitron: a new algorithm for pattern recognition tolerant of deformations and shifts in position — Pattern Recognition Vol. 15, No 6, 1982. — pp. 455–469