ИССЛЕДОВАНИЕ МОДЕЛЕЙ S- И С-НЕЙРОНОВ НЕОКОГНИТРОНА ПРИ ОБУЧЕНИИ И РАСПОЗНАВАНИИ ОБРАЗОВ

УДК 004.932.7

Сова А.А., Федяев О.И.

Донецкий национальный технический университет, Украина

Рассмотрена архитектура многослойной нейронной сети типа неокогнитрон, состоящего из нейронов типа S и С. Исследована нелинейная модель S-нейрона при различных соотношениях её параметров торможения и возбуждения, показана возможность обучения S-нейрона по стратегиям «с учителем» и «без учителя» распознавать базисные элементы входных образов.

Введение

Одним из перспективных способов распознавания образов, подверженных искажению, считается применение специальных нейросетевых структур типа неокогнитрон. Это обусловлено особой структурой данного типа нейросетей, в определённой степени имитирующей работу зрительной системы человека. Системы распознавания, созданные на основе неокогнитрона, будут превосходить в функциональном и экономическом отношении существующие аналоги. Поскольку потребность в качественных системах распознавания постоянно возрастает, то создание таких систем является актуальной научно-технической задачей [1].

Основной задачей данной работы является исследование моделей S- и С-нейронов неокогнитрона при их обучении, оценка влияния отдельных параметров архитектуры нейросети на эффективность распознавания на примере определённого класса графических образов. Данные исследования помогут правильно выбрать архитектуру неокогнитрона и организовать обучение S-слоёв с учётом характера распознаваемых входных образов.

1 Модели нейронов неокогнитрона

Неокогнитрон представляет собой многослойную нейронную сеть, состоящую из разнородных нейронов (ячеек). В нём используются четыре различных вида ячеек: S-ячейки, С-ячейки, Vs-ячейки и Vc - ячейки. Слои S (simple) нейронов служат для выделения основных признаков (фрагментов) изображения, а слои С (complex) нейронов обеспечивают инвариантность сети к изменению положения образа [2].

Как показано на рис. 1, S- и С-ячейки имеют много входов: эксцитатные (возбуждающие) и ингибиторные (запрещающие). Если ячейка получает сигналы из эксцитатных входов, выход ячейки увеличится. С другой стороны, запрещающий входной сигнал подавляет выходной сигнал. Каждый вход ячейки имеет свой собственный коэффициент соединения, значение которого положительно. Ячейка имеет только один выход, с которого сигнал возбуждения может поступать на входы других ячеек. На рис. 1,а видно, что S-ячейка имеет запрещающий вход, который производит эффект шунтирования сигналов возбуждающего входа. Пусть U_C₁, U_C₂... U_Cn - эксцитатные входы, а V_C - ингибиторный вход ячейки. Выходные значения S- нейрона определяются по следующим формулам:

	(1)
	(2)
	(3)

где: a_i и b представляют эксцитатные и ингибиторные коэффициенты соединения соответственно[3, 4].

а) б)

Рисунок 1 – Модели нейронов: а) для S-слоя; б) для C-слоя

Функция активации S-нейрона определяется следующим выражением:

(4)

Модель С-ячейки имеет входы, подобные входам S-ячейки (рис. 1,б). Пусть U_S₁, U_S₂... U_Sn - эксцитатные входы, а V_S - ингибиторный вход ячейки. Для определения значения выходного сигнала C-нейрона используются следующие формулы:

	(5)
	(6)
	(7)

где: d_i - эксцитатные коэффициенты соединения [3, 4].

Функция активации этого нейрона определяется следующим выражением:

(8)

где .

Как видно функция активации у S-нейронов линейна, а у С-нейронов нелинейная.

Функционирование S-нейрона во многом зависит от соотношения сигналов возбуждения и торможения. Для демонстрации этого утверждения рассмотрим функциональную зависимость выхода от входа S-нейрона, когда эксцитатные и ингибиторные входы изменяются пропорционально. Если эксцитатный входной сигнал нейрона обозначить как Х, а коэффициенты эксцитатных и ингибиторных соединений как и , соответственно, то е =*Х и h =*Х (рис.2). Когда > , тогда формулу (3) можно записать следующим образом:

Рисунок 2 – Структура S-нерона с одним входом

Полученная зависимость (9) позволяет проследить за поведением выхода S-нейрона в зависимости от соотношения коэффициентов и . Как видно на рис. 3, выходной сигнал S-нейрона достигает насыщения (устойчивого состояния) при больших значениях Х. Устойчивое состояние нейронов зависит от соотношения коэффициентов и , а именно . В ходе исследования было замечено, что характер поведения выходной функции одинаков, что видно на рис. 3.

Рисунок 3 – Значения выходного сигнала S- нейрона в зависимости от соотношения коэффициентов и

2 Обучение модели S-нейрона

Были рассмотрены две стратегии обучения S-нейрона неокогнитрона: «без учителя» и «с учителем». При любом виде обучения настраиваются только веса нейронов S-слоёв. Веса С-слоёв задаются априорно и не изменяются в дальнейшем. В данной работе были использованы обе стратегии обучения и произведено их сравнение. На рис. 4 приведены результаты процессов обучения этого типа нейронов.

Как видно на рис. 4, обучение без учителя является более медленным. Это связано с тем, что при таком обучении усиливаются связи нейронов только той группы, которая наиболее сильно реагирует на входной сигнал. Это усиление пропорционально величине выходного сигнала нейрона, с которым данная группа связана. Хотя одновременно усиливается и тормозящая связь соответствующего V-нейрона, но это усиление незначительно [2, 4].

На рис. 4 показана динамика обучения S-нейрона на шаблонный образ «горизонталь» (рис. 5, образ №5). Так же показано изменение сигналов e и h нейрона, от которых зависит выходной сигнал w обучаемого нейрона.

а) б)

Рисунок 4 – Обучение модели S-нейрона по стратегиям: а) «с учителем», б) «без учителя»

Из рисунков видно, что устойчивое состояние нейрона (признак его обученности) при обучении «с учителем» достигается за 60 итераций; а при обучении «без учителя» - за 100 шагов, что почти в два раза медленнее.

3 Распознавание образов S-нейроном

Эта часть исследования была посвящена оценке реакции обученного S-нейрона (рис. 1,а) при распознавании различных входных образов на примере образа «горизонталь» и его модификаций. Примеры изображения, подаваемого на входы нейрона, показаны на рис. 5.

Рисунок 5 – Пронумерованные входные образы из класса «горизонталь»

В ходе проведенных экспериментов было замечено, что выходные сигналы S-нейрона непосредственно зависят от вида образа, т. е. от позиции и количества активных пикселей (тёмных клеток образа). Как видно на рис. 6, наибольшее возбуждение S-нейрон проявляет на входном образе №5, т. е. он его распознал. Это очевидно, т.к. на этот образ нейрон был обучен изначально. Остальные же образы отличаются своим видом от эталонного и поэтому выход нейрона для них слабее.

Следует так же отметить, что активность крайних активных пикселей образа на «горизонтали» одинаково влияет на выходной сигнал нейрона. Как видно на рис. 6, выходные значения S-нейрона для образов №1 и №7, а так же №4 и №6 равны соответственно.

Рисунок 6 – Выходной сигнал S-нейрона, обученного на “горизонталь”, для различных входных образов

Выводы

В данной работе были представлены и проанализированы математические модели S- и С-нейронов неокогнитрона. В частности рассмотрены процессы обучения и распознавания образов на их основе. В ходе исследования было установлено, что обучение «с учителем» приблизительно в 2 раза быстрее, чем по стратегии «без учителя». Также был определён характер поведения нелинейной модели S-нейрона при различных соотношениях её параметров торможения и возбуждения.

Благодаря своей структуре неокогнитрон способен распознавать образы с различными видами помех и искажений. Несмотря на свою сложность, он является достаточно эффективным и быстродействующим распознавателем. Эти достоинства послужили основанием для разработки программной модели рассмотренной архитектуры неокогнитрона, чтобы с её помощью авторам статьи продолжить исследование процессов обучения и распознавания не только графических образов, но и лиц человека.

Литература

[1] Сова А.А., Федяев О.И. Математическая модель распознавания и обучения неокогнитрона. // II международная научно-техническая конференция студентов, аспирантов и молодых ученых, «Информационные управляющие системы и компьютерный мониторинг -2011» на базе факультета компьютерных наук и технологий Донецкого национального технического университета

[2] Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика. – М.: Мир, 1992. – С. 274

[3] K. Fukushima: Neocognitron capable of incremental learning. Tokyo University of Technology, Tokyo, Japan – 2003. – Р. 37-43

[4] Freeman J., Skapura D. Neural Networks. Algorithms, Applications and Programming Techniques. // Addison-Wesley. – 1991. – P. 373-392