Математическая модель распознавания и обучения неокогнитрона
Сова А.А., Федяев О.И.
Донецкий национальный технический университет
Неокогнитрон имеет иерархическую структуру. Он состоит из последовательности обрабатывающих слоев (S-слоя и С-слоя). На рис. 1 приведена структура неокогнитрона, состоящего из трех модулей, образованных парами S и С слоев. Входной образ подается на первый слой и передается через плоскости, соответствующие последующим слоям, до тех пор, пока не достигнет выходного слоя, в котором идентифицируется распознаваемый образ [1,2].
Входной, сенсорный, слой неокогнитрона является прямоугольным полем, которое состоит из светочувствительных клеток. Каждый последующий слой состоит из групп нейронов, причем нейроны одной группы имеют одинаковые веса и распознают одни и те же части образа. Эти нейроны образуют так называемые S-клетки, расположенные в соответствующих S-слоях. S-клетки служат для выделения свойств образов, поступающих с предыдущего слоя [4].
Выбор числа слоев неокогнитрона зависит от сложности решаемой задачи и сеть с большим числом слоев способна распознавать более сложные изображения. Такое чередование слоев, при котором в слое S выделяются основные признаки изображения, а в слое С происходит коррекция искажений изображений, оказалось наиболее эффективным при синтезе систем распознавания образов, инвариантных к деформациям изображений [3].
Рисунок 1 – Иерархическая структура неокогнитрона, иллюстрирующая связи между слоями
Выходы нейронов S-слоя соединены с нейронами С-слоя. Следует также
отметить, что все летки в отдельной плоскости, имеют входные взаимосвязи
того же самого пространственного распределения и только позиции
предшествующих клеток, от которых их входные взаимосвязи прибывают,
сдвинуты параллельно. Эта ситуация проиллюстрирована на рис. 2. Даже в
процессе обучения, в котором значения входных взаимосвязей S-клеток
различны, переменные взаимосвязи всегда изменяются согласно этому
ограничению [2].
Связи, соединяющие S-клетки и С-клетки одного модуля, являются жесткими и
не изменяются в процессе обучения. Связи, соединяющие нейроны S-слоя с
нейронами предыдущего С-слоя, являются изменяющимися и могут изменяться в
процессе обучения. S-клетка активизируется только тогда, когда найден
определенный образ в точно определенном месте предыдущего слоя. Образ,
на который реагирует клетка, определяется в процессе обучения [1, 4].
Рисунок 2 – Иллюстрация, показывающая входные связи к нейронам в соответствующих плоскостях
Ячейки, используемые в неокогнитроне
Все ячейки, используемые в неокогнитроне, имеют аналоговый тип: т.е.
сигналы ввода и вывода ячеек принимают неотрицательные аналоговые
значения. Каждая ячейка имеет характеристики, аналогичные биологическому
нейрону, если мы полагаем, что сигнал вывода ячейки соответствует
мгновенной частоте обстрела фактического биологического нейрона.
В неокогнитроне мы используем четыре различных вида ячеек, то есть,
S-ячейки, С-ячейки, Vs-ячейки и Vc - ячейки. Как типичный пример этих
ячеек, мы сначала обсудим характеристики S-ячейки.
Как показано на рисунке 3, S-ячейка имеет много входных терминалов,
эксцитатных и запрещающих. Если ячейка получает сигналы из эксцитатных
входных терминалов, выход ячейки увеличится. С другой стороны, сигнал из
запрещающего входного терминала подавит вывод. Каждый входной терминал
имеет свой собственный коэффициент соединения, чье значение
положительно. Хотя ячейка имеет только один терминал вывода, она может
посылать сигналы множеству входных терминалов других ячеек. S-ячейка
имеет запрещающий ввод, который производит эффект шунтирования. Пусть
u(1), u(2)...u(N) - эксцитатные вводы, а v - запрещающий ввод. Для
расчёта выходного сигнала подавляющего нейрона используется следующая
формула:
Ячейки, используемые в неокогнитроне
где: v – выход тормозящего узла;
i – область над всеми комплексными узлами, с которыми связан тормозящий узел;
bi – вес i-й связи от эксцитатного узла к тормозящему узлу;
ui – выход i-го эксцитатного узла.
Веса bi выбираются монотонно уменьшающимися с увеличением расстояния от
центра области реакции, при этом сумма их значений должна быть равна
единице.
Тогда вывод w этой S-ячейки определен так:
где: a(i) и b представляют эксцитатные и запрещающие
коэффициенты соединения, соответственно. Коэффициент b рассчитывается
по формуле (1) [5, 7, 8].
Функция определяется следующим уравнением:
Рисунок 3 – Входная-выходная характеристика с S-ячейками
Пусть е – сумма всех эксцитатные вводов перемноженных с коэффициентами соединения и h – запрещающий ввод, умноженный на коэффициент соединения; то есть:
Таким образом, подставляя в уравнение (2) уравнения (3), его можно записать так:
Входной сигнал для нейронов С-слоя вычисляется по формуле:
где si –выходной сигнал простых нейронов;
ui–весовые коэффициенты от простых нейронов к комплексному [3, 10].
Для нейронов комплексных слоёв использовались различные функции активации.
Литература:
1. Ф. Уоссермен, Нейрокомпьютерная техника. Теория и практика. – М.: Мир, 1992. – 260.
2. Ф. Уоссермен. Нейрокомпьютерная техника. Теория и практика. М.: Мир, 1992 - 260 с.
3. K. Fukushima: Neocognitron for handwritten digit recognition. Tokyo University of Technology, Tokyo, Japan – 2002. – Р. 161-170.
4. Freeman J., Skapura D. Neural Networks. Algorithms, Applications and Programming Techniques. // Addison-Wesley. – 1991. – P. 373-392.
4. S. Satoh, H. Aso, S. Miyake, J. Kuroiwa: Pattern Recognition System with Top-Down Process of Mental Rotation //Proc. of IWANN'99, 1. – 1999. – P. 816-825.