Общая характеристика работы
В данной статье проведен анализ известных моделей многослойных нейронных сетей типа неокогнитрон. Рассмотрены структуры, алгоритмы обучения, особенности функционирования, отмечены преимущества и недостатки при распознавании объектов, подверженных искажениям. Основным сребством для изучения особенностей функционирования нейросетей данного класса являются программные модели. На примере которых демонстрируется основные характеристики, возможности и дальнейшие модификации

Как говорилось ранее основу работы составляет теория и практическое применение мощной нейросетевой парадигмы - модели неокогнитрон, а также трех ее модификаций. Все модели основаны на качественно новой архитектуре и используют неконтролируемое обучение. Отличительной особенностью этих нейросетей является высокая ошибкоустойчивость при распознавании образов подверженных всем видам искажений.

Цель работы - есть создание программного комплекса позволяющего в полной мере изучить все возможности вышеописанных нейронных сетей. В частном случае этапы, на которые разбита главная задача следующие:

• сбор и группировка основных сведений по теме магистерской работы;
• проведение анализа и выявление главных принципов работы базовой модели нейросетей более низкого уровня;
• создание программной модели многослойной нейросети когнитрон, как одной из частей неокогнитрона;
• проведение ряд эксперементов по определению зависимостей параметров и факторов, для целесообразности продолжения исследования высших нейропарадигм;
• проведения системного анализа по известным материалам о нейросети неокогнитрон и ее модификациям;
• составление гипотетической модели и проведение заключительного исследования о функционировании модели;
• создание программной модели основанной на базовой структуре неокогнирона;
• исследование на эксперементальной базе всех характеристик нейросети;
• систематизация полученных результатов;
• исследование возможности создания моделей в основу которых положены дальнейшие модификации неокогнитрона;
• возможность создание и анализ последующих характеристик;
• заключительные выводы о парадигме неокогнитон.
  

Научная новизна данной мгистерской работе заключается в следующем:

• исследование малоизвестной нейросети когнитрон и неокогнитрон;
• выявления отличительных преимуществ в программной реализации данных моделей;
• возможность практического применения новой парадигмы для специфических задач;
• ....
  

Полученные результаты могут использоваться как для дальнейшего исследований в данной области, так и в определенной мере для введения ознакомительных лекций по соответствующему курсу в высших учебных заведений.

Содержание
В данном разделе приводится ознакомительная часть по основным гипотетическим моделям неокогнитрона. Это необходимо для общего понимания тематике работы.

Архитектура моделей неокогнитрона

В основу структуры неокогнитрона положена организация зрительной системы человека[3]. Первая модель неокогнитрона была разработана в 1980 г. K.Фукушимой [2] и являлась последующим развитием нейросети когнитрон [10]. В [2] подробно описана архитектура стандартного неокогнитрона, которая, несмотря на дальнейшие разработки, по-прежнему остается основополагающей (см. рис 1). Для понимания функционирования и принципов обучения модифицированных моделей приведём краткое описание стандартного неокогнитрона.

Рисунок 1 - Структура стандартного неокогнитрона

Неокогнитрон является, по сути, многослойной нейронной сетью. Различают два вида слоев S и С (simple - простые и compatible - сложные). Данные слои парами образуют один уровень в системе. Каждый слой (S и C) содержит несколько плоскостей нейронов. Используются два типа нейронов: возбуждающие и тормозящие. Первые стремятся увеличить выходную реакцию слоя, вторые наоборот - направлены на уменьшения выходного сигнала. Любой возбуждающий нейрон в плоскости слоя типа S и C получает набор входных сигналов с нейронов предыдущего слоя (для US1 входом служит слой U0), которые образуют его область связи. Эту же область связи имеет и тормозящий нейрон, выход которого также поступает на вход возбуждающего нейрона.

Таким образом, результирующий выход генерирует только возбуждающий нейрон. На величину выходного сигнала также влияет "сила возбуждения" соседних нейронов на текущем слое, которые образуют область конкуренции данного нейрона. Количество областей конкуренции равно числу нейронов на плоскости и поэтому они частично перекрываются. Смысл такой организации связей состоит в определении наиболее сильно возбуждённого нейрона ("победителя"), который мог бы в полной мере охарактеризовать всю область конкуренции. Победитель в области конкуренции всегда один. Области связи предназначены для выделения отдельных частей входного образа. Они тоже частично перекрываются, что обеспечивает в случае отказа в работе одного из нейронов замену другим нейроном из его области конкуренции. Каждой плоскости нейронов в слое S соответствует своя плоскость в слое C. Возбуждающие и тормозящие нейроны последней получают сигналы с определенных областей связи и имеют области конкуренции. Семантика S и C слоев заключается в следующем: S выделяет особенности (фрагменты) входного образа, определяет среди них, посредством областей конкуренции, наиболее значимые и передает их парному слою C, который в свою очередь придаёт этим особенностям меньшую позиционную зависимость. Данная тенденция прослеживается от уровня к уровню. При этом размер плоскостей нейронов уменьшается, и на слое C последнего уровня каждая плоскость состоит из одного нейрона соответствующего одному классу входных образов.

Необходимо отметить, что поскольку плоскости нейронов в понимании автора неокогнитрона отвечают за каждый различный входной образ, то это приводит к довольно большим размерам распознающей системы в случае значительного числа обучающих образов. Несмотря на это, как отмечается в работе[6], неокогнитрон показал себя с лучшей стороны при распознавании зашумленных, смещенных и масштабированных образов. Дальнейшие модификации неокогнитрона улучшили показатели распознавания. В работе [4] приводится модель с добавлением адаптации, предусматривающей изменения не в архитектуре, а в методе обучения. Авторы акцентировали внимание на проблеме выявления различия схожих образов и с этой целью изменили специфику областей конкуренции, то есть выделение не общих черт, а характерных черт объекта.

Более существенной доработкой является неокогнитрон, ориентированный на распознавание развернутых образов (R-неокогнитрон, рис. 2)[4]. Он, благодаря усовершенствованию структуры позволяет распознавать образы, развернутые более чем на 30 градусов. С этой целью были введены группы плоскостей нейронов в слоях C и S на всех уровнях, которые содержали ранее описанные плоскости нейронов. Каждая плоскость в конкретной группе отвечала за определенный угол поворота образа, закрепленного за данной группой. Количество плоскостей зависит от необходимой точности в определении развернутых образов. Согласно описанной архитектуре входные сигналы с предыдущего уровня поступают на каждую плоскость. Все аналогичные нейроны в них имеют одинаковую область связи, но разные области конкуренции. Наиболее сильно отреагируют те плоскости из группы (в идеале только одна), которые наиболее точно соответствуют углу поворота входного образа.

Рисунок 2 - Неокогнитрон ориентированный на развернутые образы

Описанное дополнение увеличило число нейронов примерно на порядок и тем самым создало предпосылки для появления новой модели неокогнитрона (TD-R-неокогнитрон)[7]. Основной идеей рассматриваемой модели - введение новых пяти блоков, которые направлены на уменьшение количества плоскостей нейронов. Рассмотрим основные принципы взаимодействия блоков. Входной образ поступает на первый уровень, так называемой верхней части модели (Bottom-Top block), структура которого аналогичная с R-неоконитроном. Затем, пройдя по всем уровням сети, на последнем уровне выходы заносятся в очередь предварительных гипотез (Query block). Далее сигналы перенаправляются и проходят по нижней части неокогнитрона (Top-Down block), попадая на первом уровне в оценочный узел (Angle Estimation block). На данном этапе происходит вновь перенаправление полученного образа по верхней части модели, где на последнем уровне происходит сопоставление предварительной гипотезы и данного результата. Если наблюдается несовпадение, то оценочный узел проводит корректировку образа (точнее поворот) и процедура распознавания повторяется вновь. По данным статьи [7], можно утверждать, что TD-R-неокогнитрон распознает не только образы, повернутые на угол до 180 градусов, но и объекты подверженные другим всем видам искажений.

Побочным эффектом является увеличение времени распознавания. Но авторы приводят сравнительный анализ двух последних моделей неокогнитрона и доказывают, что TD-R-неокогнитрон превосходит своих предшественников.

Обучение

Обучение неокогнитрона осуществляется по методу "обучение без учителя". Механизм обучения использует тип конкурентоспособного обучения (сети, основанные на данном типе обучения, могут быть найдены в работе [7]). В основе его лежит выделение наиболее сильно возбужденного нейрона в области конкуренции и дальнейшего увеличения его весовых коэффициентов. Во всех моделях неокогнитрона присутствует два типа связей: "фиксированные" и "пластичные". Первые не изменяются в процессе обучения, вторые - корректируются. Фиксированные связи соединяют слой Сk-1 и Sk, а также область связи и тормозящие нейроны. Пластичные связи соединяют слои Sk и Сk и присутствуют между областями связи и возбуждающими нейронами. Для определения степени приращения используются следующие формулы, определяющие выходы нейронов стандартного неокогнитрона [2]:



Корректировка весов соединений областей связи и возбуждающих нейронов, а также весов соединений между тормозящим и возбуждающим нейронами определяются выражениями:

где ql - параметр, характеризующий скорость обучения.

В последующих модификациях неокогнитрона приведенные формулы не претерпевают существенных изменений. В модели, использующей адаптацию, введен параметр, характеризующий степень подавления выходов возбуждающих нейронов Tk. В процессе обучения он изменяется по следующей формуле:

gl - скорость обучения на данном уровне;
pl - максимальное значение Tk;
em(k) - наибольшее из значений суммы выходов всех областей связи данного нейрона;
hm(k) - наибольшее из значений суммы выходов всех областей связи в данной плоскости.

В алгоритме обучения предусмотрено ограничение на рост весовых коэффициентов: с увеличением количества повторений одного и того же образа на входе, значение весов пластичных соединений уменьшается. Изменения в инвариантном неокогнитроне по отношению к стандартной модели касаются его структуры и связанны с переходом от трёхмерного обращения к конкретному нейрону (уровень, слой, плоскость) к четырёхмерному обращению (уровень, слой, группа плоскостей, плоскость). Таким образом, операции вычисления и настройки для всех областей связи и конкуренции в плоскостях нейронов, соответственно модифицируются с учётом групп плоскостей.

Введенные дополнения в TD-R-неокогнитрон, хотя и уменьшают общее количество нейронов, но усложняют структуру и приводят к соответствующим изменениям алгоритма обучения. Основные модификации затронули этап прохождения образа по нижней части модели (Bottom-Top block) и блок оценки поворота (Angle Estimation block). В первом случае вышеприведенные формулы применяются с инвертированными индексами уровней, плоскостей и групп плоскостей, во втором - используется следующее выражение для оценки угла:

Заключение

Анализ архитектур и алгоритмов обучения моделей неокогнитрона показал перспективы при решении задачи распознавания образов в условиях различных видов помех. Эта способность данного типа нейросетей обеспечивается особой структурой, в определенной степени имитирующей работу зрительной системы человека. По сути неокогнитрон можно рассматривать как многоуровневую нейросетевую систему индуцирования знаний из графических данных, посредством выделения типовых признаков и их обобщения на последующих уровнях.

Основные результаты
На данный момент о полученных результатах можно сказать следующее:

• проведено исследование и сделан анализ структуры нейросети когнитрон;
• создана программная модель вышеуказанной нейросети и проведен ряд эксперементов;
• полученные данные позволили продолжить работы над неокогнитроном;
• обобщены знания о гипотетической модели нейросети неокогнитрон;
• создана исследовательская программная модель стандартной парадигмы;
• проводится системный анализ результатов эксперементов.