© Костин Н.С.

МЕСТО МОДУЛЬНЫХ НЕЙРОННЫХ СЕТЕЙ В КЛАССИФИКАЦИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Омский государственный технический университет, г. Омск
Аспирант кафедры Информатики и вычислительной техники. Научный руководитель: Потапов В.И. профессор кафедры Информатики и вычислительной техники, доктор технических наук.

В данной работе предлагается классификация искусственных нейронных сетей в зависимости от структуры связей между нейронами в сети. Особое внимание уделяется модульным нейронным сетям, в частности сетям с ядерной организацией.

Ключевые слова: искусственные нейронные сети, сети с ядерной организацией.

Введение

Одной из современных тенденций в области нейронных сетей является использование модульных нейронных сетей [1, 2]. Термин «модульная нейронная сеть» подразумевает сеть, состоящую из аналогичных и, в определенной степени, независимых нейронных модулей.

В последние годы теория нейронных сетей получила значительное развитие, однако до сих пор не достаточно развиты методы системного проектирования и анализа быстродействующих модульных нейронных сетей высокой размерности и родственных к ним быстрых перестраиваемых преобразований. Основной проблемой проектирования больших нейронных сетей является задача оптимального выбора структуры и топологии нейронной сети решение задачи оптимального выбора структуры и топологии нейронной сети.

В рамках решения данной задачи необходимо провести классификацию нейронных сетей. Охарактеризовать нейронные сети можно по видам нейронов используемых в сети, структуры модели сети, способам обучения сети, задачам которые решает сеть. Рассматривая задачи, решаемые нейронными сетями можно выделить широкий круг задач обработки и анализа данных – распознавание и классификация образов, прогнозирование, управление, кластерный анализ, аппроксимация, нейросетевое сжатие данных, ассоциативную память и т.д.

Классификация искусственных нейронных сетей

По структуре связей нейронные сети можно разделить на:

  1. Полносвязанные нейронные сети, в которых каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.
  2. Слабосвязные или неполносвязные нейронные сети (обычно называемые перцептронами), подразделяются на однослойные и многослойные, с прямыми, перекрестными и обратными связями. В нейронных сетях с перекрестными связями допускаются связи внутри одного слоя.

В свою очередь, среди многослойных нейронных сетей выделяют следующие типы (рис. 1):

  1. Монотонные [3]. Это частный случай слоистых сетей с дополнительными условиями на связи и нейроны. Каждый слой кроме выходного разбит на два блока: возбуждающий и тормозящий. Связи между блоками тоже разделяются на тормозящие и возбуждающие. Для нейронов монотонных сетей необходима монотонная зависимость выходного сигнала нейрона от параметров входных сигналов.
  2. Сети без обратных связей. В таких сетях нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам первого скрытого слоя, и так далее вплоть до выходного, который выдает сигналы для интерпретатора и пользователя.
  3. Сети с обратными связями. В сетях с обратными связями информация с последующих слоев передается на предыдущие. Среди них, в свою очередь, выделяют следующие:
    • слоисто-циклические, отличающиеся тем, что слои замкнуты в кольцо: последний слой передает свои выходные сигналы первому; все слои равноправны и могут как получать входные сигналы, так и выдавать выходные;
    • слоисто-полносвязанные состоят из слоев, каждый из которых представляет собой полносвязную сеть, а сигналы передаются как от слоя к слою, так и внутри слоя; в каждом слое цикл работы распадается на три части: прием сигналов с предыдущего слоя, обмен сигналами внутри слоя, выработка выходного сигнала и передача к последующему слою;
    • полносвязанно-слоистые, по своей структуре аналогичные слоисто-полносвязанным, но функционирующим по-другому: в них не разделяются фазы обмена внутри слоя и передачи следующему, на каждом такте нейроны всех слоев принимают сигналы от нейронов как своего слоя, так и последующих.
Классификация многослойных ИНС
Рис. 1. Классификация многослойных ИНС

В модульных нейронных сетях в качестве структурно-образующего элемента выступает группа нейронов в пределах слоя, имеющих общее рецепторное поле. Эту группу называют нейронным ядром [4]. При этом постулируется, что рецепторные поля нейронных ядер не пересекаются. Нейронное ядро на структурном уровне определяется парой чисел: размерностью рецепторного поля и числом нейронов в ядре. Нейронные сети с ядерной организацией являются структурным расширением класса многослойных сетей прямого распространения. Наполнение нового класса осуществляется за счет целенаправленного ограничения связей между нейронами. В многослойных сетях нейронные ядра связаны между собой проектирующими операторами перехода, для которых структурной характеристикой является ранг оператора. Операторы нейронного слоя осуществляют отображение вектора из пространства рецепторов в пространство аксонов.

Теория быстрых перестраиваемых преобразований появилась примерно в тоже время, что и теория многослойных нейронных сетей. Обе теории развивались параллельно. Различная терминология, различные теоретические основы, различные области приложения развели два направления достаточно далеко друг от друга, хотя общие черты – многослойность и перестраиваемость были вполне очевидны.

Историческим толчком для развития теории перестраиваемых преобразований послужила работа Гуда [5], в которой была рассмотрена матричная структура специального вида, порождающая быстрый алгоритм линейного преобразования. По такой схеме может быть построено быстрое преобразование Фурье.

В отличие от перестраиваемых преобразований размерности вектора обрабатываемых данных в нейронных сетях могут изменяться от слоя слою, поэтому матрица ядра не обязана быть квадратной. В нейросетевой трактовке ядро на структурном уровне характеризуется двумя параметрами: размерность рецепторного поля и числом входящих в ядро нейронов. Эти числа определяют размерность матрицы ядра.

Отличительной особенностью ядерных нейронных сетей является то, что рецепторные поля отдельных ядер не пересекаются между собой, поэтому каждое нейронное ядро можно рассматривать как нейронный модуль простейшей структуры, а всю нейронную сеть как вариант модульной сети. Свойство модульности, унаследованное от перестраиваемых преобразований, имеет решающее значение в идеологической концепции методов структурного синтеза нейронных сетей.

Список литературы:

1. Schwenk H., Milgram M. Structured diabolo-networks for hand-written character recognition // International Conference on Artificial Neural Networks. – Sorrento, Italy, 1994. – P. 985-988.
2. Ezhov A.A., Vvedensky V.L. Object generation with neural networks (when spurious memories are useful) // Neural Networks. – 1996. – Vol. 9, No. 9. – P. 1491-1495.
3. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. – М.: Горячая линия – Телеком, 2002.
4. Дорогов А.Ю., Алексеев А.А. Структурные модели быстрых нейронных сетей // В сб. «Интеллектуальные системы». Труды II-го Международного симпозиума / Под ред. К.А. Пупкова. – М.: Изд. ПАИМС, 1996. – Т. 2. – С. 138-143.
5. Good I.J. The Interaction Algorithm and Practical Fourier Analysis // Journal of Royal Statistical Soseity. Ser. B. – 1958. – Vol. 20, No. 2. – P. 361-372.