В последние годы теория нейронных сетей привлекает внимание многих исследователей. Интерес к нейронным сетям порождается желанием понять принципы работы нервной системы и надеждой, что с помощью нейронных сетей удастся приблизиться к той поразительной эффективности в процессах обработки информации, которой обладают животные и человек. К началу 80-х годов в этой области был накоплен достаточно большой опыт, позволивший получить обнадеживающие результаты как в моделировании биологических феноменов, так и в разработке алгоритмов для решения ряда сложных задач искусственного интеллекта. В последующие годы появилась соответствующая техническая база для реализации этих алгоритмов и началось серийное производство вычислительных систем - нейрокомпьютеров, использующих нейросетевые принципы параллельной обработки информации. Таким образом, произошло формирование нового научного направления, получившего название "нейрокомпьютинг".
Достигнутые успехи привели к резкому росту финансирования данной области за рубежом, что стимулировало быстрый рост числа исследований и публикаций. В настоящее время по нейронным сетям издается около десяти специализированных журналов и ежегодно проводится несколько крупных международных конференций.
В исследованиях нейронных сетей принимает участие широкий круг ученых разных специальностей - биологов, инженеров, математиков, физиков. Это обусловлено, с одной стороны, плодотворностью приложения в данной области новых идей и теорий, появившихся в соответствующих специальных науках, а с другой стороны, сами нейронные сети находят все более многочисленные приложения в биологии, медицине и технике.
В теории нейронных сетей существует более десяти различных направлений (парадигм), по решению тех или иных теоретических и прикладных задач. Рассмотрение одной из этих парадигм - осцилляторных нейронных сетей (ОНС) - является предметом данного обзора.
В отличие от других парадигм, при изучении ОНС основной интерес сосредоточен на динамических, колебательных аспектах функционирования нейронных сетей. В соответствии с этим выбирается такая конструкция отдельного элемента и такая архитектура сети, при которых наблюдаются регулярные, квазипериодические или стохастические колебания. При этом представляют интерес условия возникновения колебаний и условия их синхронизации.
Изучение ОНС стимулируется результатами нейрофизиологических экспериментов, указывающих на существенную, а возможно и центральную роль колебательных процессов в работе нервной системы. Одна из центральных гипотез состоит в том, что процесс обработки информации в нервной системе может описываться в терминах синхронизации активности различных нейронных структур. Эта гипотеза была сформулирована в работах известных русских нейрофизиологов: А.А. Ухтомского [8,9] и М.Н. Ливанова [4]. Среди зарубежных нейрофизиологов, которым близка такая точка зрения, можно назвать Е.Р. Джона [56] и Е. Базара [18].
Большой интерес вызывают экспериментальные данные по исследованию тетаритма - низкочастотной колебательной активности (4-10 герц) в септо-гиппокампальной области (см., например, работы О.С. Виноградовой и других [2,116]). Одна из обсуждающихся гипотез состоит в том, что тета-ритм участвует в процессе отбора и запоминания информации. Предметом интенсивного изучения также являются нейронные механизмы управления ритмическими движениями на уровне спинного мозга (см., например, монографию К.В. Баева [1]).
В последние годы интерес к осцилляторной нейронной активности вновь усилился благодаря нейрофизиологическим исследованиям У. Фримена, В. Зингера, Р. Экхорна и других авторов [35,44,46,48,49]. Как показано в этих работах, в обонятельной и зрительной зонах коры могут возникать высокочастотные колебания (40-60 герц) в ответ на внешнюю стимуляцию, причем в определенных условиях наблюдается синхронизация колебаний в далеких друг от друга участках коры.
Принципиальная важность временной когерентности активности при обработке информации мозгом отмечается во многих работах [12,13,27,28,33,34,79-82,110]. Так, в работе [28] Ф. Крик и К. Кох при обсуждении проблемы сознания утверждают, что с теоретической точки зрения легче всего добиться одновременности импульсации, используя осцилляции. Они считают, что сознание предполагает наличие механизма внимания и кратковременной памяти, которые действуют в такой последовательности: посредством внимательного механизма достигается синхронная активность (в виде осцилляции) соответствующих нейронов, и, в свою очередь, эти осцилляции активируют кратковременную память.
Несколько иная роль отводится высокочастотным осцилляциям в работе Ч. Грея и др. [47]. Авторы считают, что посредством синхронной колебательной активности в мозге подсознательно на ранних стадиях обработки информации происходит выделение объекта из фона (во время так называемой "предвнимательной" обработки). Этим не ограничивается возможная роль осцилляторной активности. Осцилляции могут быть необходимы для достижения высокого уровня нейронной активности, при котором только и активируются некоторые передающие пути мозга:
К. Фон дер Мальсбург в работе [79] высказал гипотезу о том, что при обработке информации мозгом интеграция отдельных признаков объекта в единый образ на нейронном уровне означает коррелированную импульсацию нейронов. Эта гипотеза нашла косвенное подтверждение в упоминавшихся выше результатах по синхронизации нейронной активности в первичной зрительной коре. Необходимо упомянуть и о том, что осцилляции могут служить своеобразными часами, создавая временную структуру как для активности внутри одной модальности, так и между сенсорными модальностями.
В исследования ОНС как моделей нервной системы в настоящее время вовлечены несколько научных групп в России, США, ФРГ, Великобритании, Италии и Японии. Работа ведется в двух взаимосвязанных направлениях:
К сожалению, нам не известно каких-либо значительных и интересных работ такого рода по слуховой коре.
Функциональной единицей ОНС, как правило, является осциллятор. В зависимости от целей исследования выбирается не только определенная архитектура связей сети, но и конструкция отдельного осциллятора. В наиболее сложных и максимально приближенных к реальности моделях используются осцилляторы, состоящие из элементов с интегративно-пороговыми свойствами разной степени сложности. Это - аналоги биологических нейронов. Их часто называют просто нейронами, и мы будем использовать этот термин. Осциллятор включает нейроны как с тормозными, так и с возбуждающими связями. Это приводит к тому, что при определенных условиях суммарная активность нейронов приобретает колебательный характер. Такие ОНС исследуются обычно методами имитационного моделирования.
Другой подход состоит в описании динамики усредненной активности нейронных ансамблей, которые в результате взаимодействия образуют осциллятор. В ряде работ исходные предположения приводят к ОНС из осцилляторов Ван-дер-Поля. В других осцилляторы формируются в результате взаимодействия небольшого числа нейронных ансамблей, соединенных возбуждающими и тормозными связями. Возникающие на этом пути многомерные динамические системы все еще, как правило, слишком сложны для математического анализа, поэтому их исследуют численно или редуцируют к еще более простым осцилляторам, поведение которых описывается одной переменной - фазой колебания. Иногда сети из таких максимально упрощенных осцилляторов вводятся аксиоматически. Такие ОНС пригодны для весьма приближенного, качественного описания реальных процессов. Их главное преимущество - возможность аналитического исследования.
В дальнейшем мы будем использовать термин "нейронный осциллятор" в том случае, когда осциллятор образуется в результате взаимодействия элементов с помощью возбуждающих и тормозных связей. Осцилляторы, описываемые одной переменной фазой, мы будем называть фазовыми осцилляторами. Более точное определение нейронного и фазового осцилляторов будет дано в следующем разделе.
Обзор построен следующим образом. В разделе 2 приведены результаты математического исследования ОНС. В разделах 3-5 последовательно описаны существующие осцилляторные модели обонятельной, зрительной и двигательной систем. В разделе 6 представлены осцилляторные модели памяти и внимания. В Заключении обсуждаются перспективы развития данной области.