В течение последних 30 лет в США в лаборатории У. Фримена проводились экспериментальные исследования обонятельной системы. Регистрация ЭЭГ сигналов одновременно в нескольких местах обонятельной луковицы позволила выявить важные принципы обработки обонятельных сигналов, показала существенную роль в этом процессе колебательной и стохастической динамики и послужила стимулом для многих работ по моделированию обонятельной системы. Популярное изложение представлений У. Фримена о физиологии обонятельного восприятия можно найти в работе [43].
Обонятельные рецепторы, распределенные по поверхности носа, передают с сохранением топографии информацию о входном сигнале (запахе) нейронам обонятельной луковицы. В обонятельной луковице обычно рассматривают два типа нейронов: возбуждающие (митральные) клетки и тормозные (гранулярные) клетки, которые равномерно распределены по двумерной поверхности. Наличие возбуждающих и тормозных клеточных популяций создает возможность для появления колебательной активности. Наблюдения показывают, что у спящих или анестезированных животных фоновая активность низкая, стационарного типа. У бодрствующих животных, готовых к обработке обонятельных сигналов, фоновая активность имеет вид стохастических колебаний с небольшой амплитудой. В работе С. Скарды и У. Фримена [95] при обсуждении значения хаотических колебаний для функционирования мозга подчеркивается, что хаотический режим фоновой активности определяет состояние "готовности", позволяет легко переходить к определенному динамическому режиму, соответствующему реакции на поступивший сигнал.
При детекции определенного запаха в обонятельной луковице возникают когерентные колебания (залпы) с частотой 40-80 Гц, при этом в определенных Местах обонятельной луковицы амплитуда колебаний значительно больше, чем в остальных. Эти наблюдения позволили сформулировать гипотезу о пространственном коде: каждому поступающему сигналу (запаху) соответствует определенное распределение величин амплитуд колебаний по поверхности обонятельной луковицы. Если на вход системы поступает знакомый сигнал и он опознается, то в определенных местах обонятельной луковицы появляются высокоамплитудные колебания. При поступлении нового сигнала система его запоминает и в результате приобретает способность распознавать еще один запах.
Обзор моделей обонятельной системы начнем с модели У. Фримена [42], которая получила дальнейшее развитие в последующих работах [44,126]. Модель содержит три одинаково устроенных нейронных осциллятора со связями типа "все на всех", которые моделируют ЭЭГ активность обонятельной луковицы, переднего обонятельного ядра и пириформной коры, связанных между собой через латеральный обонятельный тракт.
Нейронный осциллятор состоит из двух возбуждающих и двух тормозных Нейронных популяций. Активность каждой популяции описывается дифференциальным уравнением второго порядка, содержащим линейную и нелинейную части. Линейная часть определяет собственную динамику популяции без воздействия Других популяций, которая имеет форму импульсного ответа на подаваемое возмущение. Нелинейная часть содержит взвешенную сумму S-образных функций, описывающих выходную активность нейронных популяций. Таким образом, каждый нейронный осциллятор задается системой восьми нелинейных дифференциальных уравнений первого порядка.
Исследование системы взаимодействующих осцилляторов показало наличие стохастической динамики, хорошо воспроизводящей хаотические паттерны ЭЭГ активности в фоне (с низкой амплитудой) и когерентные высокоамплитудные залпы колебаний, возникающие в системе при рецепции запаха. Представляет интерес обсуждение различных сценариев возникновения хаотической динамики в сети при изменении ее параметров и сопоставление этих сценариев с известными экспериментальными фактами о процессе обработки информации в обонятельной системе.
Эта же модель нейронного осциллятора рассматривается в работе У. Фримена и др. [45]. Сеть из N таких осцилляторов со связями "все на всех" используется для объяснения процессов запоминания и распознавания бинарных паттернов в обонятельной коре (0 или 1 в паттерне означают отсутствие или наличие сигнала на входе соответствующего осциллятора).
При запоминании информации применяется обучающее правило корреляционного типа: связь между возбуждающими популяциями двух разных осцилляторов становится сильной, если на каждый из осцилляторов поступает входной сигнал, инициирующий колебательную активность. В противном случае связь остается слабой. После такого обучения при подаче на сеть одного из запомненных бинарных паттернов осцилляторы, получающие сигнал, будут демонстрировать высокоамплитудные колебания, а остальные осцилляторы - низкоамплитудные. Рассмотренная модель памяти обладает свойством ассоциативности: если после обучения на систему подается паттерн, близкий к одному из "запомненных", то в сети осцилляторов распределение высоких и низких амплитуд колебаний будет соответствовать этому запомненному паттерну.
Свойство ассоциативности сети авторы используют для решения задачи классификации. Предположим, что множество паттернов состоит из М классов, в каждом из которых априорно указано по одному типичному представителю (образцу). Воспользовавшись корреляционным обучающим правилом, научим сеть помнить эти образцы. После этого любой паттерн, подаваемый на сеть, будет ассоциироваться с одним из образцов (ближайшим); тем самым этот паттерн будет включен в один из М классов.
В работе Ю. Яо и У. Фримена [125] предложена идея использования хаотической динамики для распознавания паттернов. В модели Фримена выбираются такие значения параметров, при которых в многомерном фазовом пространстве существует маломерный хаотический аттрактор, состоящий из "центральной части" и набора "крыльев". Движение вблизи "центральной части" аттрактора означает состояние фоновой активности, а каждое "крыло" связано с одним из запомненных образцов. Тогда процесс распознавания паттернов можно представить как переход от одного "крыла" к другому.
Интересно, что идея использования стохастической динамики для распознавания паттернов, первоначально высказанная в связи с моделированием обонятельной системы, доведена до технического приложения в области очень далекой от указанной [126]: разработан алгоритм, позволяющий отличать бракованные винты и шурупы от стандартных. Проведенное сравнение нового алгоритма с уже известными показало его эффективность, надежность и другие преимущества.
В работах Б. Бэирда по моделированию обонятельной системы основное внимание уделяется математическим аспектам задач запоминания и распознавания паттернов. В работе [14] рассматривается модель обонятельной луковицы, состоящая из нейронных осцилляторов Вилсона-Коуэна (2.12) со связями "все на всех". Показано, что в такой системе возможна кратная бифуркация Хопфа (чисто мнимые пары собственных значений без резонансных соотношений), в результате чего рождается несколько устойчивых предельных циклов, каждый из которых характеризуется определенным соотношением амплитуд колебаний различных осцилляторов. Тем самым создается возможность для "запоминания" набора паттернов, соответствующих предельным циклам.
Моделирование колебательной активности обонятельной луковицы стимулировало постановку более общей задачи о конструировании нейронных сетей с заданной динамикой, в частности, конструирование нейронных сетей, имеющих заданный набор устойчивых стационарных состояний, или же конструирование нейронных сетей с заданным набором устойчивых периодических аттракторов (предельных циклов). (Под конструированием здесь понимается определение весов связей нейронной сети с фиксированными элементами и архитектурой связей.) Первую задачу рассматривал, например, Дж. Хопфилд [51,52], построивший нейронную сеть с устойчивыми стационарными точками в предписанных местах. Второй задаче посвящена работа Б. Бэирда [15]. Заметим, что в ряде случаев важно иметь не только определенный набор аттракторов нейронной сети, но и определенную динамику в переходной области. Так, например, в работе В.И. Крюкова и др. [3] моделирование кратковременной памяти осуществлялось на основе длительного переходного процесса от активного в начальный момент паттерна к одному из аттракторов системы.
В работе [15] Б. Бэирд использует
аналитические методы теории бифуркаций для
разработки алгоритма нахождения
синаптических весов в нейронной сети со
связями "все на всех" с целью запоминания
заданного набора устойчивых предельных
циклов. Этот алгоритм применяется для
моделирования ЭЭГ активности обонятельной
луковицы во время вдыхания и позволяет
объяснить способность сети к распознаванию
образов (запахов) в процессе выработки
условного рефлекса. Основным результатом
работы [15] является алгоритм выбора весов
связей в нейронной сети из N элементов
для запоминания N/2 устойчивых
колебательных аттракторов (предельных
циклов). Доказано, что для любого множества,
состоящего из N/2 предельных циклов,
можно построить нейронную сеть (систему N
дифференциальных уравнений)
|
(3.1) |
в которой выбранные предельные циклы будут аттракторами. При этом коэффициенты Tij и Rijkl (связи между элементами сети) вычисляются по определенным обучающим правилам через заданные характеристики предельных циклов: абсолютные амплитуды rs, частоты ws, векторы относительных амплитуд и фаз по каждой из N пространственных координат (хs1,..., хsN) и (qs1,..., qsN) (s = 1,2,...N/2). Предельные циклы в параметрическом виде задаются уравнениями
Таким образом, каждая траектория системы будет эволюционировать к одному из предельных циклов в соответствии с начальными условиями, выбранными в области притяжения одного из них. Предельным поведением траектории будут колебания вблизи одного из "запрограммированных аттракторов". Кроме того, автор обсуждает обучающее правило "запоминания" аттракторов, сравнивая его с известным обучающим правилом Хебба, а также обсуждает возможность конструирования заданных областей притяжения аттракторов.
Разработанный метод "программирования" периодических аттракторов нейронной сети Б. Бэирд использует для моделирования процесса формирования и распознавания обонятельных образов в процессе выработки условного рефлекса. Сочетание условных (запахи) и безусловных стимулов приводит к формированию таких связей нейронной сети (коэффициентов Tij, Rijkl в системе (3.1)), которые обеспечивают запоминание определенных паттернов активности (аттракторов типа "предельный цикл"). Процесс распознавания соответствует движению траектории из начальной точки, находящейся в области притяжения одного из аттракторов, к этому аттрактору.
В работе 3. Ли и Дж. Хопфилда [76] рассматривается модель обонятельной луковицы, состоящая из двух слоев клеток (цепочек, замкнутых в кольцо) - митральных (возбуждающих) и гранулярных (тормозных) клеток. Каждая митральная клетка действует на соседние гранулярные клетки и наоборот; кроме того, имеются локальные связи внутри каждого слоя.
Модель обонятельной луковицы определяется следующими уравнениями:
где векторы X(t), Y(t) определяют активность в слоях митральных (возбуждающих) и гранулярных (тормозных) нейронов; gx(·), gу(·) - нелинейные S-образные функции активности на выходе возбуждающих и тормозных нейронов; h, w - матрицы весов локальных связей между слоями; i, ic. - внешние входы на митральные и гранулярные клетки, состоящие из информационной и шумовой компонент.
Информация о запахах поступает на вход i в виде периодического сигнала с частотой, равной частоте дыхания, с определенной амплитудой, характеризующей запах. Информация о запахе кодируется в сети осцилляторов устойчивым предельным циклом, а не стационарным состоянием, как это принято в известной модели ассоциативной памяти Хопфилда.
Анализ модели показывает, что при подаче входного сигнала все клетки работают когерентно с одной и той же частотой, что соответствует экспериментальным данным. Модель способна классифицировать подаваемые на вход запахи, так как одни входные паттерны вызывают колебания в сети, а другие нет. Кроме того, различным входным воздействиям соответствует колебательная активность сети различной формы, т.е. модель усиливает различие паттернов. Реакция модели обонятельной луковицы на один и тот же "запах" в различных шумовых окружениях будет примерно одинаковой.
Имитационная модель обонятельной коры М. Вилсона и Дж. Бауэра [121] состоит из следующих четырех нейронных популяций: возбуждающие пирамидные клетки, две популяции тормозных интернейронов обонятельной (пириформной) коры и популяция клеток обонятельной луковицы, которая служит входом для обонятельной коры. Каждая популяция содержит 100 нейронов. Нейрон в этой модели описывается с учетом многих деталей, присущих реальному нейрону. Он состоит из пяти блоков, описывающих части дендрита, сому и аксон. Некоторые из синапсов на пирамидных клетках являются модифицируемыми. (Правило модификации аналогично правилу Хебба, но учитывает особенности распределения тока по различным ионным каналам.)
Показано, что такая сеть обладает ассоциативной памятью. При запоминании входных паттернов имеется возможность регулировать степень их перекрытия в пространственном распределении по сети. Например, можно запоминать близкие паттерны таким образом, что им будут соответствовать сильно различающиеся паттерны активности обонятельной коры (свойство дискриминации). С другой стороны, сильно различающиеся входные паттерны могут запоминаться так, что соответствующая им кортикальная активность будет иметь значительные перекрытия (свойство аккомодации). Оба эти свойства существенны для классификации обонятельных стимулов.
Отметим, что достоинством данной имитационной модели является возможность непосредственно сопоставить результаты моделирования с экспериментальными данными, полученными на бодрствующих животных.