Появление в последние годы многочисленных публикаций по моделированию зрительной системы с использованием осцилляторов вызвано серией экспериментальных работ, выполненных в лабораториях В. Зингера и Р. Экхорна [35,46,48,49]. Суть полученных данных такова. У обездвиженных анестезированных кошек, которым предъявляли зрительные стимулы в виде ярких ориентированных движущихся отрезков, регистрировалась электрическая активность групп нейронов в отделах первичной зрительной коры, которые ответственны за начальные этапы обработки зрительной информации. При этом:
Важность этих данных обусловлена тем, что они подкрепляют высказанную ранее гипотезу об осцилляторной природе обработки информации мозгом, в рамках которой могут найти разрешение такие трудные проблемы нейрофизиологии и психологии, как, например, проблема интеграции в единый образ различных признаков одного объекта. В соответствии с указанной гипотезой признаки объекта кодируются с помощью фаз (или частот) групп осциллирующих нейронов, а объединение этой информации в единый образ происходит путем синхронизации колебаний соответствующих групп [72,81].
Согласно классическим представлениям, сформулированным Д. Хьюбелом и Т. Визелем, нейроны зрительной коры избирательно реагируют на предъявляемые стимулы. Так, у нейрона, чувствительного к ориентации стимула, наиболее высокая активность появляется при определенном угле наклона светящегося отрезка (ориентационная предпочтительность). При появлении стимула в поле зрения реакция на него проявляется у группы нейронов, получающих входную информацию с соответствующего участка сенсорной области - рецептивного поля (РП) этих нейронов. Если нейроны расположены близко друг к другу, то их рецептивные поля пересекаются.
Перечислим основные экспериментальные факты, нашедшие отражение в работах по моделированию.
ЭФ 1. Если стимул пересекает общую часть РП нескольких нейронов, то активность этих нейронов синхронизируется независимо от их ориентационной предпочтительности.
ЭФ 2. Если общая часть РП нескольких нейронов с разной ориентационной предпочтительностью пересекается одновременно двумя стимулами с разной ориентацией, то эти нейроны образуют две группы, в каждой из которых активность нейронов синхронна, а между группами синхронности нет.
ЭФ 3. Активность нейронов с непересекающимися РП синхронизируется только, если стимулы проходят эти поля одновременно и имеют одинаковую ориентацию и направление движения.
ЭФ 4. Синхронизованность колебаний активности нейронов с непересекающимися РП повышается, если в качестве стимула использовать не два коллинеарных отрезка, а один длинный отрезок, который пересекает сразу оба РП.
ЭФ 5. Синхронизация активности влечет за собой отсутствие существенной разности фаз между синхронизованными колебаниями.
Модели, предложенные для воспроизведения (имитации) и объяснения этих экспериментальных фактов, можно условно разделить на две группы. В некоторых моделях основным элементом является "нейрон", напоминающий по своим характеристикам реальную нервную клетку, и осцилляции возникают как результат взаимодействия групп нейронов. Но большинство исследователей сосредотачивает внимание на различных аспектах синхронизации и использует либо феноменологические модели фазовых осцилляторов типа (2.3), либо модели типа Вилсона-Коуэна (2.12). Переход от описания активности отдельных клеток к системе уравнений для средней активности популяций нейронов, а затем - к упрощенному описанию системы связанных осцилляторов фазовыми уравнениями продемонстрирован в работах X. Шустера и П. Вагнера [108,109].
Наиболее серьезная попытка охватить в рамках единой модели достаточно большое число экспериментальных данных предпринята в работах Г. Сомполинского и др. [111-113]. Предполагается, что динамика фазы i-го нейрона удовлетворяет уравнению взаимодействующих фазовых осцилляторов с шумом:
где w- собственная частота осциллятора, hi - гауссовский шум. Величины Kij характеризуют взаимодействие между нейронами i, j и зависят от архитектуры сети и активности этих нейронов. Предполагается, что i-й нейрон имеет определенную ориентационную предпочтительность a к углу наклона стимула. Если в его РП появится стимул с углом наклона а, то реакция нейрона будет пропорциональна величине Гi = f0(ai - a). Все нейроны сети разбиты на группы, в каждой из которых есть элементы с различной ориентационной предпочтительностью ai, но все нейроны одной группы имеют общее РП. Величина взаимодействия между нейронами задается в виде:
Кij = Гi WijГj,
где Wij = Wsf1(ai - aj), если нейроны принадлежат к одной группе и Wij = WLf2(ai - aj), если нейроны относятся к разным группам. Четные функции fm(f) (m = 0,1,2) имеют максимум в нуле и убывают при удалении f от нуля.
Параметры WS и WL, характеризующие внутригрупповые и межгрупповые связи, удовлетворяют соотношению WL/WS = e << 1, что гарантирует синхронизацию активности нейронов внутри группы относительно независимо от глобальной реакции на стимул.
На основе приведенных постулатов получены выражения для авто- и кросс-корреляционных функций активности нейронов сети. Успешное решение этой задачи опирается на следующие особенности модели: одинаковость собственных частот осцилляторов; специальный вид коэффициентов связи и их симметрия; возможность разделить анализ взаимодействия осцилляторов на два уровня. На первом уровне рассматривается только взаимодействие осцилляторов внутри группы, на втором - взаимодействие групп (группа - один макроосциллятор).
С использованием методов статистической физики и теории среднего поля показано, что такой двухуровневый анализ дает хорошую аппроксимацию при выполнении некоторых естественных ограничений на функции взаимодействия и при условии, что амплитуда внутригрупповой составляющей шума не превосходит некоторого (вычисляемого аналитически) критического значения. В этом случае осцилляторы в каждой группе ведут себя в достаточной степени синхронно.
В результате аналитического исследования модели и имитационного моделирования были выявлены области значений параметров, при которых воспроизводятся ЭФ 1, ЭФ 3 - ЭФ 5. Кроме того, моделировалось отличие в реакции сети на различные типы стимулов: гладкая кривая и угол, образованный двумя отрезками. В первом случае имеет место высокая корреляция активности во всех группах, активированных стимулами. Во втором случае группы распадаются на два класса, внутри класса активность нейронов синхронизована, но между классами синхронизации нет.
Вопрос о синфазности колебаний в контексте моделирования ЭФ 5 исследовался в работах Д. Каммена и др. [57-59]. В этих работах рассмотрено две архитектуры ОНС. В первой, получившей название цепочечной модели, каждый осциллятор взаимодействует с ближайшими соседями справа и слева. Во втором типе нейронных сетей, названном компараторной моделью, взаимодействие осцилляторов осуществляется через специальный элемент, способный вычислить среднюю фазу.
Аналитическое исследование этих моделей
проводилось при условии их непрерывной
аппроксимации, когда число осцилляторов N
велико. Положение осциллятора задается
координатой х на отрезке [0,1]. Уравнения
динамики фаз имеют вид:
 |
(цепочечная) |
 |
(компараторная) |
где f - дифференцируемая периодическая нечетная функция.
Внешнее воздействие на осциллятор (стимул) задается изменением его собственной частоты w(х). Осцилляторы, на которые подается стимул, образуют "объект", их собственные частоты одинаковы w(х) = wобъект. Остальные осцилляторы образуют "фон" w(х) = wфон < wобъект.
В цепочечной и компараторной моделях по-разному решается вопрос о синфазности колебаний. Если достигнута синхронизация всех осцилляторов в сети, нетрудно видеть, что в компараторной модели из равенства собственных частот вытекает равенство фаз осцилляторов, в то время как для цепочечной модели это, вообще говоря, не так.
Более интересный случай, когда разность wобъект - wфон сравнительно велика, так что синхронизация между осцилляторами "объекта" и "фона" не достигается. Этот случай исследовался на ЭВМ с использованием дискретных вариантов моделей.
Проведенные эксперименты показали, что в цепочечной модели наблюдается значительная вариабельность фаз осцилляторов как "объекта", так и "фона". В компараторной модели, хотя частоты "объекта" и "фона" различались и не были постоянны во времени, тем не менее довольно быстро устанавливались и поддерживались очень близкие значения фаз осцилляторов "объекта". Таким образом, синфазность колебаний в экспериментальных данных (ЭФ 5) авторы склонны объяснять использованием механизма, близкого компараторной модели.
Получение синфазных колебаний при наличии локальных связей оказалось тем не менее возможным в двумерных сетях, являющихся естественным обобщением цепочечной модели. Связанные с этим вопросы рассматривались в работах П. Балди и др., Э. Нибура и др. [16,84,85]. Исследовались сети с тремя видами конфигурации связей:
Поскольку аналитическое исследование таких сетей затруднительно, анализ проводился с помощью имитационного моделирования на ЭВМ.
Показано, что режимы синхронизации "объектов" в двумерных сетях могут быть весьма разнообразными. При определенных условиях можно добиться того, что колебания в пределах одного "объекта" или даже разных "объектов" будут близки к синфазным. В работе П. Балди и Р. Меир [17] этот режим использован для выделения объектов из фона при предобработке текстур.
Однако имеются примеры [84] наличия значительного градиента фазы в пределах одного удлиненного "объекта", в частности возможна ситуация, когда на противоположных концах "объекта" колебания будут противофазными.
Данные о скорости синхронизации сетей или отдельных "объектов" в сети при различных конфигурациях связей приведены в работах [84,85]. Из них следует, что на скорость синхронизации наибольшее влияние оказывает наличие более далеких связей. Поэтому наибольшую скорость синхронизации обеспечивает конфигурация типа в), далее следуют б) и а).
Вопросы синхронизации-десинхронизации в зависимости от характера входного сигнала рассматриваются в работах Т. Шиллена и П. Кенига [64,65, 96-98]. Исходные элементы модели - нелинейные осцилляторы (типа Вилсона-Коуэна (2.12)) с задержкой в связях. Осцилляторы расположены в узлах двумерной решетки и связаны с соседями следующим образом: каждая возбуждающая популяция оказывает влияние на соседние тормозные популяции с задержкой, равной внутренней задержке осциллятора. Эти связи авторы называют синхронизирующими, так как имитационные эксперименты показали, что при достаточно большой силе связи активность быстро становится синфазной, а для малых величин связи наблюдается полная десинхронизация (так как уровень шума достаточно велик).
Важно отметить, что радиус корреляций, которые наблюдали в этом эксперименте, значительно превышает радиус непосредственных связей. Вводя на решетке связи с соседями не только первого, но и второго, третьего порядков, можно получить модельный аналог ЭФ 4.
Имитация ЭФ 2 - образование одного или двух кластеров синфазных колебаний в зависимости от характеристик входного стимула - на рассматриваемой модели становится возможной после введения связей между возбуждающими популяциями соседей второго порядка (десинхронизирующие связи).
Для моделирования ЭФ 3 модель дополняется двумя слоями элементов, чувствительных к направлению движения стимула. Связи между слоями - обобщение на трехмерный случай синхронизирующих-десинхронизирующих связей: для более близких соседей возбуждающая популяция влияет на тормозную популяцию соседа, у более далеких - связаны возбуждающие популяции.
В отличие от упомянутых моделей в работах трех других групп исследователей: Г. Эдельмана и др. [41,114], Р. Экхорна и др. [36,91,92], Т.Н. Борисюк и др. [21], - исходным элементом сети является не осциллятор, описывающий активность популяции нейронов, а нейрон с рефрактерностью, затуханием потенциала и т. д. В модели Экхорна и др. [36,91] сам нейрон при постоянном входе способен демонстрировать осцилляторную активность. В [41, 114] и [21] из больших групп нейроподобных элементов построены сети, архитектура которых в большей или меньшей степени отражает специфику строения кортекса (многослойные колонки, связи между колонками с однотипными свойствами). При том, что нейроны в этих моделях отличаются друг от друга и сети не тождественны по архитектуре, общим является механизм возникновения осцилляции: взаимодействие возбуждающих и тормозных элементов.
Влияние различных типов связей на синхронизацию активности удаленных колонок рассматривалось в работе [21]. Возбуждающие связи между колонками приводят к весьма неустойчивой синхронизации, в то время как тормозное воздействие колонки на колонку обеспечивает синфазность осцилляции. Введение в возбуждающие связи между колонками нелинейных синапсов с так называемыми NMDA-рецепторами (которые эффективны, т.е. пропускают сигнал только при условии достаточной активности принимающих элементов) позволяет получить синфазные колебания даже при ненулевой задержке при передаче сигнала.
В модели Г. Эдельмана и др. [41,114] есть две основные сети: первичная, принимающая входной сигнал, и вторичная, которая получает информацию от первичной, анализирует движение паттерна, а затем возвращает сигнал снова в первичную сеть. На имитационной модели показано, что синхронизация ответов без сдвига по фазе у колонок с пересекающимися РП обеспечивается непосредственными связями, а у далеких - входом от вторичной сети. (Этот сигнал имеет подпороговую величину и не влияет на размер РП.)
В работах Р. Экхорна и др. [36,91,92] используются пороговые нейроны с синапсами двух типов. Внешний информационный сигнал приходит на обычные синапсы, т.е. его суммарная величина добавляется к подпороговому процессу. Связи с другими нейронами сети осуществляются через синапсы модулирующего типа: сигнал, пришедший от другого нейрона по "объединяющему" ("linking") входу, умножается на информационный сигнал, и к подпороговому процессу добавляется это произведение. Введение такого типа связей не изменяет свойства рецептивных полей отдельных нейронов, но приводит к полной (без сдвига по фазе) синхронизации активности в удаленных клетках, если они получают сходные по величине "информационные" входные сигналы и соединены "объединяющими" связями.
В имитационных экспериментах на одно- и двумерных сетях авторы демонстрируют выделение (посредством синхронизации активности) неподвижного или движущегося вдоль сети компактного стимула, а также получают аналоги известных зрительных иллюзий. Введение дополнительного слоя позволяет синхронизовать отдаленные участки. При этом на первый слой поступает внешний стимул, внутри слоя связи между нейронами "объединяющие". Каждый нейрон второго слоя получает вход информационного типа от четырех нейронов первого слоя, а обратная связь на первый слой - "объединяющего" типа. На сети с такой архитектурой связей авторам удалось синхронизовать активность двух разнесенных участков в первом слое, которые стимулируются одновременно.
М. Вилсон и Дж. Бауер в работе [122] демонстрируют, как можно получить результаты, соответствующие экспериментальным данным по зрительной коре, используя нейронную сеть, аналогичную той, что была ими разработана для моделирования обонятельной системы (см. [121] и раздел 3 настоящего обзора).
Кроме перечисленных работ существуют модели зрительной системы, не связанные непосредственно с экспериментальными данными [35,46,48,49], но следующие общей концепции, согласно которой формирование цельного образа объекта из отдельных признаков происходит путем синхронизации колебаний определенных элементов сети. Мы имеем в виду модель X. Шимизу и др., в которой используются принципы обработки контурных изображений, получившие название головидения [102-106] и сочетающие в себе некоторые черты функционирования зрительной системы живых существ и параллельного компьютера
Главная задача головидения - кодирование объекта, заданного набором контурных точек, с помощью синхронно работающих осцилляторов. Эта задача решается путем установления синфазных колебаний в тех осцилляторах, на которые поступают сигналы от отрезков прямых линий на изображении. В то же время, между группами синфазных осцилляторов, кодирующих разные отрезки, устанавливается определенная разность фаз, зависящая от угла между этими отрезками. Реализующая головидение ОНС имеет довольно сложную архитектуру, рассмотрение которой выходит за рамки данного обзора.