НЕЛИНЕЙНЫЕ СИСТЕМЫ С ПАМЯТЬЮ И МОДЕЛИРОВАНИЕ ФУНКЦИЙ НЕЙРОННЫХ АНСАМБЛЕЙ

1 МОДЕЛЬ НЕЙРОННОЙ СЕТИ

Рассмотрим динамическую систему, элементы которой - "нейроны" - взаимодействуют между собой и с "термостатом". Состояние i-го нейрона в системе (i=1,...,N) описывается непрерывной переменной s_i(t) (t - время), взаимодействие нейронов, которое для простоты предполагается парным, - матрицей с элементами V_ij. Будем рассматривать величину
(1)

(l>0 - параметр) как лагранжиан взаимодействия системы, являющийся функционалом независимых переменных s и V. Учитывая взаимодействие нейронов с термостатом, приводящее к появлению "сил трения" (s'/g₁,V'/g₂), из (1) получим динамические уравнения для V и s:
(2)
(3)

Добавленные в эти уравнения нелинейные слагаемые (f, F) препятствуют неограниченному возрастанию абсолютных значений величин s и V; в рамках лагранжевой схемы они могут быть включены в (1) в виде потенциалов, быстро возрастающих вблизи |s_i| = s₀, |V_ij| = V₀.

Величины z_i(t), x_ij(t) в (2), (3) представляют собой ланжевеновские источники шума. В нервных сетях источниками шума являются дробовой шум, возникающий вследствие дискретного характера выделения нейромедиатора в синаптических окончаниях, а также несинаптические взаимодействия нейронов между собой [13-16]. В простейшем случае шум можно охарактеризовать введением эффективной температуры термостата Т; при этом имеем

<z> = <x>= 0, <z²> = <x²>=T,

где угловые скобки обозначают усреднение по времени.

Рис. 1 - Механическая модель рассматриваемого ансамбля нейронов

Рассмотрим механическую аналогию процессов, описываемых уравнениями (2), (3). В механике движение частицы под действием заданных сил можно описывать уравнениями Ньютона. Пусть материальная точка движется по рельефу, изображенному на рис. 1, и будем считать, что на нее действуют силы трения и сила тяжести. При скатывании с "горы" в одну из "низин" потенциальная энергия системы уменьшается, и в конце концов материальная точка останавливается из-за трения. Положение частицы в конечном состоянии (т.е. та из низин, в которой она останавливается) зависит как от формы рельефа, так и от начального состояния, из которого началось скатывание. Если координаты вершин квадрата, образованного вершинами и низинами, равны (+1, +1), то конечное состояние механической системы, изображенной на рис. 1, будет соответствовать одной определенной паре чисел, например +1, +1. Уравнения Ньютона для рассматриваемой механической системы либо уравнения (2), (3), описывающие динамику двух взаимодействующих нейронов, можно в принципе решить сколь угодно точно (например, с помощью ЭВМ). Однако, для ансамбля, состоящего из нескольких десятков или сотен нейронов, или в случае многомерного движения материальной точки эта задача становится практически неразрешимой. Поэтому, опуская промежуточные детали процесса движения (релаксации) рассмотрим лишь грубые изменения энергии, происходящие при изменении окончательного положения частицы. Эти точки можно себе представлять как вершины N-мерного куба с координатами +1, +1, ..., +1. Роль потенциальной энергии точки в этом случае играет величина E=-L, введенная в (1), роль скатывающей силы - величина, стоящая в правой части (2) (скатывающая сила называется также "молекулярным полем").

Если масса материальной точки достаточно мала, то частица будет совершать так называемое броуновское движение, которое тем более интенсивно, чем выше температура системы. Физической причиной этого движения являются случайные толчки, непрерывно испытываемые материальной точкой со стороны других частиц системы. Среднее значение знакопеременной силы толчков равно нулю, а ее средний квадрат пропорционален температуре. В уравнениях (2), (3) эти толчки описываются слагаемыми z_i(t), x_ij(t).

Материальная точка, скатываясь по рельефу, несколько изменяет профиль склонов, например, углубляет. Этот процесс является механической моделью пластичности связей между нейронами, описываемой уравнением (3).

Динамика системы (2), (3) существенно зависит от ее предыстории. Исследуем сначала эволюцию s и V в специальных условиях - в процессе, имеющем характер "обучения". Обучение заключается в том, что в (2) включается сильное внешнее поле, действующее в течение времени t₁, в результате чего вектор s принимает стационарное значение j¹, соответствующее "образу" с компонентами ±s₀. В результате обучения матрица V_ij в соответствии с (3) (считаем, что слагаемым x_ij в процессе обучения можно пренебречь) изменяется на величину DV_ij = g₂lt₁j¹_ij¹_j. При этом мы предполагаем, что время обучения t₁ значительно больше времени релаксации во внешнем поле вектора s к своему стационарному значению j¹. Процедуру обучения можно повторить многократно, используя образы j^s, s=1, ..., s₀. Считая для простоты, что до начала обучения V=0, после окончания процедуры получим
(4)

где коэффициенты m^s зависят от длительности обучения.

Из (2)-(4) следует, что в отсутствие внешнего поля характерные времена релаксации переменных s (t_s»(g₁lNs₀)^-1) и V(t_V»(g₂ls₀)^-1) существенно различаются: t_s<<t_V. Динамику системы на временах порядка t_s можно интерпретировать как "распознавание образов". Рассмотрим этот процесс более подробно.