Статистические свойства ансамбля образов, которые участвуют в формировании нелинейной системой нейронов реакций на те или иные стимулы, не являются произвольными, а определяются статистикой стимулов, поступающих в систему на стадии обучения (см. раздел "Модель нейронной сети"). С другой стороны, на процесс запоминания системой новых образов может оказывать существенное влияние информация, записанная в матрице V в предшествующие моменты времени.
Чтобы проиллюстрировать
взаимообусловленность процессов обучения
и распознавания, рассмотрим следующий
пример. Пусть в V записаны два
ортогональных образа, хеммингово
расстояние между которыми равно m, и
пусть в качестве начального условия для
системы (2), (3) выбираются элементы
последовательности векторов, первый член которой совпадает с первым (левым)
образом, а последний - со вторым (правым)
образом. При моделировании (2), (3) на ЭВМ
использовались алгоритм Хопфилда (5*) и
дискретный аналог (З):
Vij(l+1) = Vij(l) + eji (l)ji (l) |
(22) |
где V(l) - матрица связей между нейронами в l-м акте распознавания, j(1) - результат l-го процесса распознавания: j(l)=j1 или j2.
Как показали численные эксперименты, при определенных значениях параметра e в (22) средние стимулы предъявленной последовательности могут восприниматься либо как искаженный левый, либо как искаженный правый образы в зависимости от порядка, в котором предъявляются стимулы, т.е. имеет место бистабильность восприятия. Оценку ширины области гистерезиса х получим, полагая, что на границе этой области энергия (1), соответствующая взаимодействию стимула с левым образом, увеличенная в [1+e(m/2+х/2)]2 раз, равна исходной энергии, соответствующей взаимодействию стимула с правым образом:
[1+e(m/2+х/2)][N-2(m/2+х/2)]2=[ N-2( m/2+х/2)]2.
Отсюда при x<<N1ºN-m находим ширину области гистерезиса: x=m/[(8/eNi)-1]. Если e³4/N1, область гистерезиса охватывает всю последовательность стимулов: х=m. В этом случае запоминание системой согласно (3) одного из образов, получившегося в результате распознавания последовательности стимулов, приводит к невозможности получить в качестве устойчивого второй образ памяти, т.е. к эффективному забыванию последнего. Аналогичное явление в психологии человеческой памяти получило название "проактивное забывание" [З].
Моделирование на ЭВМ показало, что уменьшение числа деталей образа приводит к уменьшению ширины области гистерезиса. Отметим, что аналогичное явление наблюдается при исследовании гистерезиса зрительного восприятия [23].
Если теперь стимулы предъявляются случайным образом (с частотой W), то изменение ширины области "притяжения", например левого образа, описывается уравнением х' = 2eWx/m, где m - хеммингово расстояние до ближайшего образа. Таким образом, область притяжения экспоненциально растет со временем, что приводит к вытеснению одного образа другим.
Ограничение на величину матричных элементов |Vij| £ V0, возникающее из-за нелинейного слагаемого в (3), приводит к тому, что вновь записываемые образы уменьшают относительный вес старых, а также частично искажают их. Аналогичное явление в психологии носит название "ретроактивное забывание" [З], при этом новая информация вытесняет старую.
Рассмотренные примеры показывают, что процесс запоминания ансамблем нейронов новой информации существенно зависит от имеющихся в V старых образов, от величины модификации матрицы связей в каждом акте распознавания, а также от той последовательности стимулов, которые предъявляются системе.
В несколько отличных от рассмотренной в настоящей работе моделях самоорганизация нейронных сетей изучалась в [11, 12, 24], где обучение системы в процессе взаимодействия с внешними стимулами приводило к возникновению предельных циклов в динамике нейронов.