Title: ронные связи относятся к основным структурным компонентам мозга, в первую очередь, определяющим его функциональные характерист
Author: mayak
Last saved by: AT&TCS
Company: fcita

ОСНОВЫ ТЕОРИИ ИСКУССТВЕННЫХ СЕТЕЙ
Нейронная сеть общие положения.

Актуальность исследований искусственных нейронных сетей подтверждается многообразием их возможных применений. Теория НС является алгоритмическим базисом развития нейрокомпьютеров, подобно тому, как булева алгебра более 50 лет являлась алгоритмическим базисом однопроцессорных и многопроцессорных ЭВМ.
	Современные цифровые вычислительные машины превосходят человека по способности производить числовые и символьные вычисления. Однако человек может без усилий решать сложные задачи восприятия внешних данных (например, узнавать в толпе знакомого только по его промелькнувшему лицу) с такой скоростью и точностью, что самый мощный в мире компьютер по сравнению с ним окажется безнадежным тугодумом. Причина столь значительного различия в их производительности заключена в том, что архитектура биологической нейронной системы совершенно не похожа на архитектуру машины фон Неймана (табл.1.1) , а это существенно влияет на типы функций, которые более эффективно исполняются  каждой из моделей.
Таблица 1.1
Машина фон Неймана по сравнению с биологической нейронной системой
| Машина фон Неймана | Биологическая нейронная система
Процессор | Сложный | Простой
| Высокоскоростной | Низкоскоростной
| Один или несколько | Большое количество
Память | Отделена от процессора | Интегрирована в процессор
| Локализована | Распределенная
| Адресация не по содержанию | Адресация по содержанию
Вычисления | Централизованные | Распределенные
| Последовательные | Параллельные
| Хранимые программы | Самообучение
Надежность | Высокая уязвимость | Живучесть
Специализация | Численные и символьные  oперации | Проблемы восприятия
Среда функционирования | Строго определенная | Плохо определенная
| Строго ограниченная | Без ограничений

Нейронная сеть — это сеть с конечным числом слоев из однотипных элементов - аналогов нейронов с различными типами связей между слоями. При этом число нейронов в слоях выбирается исходя из необходимости обеспечения заданного качества решения задачи, а число слоев нейронов - как можно меньшее для сокращения времени решения задачи.
Развитие искусственных нейронных сетей вдохновлялось и вдохновляется биологией. Однако наши знания о работе мозга ограничены, и разработчикам искусственных НС приходится выходить за пределы современных биологических знаний в поисках структур, позволяющих выполнять полезные функции. Так часто создаются сети невозможные в живой материи или требующие неправдоподобно больших допущений об анатомии и функционировании мозга.
Нервная система человека, построенная из элементов, называемых нейронами, очень сложна. Около 10^11 нейронов участвуют в примерно 10^15 передающих связях. Уникальными способностями нейронов являются прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга.
Несмотря на огромное количество нейронов, их тела занимают всего несколько процентов общего объема мозга. Почти все остальное пространство занято межнейронными связями. Число связей каждого нейрона не имеет аналогов в современной технике. Понимание того, что межнейронные связи относятся к основным структурным компонентам мозга, в первую очередь, определяющим его функциональные характеристики, является одним из наиболее существенных выводов, сделанных нейрофизиологами. В подтверждение можно привести высказывание известного нейрофизиолога Э. Кэндела: "По убеждению многих нейробиологов в конце концов будет доказано, что уникальные свойства каждого человека - способность чувствовать, думать, обучаться и помнить - заключены в строго организованных сетях синаптических взаимосвязей между нейронами головного мозга".
На рис. 1.1 приведена структура типичного биологического нейрона. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, а другие воспрепятствовать его возбуждению. В соответствии с этим различают процессы синаптического возбуждения и торможения нейрона.
Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону, который на конце сильно ветвится, сигнал другим нейронам. Нервный импульс обладает способностью распространяться по нервным волокнам без затухания, вплоть до синаптических окончаний со скоростью распространения около 10 м/с.
Синаптическое торможение снижает возбуждение нейрона и тем самым затрудняет переход возбуждения нейрона в нервный импульс.

Рис1.1 Биологический нецрон

После генерации импульса наступает так называемый рефрактерный период, во время которого нейрон восстанавливает способность к генерации следующего импульса. Длительность рефракторного периода менее 1 мс. Поэтому максимальная частота генерации импульсов нейронов около 1000с^-1.
Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. Он обладает группой синапсов - однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. Общий вид нейрона, реализующего эти свойства, приведен на рис. 1.2. Здесь множество входных сигналов обозначены вектором X. Каждый вес w_i, соответствует "силе" одной биологической синаптической связи. Множество весов в совокупности обозначается вектором W. 
Рис 1.2 Искусственный нейрон

Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически
					(1.1)

Выход нейрона является функцией его состояния:

Y=F(x).                                                     (1.2)

Нелинейная функция F называется активационной и может иметь различный вид. 
В случае, когда функция активации одна и та же для всех нейронов сети, сеть называют однородной (гомогенной). Если же активационная функция зависит еще от одного или нескольких параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).
Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида):

						(1.3)

При уменьшении а сигмоид становиться более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0.5. При увеличении а сигмоид приближается по внешнему виду к функции единичного скачка с порогом Т в точке х = 0. Из выражения для сигмоида очевидно. тго выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем,

				(1.4)

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что широко используется во многих алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше. чем сильные, и предотвращает насыщение от сильных сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон. Другой широко используемой активационной функцией является гиперболический тангенс. В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что для ряда
сетей оказывается выгодным.
Говоря о возможной классификации НС. важно отметить существование бинарных и аналоговых сетей. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения. Еще одна классификация делит НС на синхронные и асинхронные. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором - состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Для программных имитаторов нейронных сетей на цифровых ЭВМ, вопросы связанные с синхронизацией решаются компьютером, на котором реализуются НС.
Рассмотренная простая модель искусственного нейрона существенно упрощает ряд свойств своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает воздействие синхронизирующей функции биологического нейрона, которую ряд исследователей  считают решающей. Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и дальнейшие исследования могут дать ответ на вопрос, являются ли подобные совпадения случайными или это следствие того, что в модели верно схвачены основные черты биологического нейрона.
Итак, дано описание основных элементов, из которых составляются нейронные сети. Перейдем теперь к вопросу: как составлять эти сети, как их конструировать? Строгих ограничений здесь нет, как угодно, лишь бы входы получали какие-нибудь сигналы. Возможности безграничны, но обычно используют несколько стандартных архитектур, из которых при некоторых небольших модификациях строят большинство используемых сетей.