Задачи, решаемые с помощью аппарата искусственных нейронных сетей и представляющие
интерес для пользователей:
- классификация образов - задача состоит в указании принадлежности входного образа, представленного вектором признаков, к одному или нескольким предварительно определенным классам. Этот класс задач плохо алгоритмизируется. К известным приложениям относятся распознавание букв, распознавание речи, классификация сигнала электрокардиограммы, классификация клеток крови, классификация предприятий по степени их перспективности, медицинская диагностика;
- кластеризация/категоризация - при решении задачи кластеризации, которая известна также как классификация образов "без учителя", отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и помещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных;
- апроксимация функций - предположим, что имеется обучающая выборка вход - выход, которая генерируется неизвестной функцией F(x), искаженной шумом. Задача апроксимации состоит в нахождении оценки неизвестной функции F(x). Апроксимация функций необходима при решении многочисленных инженерных и научных задач моделирования;
- предсказание/прогноз - пусть заданы n дискретных отсчетов y(t1) … y(tn) в последовательные моменты времени t1, t2, … , tk. Задача состоит в предсказании значения tk+1. Предсказание/прогноз имеют значительное влияние на принятие решений в бизнесе, науке и технике. Предсказание цен на фондовой бирже и прогноз погоды являются типичными приложениями техники приложения предсказания/прогноза;
- оптимизация - многочисленные проблемы в математике, статистике, науке, медицине и экономики могут рассматриваться как проблемы оптимизации. Задачей алгоритма оптимизации является нахождение такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию
Это далеко не полный перечень задач, которые можно решать с помощью аппарата
искусственных нейронных сетей.
Искусственная нейронная сеть (ИНС, нейросеть) - это набор нейронов, соединенных между собой. Как правило, передаточные функции всех нейронов в сети фиксированы, а веса являются параметрами сети и могут изменяться. Некоторые входы нейронов помечены как внешние входы сети, а некоторые выходы - как внешние выходы сети. Подавая любые числа на входы сети, мы получаем какой-то набор чисел на выходах сети. Таким образом, работа нейросети состоит в преобразовании входного вектора в выходной вектор, причем это преобразование задается весами сети.
Любая нейронная сеть обладает набором одинаковых свойств. Все нейронные сети состоят из относительно простых, в большинстве случаев однотипных, ячеек, которые моделируют работу нейрона мозга, - нейронов.
Нейрон - составная часть нейронной сети (НС). В состав нейрона входят умножители (синапсы), сумматор и нелинейный преобразователь. Нейрон можно представить следующим образом:
Синапсы осуществляют связь между нейронами и умножают входной сигнал на число, характеризующее сигналу связи, - вес синапса. Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона. Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона описывается соотношением:
(1)Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами - тормозящими . Нейрон можно полностью описать его весами и передаточной функцией, которая может быть:
- пороговая:
- знаковая (сигнатурная):
- сигмоидальная (логистическая) - эта функция обладает свойством "усиливать" слабые сигналы лучше, чем большие, и п редотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон:
- полулинейная:
- линейная:
- радиальная базовая;
- треугольная;
- полулинейная с насыщением;
- линейная с насыщением;
- гиперболический тангенс.
В зависимости от функций, выполняемых нейронами в сети, можно выделить три их типа:
- входные нейроны - это нейроны, на которые подается входной вектор, кодирующий входное воздействие или образ внешней среды; в них обычно не осуществляются вычислительные процедуры, информация передается со входа на выход нейрона путем изменения его активации;
- выходные нейроны - это нейроны, выходные значения которых представляют выход сети;
- промежуточные нейроны - это нейроны, составляющие основу искусственных нейронных сетей.
Классифицируя нейронные сети по топологии можно выделить три основных типа таких сетей:
- полносвязные сети - это ИНС, каждый нейрон которой передает свой выходной сигнал остальным нейронам, в том числе и самому себе;
- многослойные или слоистые сети;
- слабосвязные сети (нейронные сети с локальными связями).
В многослойных сетях нейроны объединяются в слои, при этом выход для одного слоя является входом для последующего. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в каждом слое может быть любым и никак заранее не связано с количеством нейронов в других слоях.
В свою очередь среди многослойных сетей можно выделить следующие типы:
- монотонные - это специальный частный случай слоистых сетей с дополнительными условиями на связи и элементы. Каждый слой, кроме последнего (выходного), разбит на два блока: возбуждающий и тормозящий. Связи между блоками тоже разделяются на тормозящие и возбуждающие. Для элементов монотонных сетей необходима монотонная зависимость выходного сигнала элемента от параметров входных сигналов;
- сети без обратных связей - в таких сетях нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам 1-го скрытого слоя, далее срабатывает 1-й скрытый слой и т.д. до Q-го слоя, который выдает выходные сигналы для интерпретатора и пользователя. Если не оговорено противное, то каждый выходной сигнал q-го слоя подается на вход всех нейронов (q+1)-го слоя; однако возможен вариант соединения q-го слоя с произвольным (q+p)-м слоем.
- сети с обратными связями - это сети, у которых информация с последующих слоев передается на предыдущие.
Классическим вариантом слоистых сетей являются сети прямого распространения (рис.2)НС можно разделить по принципу структуры нейронов на гомогенные (или однородные) и гетерогенные. Гомогенные сети состоят из нейронов одного типа с единой функцией активации. В гетерогенную сеть входят нейроны с различными функциями активации.
Существуют также бинарные и аналоговые НС. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние).
Еще одна классификация делит НС на асинхронные и синхронные. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором - состояние меняется сразу у целой группы нейронов, как правило, у всего слоя.