Введение в предмет Computational Neuroscience (вычислительная
нейронаука). Истоки нейронауки: достижения биологии и физиологии,
психологии, дискретная математики, кибернетики, статистической физики и
синергетики. Роль компьютерного моделирования. Философские основания
нейронауки. Исторический обзор. Структура курса. Учебная и
ознакомительная литература.
"Подмигните компьютеру - он поймет". В начале 90-х под таким заголовком
в старейшей уважаемой газете Нью-Йорк Таймс появилась статья,
рассказывающая о современных достижениях и направлениях в области
интеллектуальных компьютерных систем. Среди магистральных путей
развития данной отрасли эксперты издания выделили
- Компьютеры с высокой степенью
параллелизма обработки информации, которые могут разделить ту или иную
задачу на части и обрабатывать их одновременно, тем самым значительно
сокращая общее время вычислений;
- Компьютеры, в которых вместо электронных
сигналов для передачи информации используется оптика. Оптические
сигналы уже начали использоваться для передачи данных между
компьютерами;
- Компьютеры с нейронными сетями,
представляющие собой машины, работающие аналогично тому, как по нашим
современным представлениям, функционирует мозг.
Последнее, третье, направление, которое существенно опирается на первые
два, и составляет основную тему предлагаемого курса Лекций. При этом
курс сфокусирован
лишь на одном из разделов направления искусственных нейронных сетей,
а именно, на нейроинформатике, как науке, изучающей нейроподобные
способы обработки информации при помощи компьютеров.
Разнообразие, большой об'ем и
противоречивость различной диагностической информации выводят на
передний план проблему поиска физических систем, способных к ее
переработке. Решение этой комплексной задачи тесно связано с новыми
информационными технологиями, важное место среди которых занимают
методы распознавания и категоризации образов. Нейронные сети - мощный и
на сегодня, пожалуй, наилучший метод для решения задач распознавания
образов в ситуациях, когда в экспериментальных данных отсутствуют
значительные фрагменты информации, а имеющаяся информация предельно
зашумлена. Высокая степень параллельности, допускаемая при реализации
нейросистем, обеспечивает обработку недоступных оператору об'емов
информации за времена, меньшие или сравнимые с допустимыми временами
измерений.
К рубежу 80-х годов были достигнуты
значительные результаты в совсем молодой
синергетике, науке о самоорганизации в неравновесных системах;
систематизированы факты
и проведены многочисленные новые эксперименты в нейрофизиологии, в
частности, подробно
изучено строение и механизм действия отдельных нейронов; сформулирован
принцип работы и
создана первая ЭВМ с параллельной архитектурой. Эти обстоятельства,
по-видимому,
стимулировали начало интенсивных исследований нейронных сетей, как
моделей
ассоциативной памяти.
Широкий интерес к нейронным сетям был
инициирован после появления
работы Хопфилда (Hopfield J.J., 1982), который показал, что задача с
изинговскими
нейронами
может быть сведена к обобщениям ряда моделей, разработанных к тому
моменту в физике
неупорядоченных систем. Работа сети Хопфилда (наиболее подробно
обсуждаемая в физической литературе)
состоит в релаксации начального "спинового портрета" матрицы двоичных
кодов к одному из стационарных состояний, определяемых
правилом обучения (правилом Хебба). Таким образом, данная сеть может
применяться для
задач распознавания.
В 1986 году появилась работа Румельхарта,
Хинтона и Вильямса (Rumelhart D.E., Hinton G.E., Williams R.J., 1986),
содержавшая ответ на вопрос,
долгое время сдерживавший развитие нейроинформатики - как обучаются
иерархические
слоистые нейронные сети, для которых "классиками" еще в 40-50 х годах
была доказана
универсальнось для широкого класса задач. В последующие годы
предложенный
Хинтоном алгоритм обратного распространения ошибок претерпел
бесчисленное множество вариаций и модификаций.
Многообразие предлагаемых алгоритмов,
характеризующихся различной степенью детальности
проработки, возможностями их параллельной реализации, а также наличием
аппаратной
реализации, приводит к особой актуальности исследования по
сравнительным характеристикам
различных методик.
Нейронаука в современный момент переживает
период перехода от юного состояния к зрелости. Развитие в области
теории и приложений
нейронных сетей идет в самых разных направлениях: идут поиски новых
нелинейных
элементов, которые могли бы реализовывать сложное коллективное
поведение в ансамбле
нейронов, предлагаются новые архитектуры нейронных сетей, идет поиск
областей приложения
нейронных сетей в системах обработки изображений, распознавания образов
и речи,
робототехники и др. Значительное место в данных исследованиях
традиционно занимает
математическое моделирование.
Необходимость написания систематического
курса по теории нейронных сетей и
вычислительным системам на их основе во многом определяется отсутствием
отечественных
учебных монографий по этой теме. Кроме того, сама эта тема пока не
заняла свое место в
традиционных курсах университетов и ВУЗов. И хотя промышленные эксперты
американского
Управления перспективных исследований DARPA ожидают начало массового
распространения новой
нейросетевой технологии в конце 90-х годов, уже сегодняшний уровень
теоретического
понимания и практического использования нейронных сетей в мировой
информационной индустрии
все явственнее требует профессиональных знаний в этой области.
Главной задачей предлагаемого курса является
практическое введение в современные методы
и системы обработки информации, об'единенные в научной литературе
термином Computational
Neuroscience (вычислительная нейро-наука), а также введение в
перспективные подходы
построения вычислительных и информационных систем новых поколений.
Особенностью рассматриваемой нами темы является ее междисциплинарный
характер. Свой
вклад в становление нейронауки внесли биологияи физиология высшей
нервной деятельности,
психология восприятия, дискретная математика, статистическая физика и
синергетика, и,
конечно, кибернетика и, конечно, компьютерное моделирование.
Лекции содержат основную информацию о
принципах организации естественных (биологических)
нейронных сетей и их математических моделей - искусственных нейронных
сетей, необходимую
для синтеза нейросетевых алгоритмов для практических задач. Для этой
цели в книгу включены
две вводные темы - математическое введение (Лекция 2) и вводные
биологические сведения
(Лекция 3). Формальное математическое наполнение курса сведено к
минимуму и опирается на
базовые знания по курсам линейной алгебры и дифференциальных уравнений.
Поэтому он может
быть рекомендован и, в основном, предназначен для струдентов инженерных
специальностей, а
также математиков-прикладников и программистов.
Основные разделы курса
-
Введение, сведения из биологии, физиологии
высшей нервной деятельности, психологии, кибернетики, статистической
физики и дискретной
математики;
- Биологический нейрон и его математическая
модель;
- ПЕРСЕПТРОН, линейная разделимость и
теорема Розенблатта об обучении;
- Обучение нейронной сети, как задача
комбинаторной оптимизации;
- Правило Хебба, модель Хопфилда и ее
обобщения;
- Иерархические нейронные сети;
- Алгоритм обратного распространения
ошибок;
- Модели Липпмана-Хемминга, Хехт-Нильсена,
Коско;
- Способы представления информации в
нейронных сетях;
- Современные нейросетевые архитектуры,
КОГНИТРОН и НЕОКОГНИТРОН Фукушимы;
- Теория адаптивного резонанса;
- Алгоритмы генетического поиска для
построения топологии и обучениия нейронных сетей;
- Адаптивный кластерный анализ и карта
самоорганизации Кохонена;
- Конечные автоматы и нейронные сети;
- Заключение - современные день нейронауки,
нейро-ЭВМ шестого поколения, нейропроцессоры, математическое
обеспечение, научные и
коммерческие приложения.
Литература
А. Основная
- Ф. Уоссермен. Нейрокомпьютерная техника.
Москва: Мир, 1992.
- А.Н. Горбань, Д.А. Россиев. Нейронные
сети на персональном компьютере. Новосибирск: Наука, 1996.
- Информатика. Справочник. Под. Ред.
Д.А.Поспелова. Москва: Педагогика, 1996.
Б. Дополнительная
- Т. Кохонен. Ассоциативная память. Москва:
Мир, 1980.
- Ф. Розенблатт. Принципы нейродинамики.
Москва: Мир, 1965.
- Автоматы. Под. ред. К.Э. Шеннона и Дж.
Маккарти. Москва: Издательство Иностранной
Литературы, 1956.
- Д. Марр. Зрение. Москва: Радио и Связь,
1987.
- М. Минский, С. Пейперт. Персептроны.
Москва: Мир, 1971.
- Н. Винер. Кибернетика. Москва: Советское
радио, 1968.
- А.А. Веденов. Моделирование элементов
мышления. Москва: Наука, 1988.
- А.Ю. Лоскутов, А.С. Михайлов. Введение в
синергетику. Москва: Наука, 1990.
- С.О. Мкртчян. Нейроны и нейронные сети.
Москва: Энергия, 1971.
- А.Н. Горбань. Обучение нейронных сетей.
Москва: СП "Параграф", 1990.
- А.И. Галушкин. Синтез многослойных схем
распознавания образов. Москва: Энергия, 1974.
- Ф.Г. Гантмахер. Теория матриц. Москва:
Наука, 1988.
- Н. Грин, У. Стаут, Д. Тейлор. Биология.
Под.ред. Р.Сопера. Т.1-3, Москва: Мир, 1990.
- Г. Шеперд. Нейробиология. Тт. 1-2,
Москва: Мир, 1987.
- Ф. Блум, А. Лейзерсон, Л. Хофстедтер.
Мозг, разум и поведение. Москва: Мир, 1988.
- Б. Банди. Методы оптимизации. М. Радио и
связь, 1988
Замечание к электронному
варианту 1998 г.
За прошедшие 5 лет с момента написания Лекций в Российской
нейроинформатике
произошли значительные изменения. Разнообразные курсы по нейронным
сетям начали
повсеместно входить в программы высшей школы для различных технических
специальностей.
Появились и, немногочисленные пока, учебники, среди которых в первую
очередь
следует отметить книгу А.Н. Горбаня и Д.А. Россиева (1996). Увы, тираж
в 500 экземпляров
не позволяет рассматривать это превосходное (хотя и относительно
сложное) издание
в качестве базового учебника.
|
