• русский
• український
• english

Автореферат

Исследование задачи классификации с использованием нейронных сетей

Почему именно искусственная нейронная сеть

В последнее время повсеместное распространение компьютеров ставит перед последними всё более сложные задачи. Но даже не смотря на повышающееся быстродействие, компьютер способен успешно решать лишь задачи, которые возможно полностью формализовать. Нейронные сети превосходят последовательные машины в решении тех же задач, в которых машину превосходит человек. Задачи, требующие большого объема вычислений или высокой точности, лучше выполняются обычной ЭВМ. К задачам, для решения которых успешно применяются нейронные сети, относятся:

• распознавание зрительных, слуховых образов; огромная область применения: от распознавания текста и целей на экране радара до систем голосового управления;
• ассоциативный поиск информации и создание ассоциативных моделей; синтез речи; формирование естественного языка;
• формирование моделей и различных нелинейных и трудно описываемых математически систем, прогнозирование развития этих систем во времени;
• применение на производстве; прогнозирование развития циклонов и других природных процессов, прогнозирование изменений курсов валют и других финансовых процессов;
• системы управления и регулирования с предсказанием; управление роботами, другими сложными устройствами;
• разнообразные конечные автоматы: системы массового обслуживания и коммутации, телекоммуникационные системы;
• принятие решений и диагностика, исключающие логический вывод; особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере;

Уникальное свойство нейросетей - универсальность. Хотя почти для всех перечисленных задач существуют эффективные математические методы решения и несмотря на то, что НС проигрывают специализированным методам для конкретных задач, благодаря универсальности и перспективности для решения глобальных задач, например, построения ИИ и моделирования процесса мышления, они являются важным направлением исследования, требующим тщательного изучения.

Богатые возможности

Нейронные сети - исключительно мощный метод моделирования, позволяющий воспроизводить чрезвычайно сложные зависимости. В частности, нейронные сети нелинейные по свой природе. На протяжение многих лет линейное моделирование было основным методом моделирования в большинстве областей, поскольку для него хорошо разработаны процедуры оптимизации. В задачах, где линейная аппроксимация неудовлетворительна (а таких достаточно много), линейные модели работают плохо (если вообще работают). Кроме того, нейронные сети справляются с "проклятием размерности", которое не позволяет моделировать линейные зависимости в случае большого числа переменных.

Простота в использовании

Нейронные сети учатся на примерах. Пользователь нейронной сети подбирает представительные данные, а затем запускает алгоритм обучения, который автоматически воспринимает структуру данных. При этом от пользователя, конечно, требуется какой-то набор эвристических знаний о том, как следует отбирать и подготавливать данные, выбирать нужную архитектуру сети и интерпретировать результаты, однако уровень знаний, необходимый для успешного применения нейронных сетей, гораздо скромнее, чем, например, при использовании традиционных методов статистики.

Нейронные сети привлекательны с интуитивной точки зрения, ибо они основаны на примитивной биологической модели нервных систем. В будущем развитие таких нейробиологических моделей может привести к созданию действительно мыслящих компьютеров. Между тем уже "простые" нейронные сети являются мощным оружием в арсенале специалиста по прикладной статистике.

Цели и задачи исследований

Исследование задачи классификации с использованием нейронных сетей предполагает изучение существующих архитектур для построения нейронных сетей, методов обучения нейронных сетей, подбор наиболее оптимальной архитектуры для решения поставленной задачи и экспериментальные исследования. Так же отдельной задачей стоит поиск новых областей применения данной технологии.

Архитектуры нейронных сетей

В данный момент существует достаточно большое количество архитектур нейронных сетей. Каждый вариант имеет свои достоинства и недостатки, особенности реализации и последующего обучения. Задача исследований состоит в том, чтобы выделить один или несколько видов архитектур для решения поставленной задачи (задача классификации представляет собой комплексную задачу, включающую множество подзадач, для решения каждой из которых наиболее приемлемый определённый тип архитектуры).

Обучение нейронной сети

Обучение нейронной сети осуществляется несколькими путями: с учителем, без учителя, комбинированный способ. Выбор того или иного способа зависит от типа архитектуры сети. Так же следует принимать во внимание, что задача классификации в каком либо определённом проявлении предполагает неопределенность в существовании полного набора значений выборки для обучения.

Оптимизация

С целью выявления наиболее подходящих типов архитектур необходимо разработать программную реализацию составных частей искусственной нейронной сети, воссоздать методы обучения разных типов архитектур и экспериментально проследить способности нейронной сети той или иной архитектуры адекватно решать поставленную задачу.

Научная новизна

Предполагаемая научная новизна заключается в том, чтобы сформировать набор правил, которые могли бы быть применимы при проектировании систем на базе технологии искусственных нейронных сетей. На данный момент такого набора правил нет, а существует лишь некоторые рекомендации по возможному применению нейронных сетей.

Так же научная новизна исследований заключается в поиске новых применений данной технологии. Основное направление поиска - исследование потенциальных возможностей применения искусственных нейронных сетей для помощи людям с ограниченными физическими возможностями.

Практическая ценность

Предполагаемый результат исследований, выраженный в формулировке методик для разработки систем на базе нейронных сетей, должен существенным образом облегчить и упростить процесс проектирования новых систем.

Предлагаемые в данной работе новые пути применения технологии нейронных сетей могут послужить почвой для новых исследований и разработок, что, в идеальном варианте, найдёт реальное применение в жизни людей.

Обзор существующих исследований и разработок

Контроль операций с кредитными карточками

В этом случае используется способность ИНС к классификации. Например, продукт, разработанный HNC Software Inc. (в настоящее время HNC выкуплена компанией Fair, Isaac and Com-pany) HNC Falcon предназначен для обнаружения в реальном времени широкого спектра мошеннических операций с банковскими карточками. Falcon отслеживает соотношения между операциями, обнаруживая подозрительные. Система Falcon использует запатентованную унифицированную технологию поддержки принятия решения (Unified Decisions Technology), которая комбинирует расширенную базу данных правил обработки транзакций, статистический анализ и нейронную сеть. Система Falcon также содержит специальный компонент, обеспечивающий возможность опытным специалистам включать в базу данных системы правила, позволяющие с высокой степенью достоверности определять потенциальные случаи мошенничества с банковскими картами по географическому местоположению или почтовому индексу держателя карты. Практическое использование этой системы показало повышение показателей качества обнаружения на 20-60 % при значительном снижении ложных срабатываний. Falcon также используется и для обнаружения фальсификаций в различных областях, например, в здравоохранении и телекоммуникационной отрасли. Семейство систем PRISM, разработанное компанией Nestor, основано на использовании нейросетей, экспертных систем и статистических методов для обнаружения в реальном режиме времени мошенничества с кредитными и дебетовыми картами, а также для обнаружения других типов мошенничества при осуществлении финансовых или торговых сделок. Нейросеть, используемая в системах семейства PRISM, была обучена на основе более чем полумиллиона транзакций с различными типами карт. По некоторым оценкам, использование систем семейства PRISM позволяет уменьшить число мошенничеств на 50 % [6].

Медицинская диагностика

Компанией "НейроПроект" создана система объективной диагностики слуха у грудных детей [5]. Общепринятая методика объективной диагностики состоит в том, что в процессе обследования регистрируются "вызванные потенциалы" (отклики мозга) в ответ на звуковой раздражитель, проявляющиеся в виде всплесков на электроэнцефалограмме. Для достаточно уверенной диагностики слуха ребенка опытному эксперту-аудиологу необходимо провести около 2000 тестов, что занимает около часа. Нейросеть способна с той же достоверностью определить уровень слуха уже по 200 наблюдениям в течение всего нескольких минут, причем без участия квалифицированного персонала. Еще одним примером использования ИНС в программах медицинской диагностики служит пакет кардиодиагностики, разработанный фирмой RES Informatica совместно с Центром кардиологических исследований в Милане. Причем для таких болезней, как ишемия миокарда и артериальная гипертензия, достигается точность постановки диагноза более чем 95 %. Кроме этого, одним из перспективных направлений в исследованиях является онлайн-постановка диагноза. Пациент заполняет форму, указывая необходимые параметры, а система на основе обучающей выборки и накопленной базы данных определяет диагноз. По некоторым данным, это позволит увеличить производительность более чем в 1000 раз, удешевить исследования не менее чем в 500 раз, обработать данные от практически неограниченного количества человек, при увеличении диагностической точности.

Распознавание образов

Для приведения примера этого направления ИНС обратимся к демонстрационному продукту компании "НейроПроект", предназначенному для речевого управления встроенным калькулятором Windows [5]. Система уверенно распознает любое из 36 слов, сказанных в микрофон любым человеком. Для обучения ИНС использовались варианты произношения 19 дикторов. Голосовой набор телефонного номера является еще одним из примеров распознавания речи. Доктор Ортнер (Dr. Ortner) из США обучил нейронную сеть набирать номер, используя 2500 примеров для каждого из 28 слов, включая цифры от нуля до девяти, а также названия отделов в пределах компании. При этом обеспечивается точность набора выше 90 %. В настоящее время им создан "голосовой учебный центр" (Voice Training Center), в котором производится запись слов, произнесенных различными людьми. В дальнейших исследованиях планируется организовать "голосовую связь" с глухонемыми людьми. Так, слова вызывающего абонента будут преобразовывать в текст (на экране телефона вызываемого), а обратный преобразователь обеспечит произнесение текста, напечатанного вызываемым. Компанией Fein-Marquart As-sociates Inc разработана программа распознавания почтовых индексов с автоматической дальнейшей сортировкой. Система распознает как типографские, так и написанные от руки цифры. Согласно Joe McDaniel, обеспечивается 98 % точность распознавания.

Анализ потребительского рынка

Dr. Al Behrens, сотрудник Northern Natural Gas в штате Небраска, обучил нейронную сеть, которая предсказывает изменение цен на газ в следующем месяце со средней точностью 97 %. Ежемесячная цена иногда привязывается к индексации цен в печатных изданиях (Inside FERC и Natural Gas Week), включая недавнюю рыночную деятельность компании, сезонные факторы, погоду и т. д [6]. Профессор Awad Hanna из University of Wisconsin построил нейронную сеть, которая на основе данных дорожного покрытия в конкретном месте в разное время года укажет наилучший тип покрытия для этой местности. Для построения такой сети он использовал информацию, полученную от специалистов в этой области, однако отсутствие спонсорской поддержки не позволяет провести испытания [6]. Небезызвестная корпорация Microsoft также использует программные продукты на основе нейросетей в своей маркетинговой политике [6]. Каждый год Microsoft отсылает более 40 млн рекламных предложений о покупке своих продуктов более чем по 8,5 млн зарегистрированных пользователей. Большая часть направлена на модернизацию ПО или покупку дополнительных пакетов. Цель использования ПО на основе ИНС очевидна - увеличение объема продаж. По словам Jim Minervino, было достигнуто увеличение спроса с 4,9 % до 8,2 %. А различие в затратах на рекламу снизилось на 35 %. Что изменилось? В базе данных накапливались данные по каждому адресату, что и когда он купил, учитывались следующие факторы, среди которых использовались данные регистрации - место работы, доход, количество человек в фирме, занимаемая должность [6]. Система, анализируя соотношения между факторами и ответными письмами о согласии на приобретение, отправляла в дальнейшем письма только адресатам, похожим по набору факторов. GoalAssist Corporation построила нейронную сеть, позволяющую предугадать, какое количество призов и в каком соотношении требуется иметь в наличии при проведении рекламной кампании. Проще говоря, приславший три крышки от кофе получает определенный приз, приславший больше - другой приз. А система, на основе различных факторов, с высокой степенью достоверности (ошибка менее 4 %) определит, какие поощрения будут пользоваться высокой популярностью, а какие - нет.

Спортивное прогнозирование

Don Emmons из Детройта построил нейронную сеть, позволяющую на скачках предугадывать лошадь-победителя [6]. ИНС, анализируя предыдущие забеги, время финиша, рекорд на ипподроме и другие факторы, с 75 % точностью оценивала вероятного победителя. С помощью результатов этой ИНС Don Emmons получил выигрыш с 17 из 22 ставок. Mr. Derek Anderson (Lakewood, CO) обучил нейронную сеть прогнозировать победителя на собачьих гонках. Он учитывал похожие факторы, в результате чего получалась ИНС с 504 входами, что обеспечивает ему точность в 94 %, правда, только на трети трасс.

Оценка стоимости продуктов

Например, оценка стоимости автомобиля зависит от множества факторов, таких как марка, год выпуска, объем двигателя, внутренняя "начинка", состояние и т. д. Так как вид зависимости этих факторов неизвестен, то стандартные методы анализа неэффективны [6]. Фирма Attrasoft приводит пример оценки стоимости автомобиля по 7 ключевым факторам. Оценка стоимости домов проводится по 13 факторам. На сайте этой компании (attrasoft.com) можно скачать большое количество баз данных, касающихся различных вопросов для проведения собственного исследования с помощью их продукта Decision Maker.

Прогнозирование потребления услуг

Рассмотрим пример потребления электроэнергии. Фирмой ZSolutions был выполнен заказ энергетической компании на анализ данных об энергопотреблении [6]. На основании полученных данных о количестве потребляемой энергии в определенное время суток, изменилась ценовая политика, а, соответственно, и прибыль. Аналогичную задачу можно рассмотреть и для провайдеров Интернет-доступа.

Прогнозирование магнитных бурь

Доктор Henrik Lundstedt из Lund Observatory, Швеция, обучил нейронные сети прогнозировать эффекты от солнечных вспышек, такие как возмущения магнитных полей Земли [8]. Как известно, т. н. магнитные бури оказывают влияние не только на состояние и здоровье человека, под их влияние попадают и электростанции, случаются сбои в передаче радио- и телевизионных программ, сбои в работе геологического оборудования, спутников и т. д. Нейронная сеть, учитывая 37 известных влияющих факторов раз в четыре дня и анализируя их изменения, способна с высокой степенью точности определить "космическую погоду". Описывается случай, когда стандартный метод прогнозирования не определил сильных магнитных бурь вообще, а метод на основе ИНС в то же время точно спрогнозировал две из трех бурь.

Прогнозирование ливневых дождей

О необходимости этого процесса упоминать не стоит, отметим лишь, что такая информация позволит принять необходимые меры по обеспечению безопасности [6]. Компьютерные системы, производящие обработку информации, основываются на конкретных данных, в то время как ИНС - на обучении и использовании значений в предыдущее время в конкретной местности, что позволяет делать прогнозы с точностью до 85%. В модели ИНС, разработанной Tony Hall, используются 19 метеорологических переменных.

Производство микросхем

Нейронная сеть, примененная на заводе Intel, способна идентифицировать брак на производстве. Первоначально опытной системе давали электрическую испытательную информацию от готовых чипов и соответствующих переменных управления производственным процессом. Отношения между этими двумя параметрами были определены числовым экспериментом и моделированием процесса CMOS. Чувствительная поверхностная модель (RSM, Responsive Surface Model) использовалась для сохранения результатов достаточного количества числовых экспериментов. В результате нейронная сеть была способна забраковать нефункционирующий чип с точностью 99,5% [7].

Применение в строительстве

При проведении испытаний качества бетона используется большое количество методов. Одним из них является бурение в поисках образовавшейся полости. Однако с помощью нейросетей возможно проверить весь материал, а также определить глубину, на которой находится полость. Путем подачи звуковых волн и приема отраженного сигнала, а затем обработкой ИНС, специалисты из National Institute of Standards and Technology (NIST) способны проверить качество бетона при толщине материала до полуметра [7].

Нерешенные проблемы и вопросы

Паралич сети

В процессе обучения сети значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут функционировать при очень больших значениях OUT, в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. В теоретическом отношении эта проблема плохо изучена. Обычно этого избегают уменьшением размера шага, но это увеличивает время обучения. Различные эвристики использовались для предохранения от паралича или для восстановления после него, но пока что они могут рассматриваться лишь как экспериментальные [9].

Локальные минимумы

Обратное распространение использует разновидность градиентного спуска, т. е. осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении к минимуму. Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Сеть может попасть в локальный минимум (неглубокую долину), когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть неспособна из него выбраться. Статистические методы обучения могут помочь избежать этой ловушки, но они медленны. Предложен метод, объединяющий статистические методы машины Коши с градиентным спуском обратного распространения и приводящий к системе, которая находит глобальный минимум, сохраняя высокую скорость обратного распространения [9].

Размер шага

Внимательный разбор доказательства сходимости показывает, что коррекции весов предполагаются бесконечно малыми. Ясно, что это неосуществимо на практике, так как ведет к бесконечному времени обучения. Размер шага должен браться конечным, и в этом вопросе приходится опираться только на опыт. Если размер шага очень мал, то сходимость слишком медленная, если же очень велик, то может возникнуть паралич или постоянная неустойчивость. Существует адаптивный алгоритм выбора шага, автоматически корректирующий размер шага в процессе обучения [9].

Временная неустойчивость

Если сеть учится распознавать буквы, то нет смысла учить "Б", если при этом забывается "А". Процесс обучения должен быть таким, чтобы сеть обучалась на всем обучающем множестве без пропусков того, что уже выучено. В доказательстве сходимости это условие выполнено, но требуется также, чтобы сети предъявлялись все векторы обучающего множества прежде, чем выполняется коррекция весов. Необходимые изменения весов должны вычисляться на всем множестве, а это требует дополнительной памяти; после ряда таких обучающих циклов веса сойдутся к минимальной ошибке. Этот метод может оказаться бесполезным, если сеть находится в постоянно меняющейся внешней среде, так что второй раз один и тот же вектор может уже не повториться. В этом случае процесс обучения может никогда не сойтись, бесцельно блуждая или сильно осциллируя. В этом смысле обратное распространение не похоже на биологические системы [9].

Результаты исследований

Была разработана концепция использования искусственной нейронной сети в составе системы, обеспечивающей человека с ограниченными возможностями зрения информацией об окружающих его предметах через органы слуха. Задача ИНС в составе данной системы сводится к выполнению распознавания видимых объектов. Система имеет две камеры среднего (низкого) разрешения, изображение с которых после некоторого преобразования передаётся на соответствующие фрагменты нейронной сети. Эти фрагменты выполняют распознавание объектов (выделение контрастных участков). По результатам распознавания строятся две матрицы объектов (каждая для соответствующей камеры-классификатора), которые в последствии попадают в блок сравнения (роль этого блока может играть нейронная сеть), где производится выделение одинаковых объектов на обоих матрицах-изображениях. Вычислитель по результатам сравнения и положению данных объектов в матрицах объектов вычисляет углы расположения объектов относительно линий визирования камер. По величине этих углов вычислитель определяет расстояние до каждого из объектов и строит матрицу расстояний. Данная матрица представляет собой приблизительную картину того, что видит человек обоими глазами при условии нормального зрения.

Технической задачей остаётся проблема передачи данной информации человеку через другие органы чувств. Одним из вариантов решения данной проблемы есть передача данных с использованием стереосистемы наушников. Принцип такой реализации заключается в использовании психоакустических особенностей слухового аппарата человека. Так с помощью изменения фазы звучания можно создать ощущения того, что источник звука находится сбоку, а с помощью изменения амплитуды - о дальности до источника. При это человек воспринимает окружающую обстановку таким образом, будто каждый объект излучает звуковые волны.

Иллюстрация отображает восприятие дерева системой распознавания. Нажняя область отображает то, каким образом с помощью звука человеку сообщается положение объекта и удаленность до него. При этом, чем темнее полоса, тем сильнее амплитуда звука. Так же показано влияние положения объекта на фазовую характеристику звука - чем больше объект смещён относительно линии визирования, тем больше отклонение звука от воображаемого центра.