УДК 002.53:004.89

Бова В.В., Дуккардт А.Н.

ПРИМЕНЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ КОЛЛЕКТИВНОГО РЕШЕНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ ЗАДАЧ

Изложены возможности интеллектуальных информационных технологий основанных на искусственных нейронных сетях. Выявлены особенности применения нейросетевых систем поддержки принятия решений для различных предметных областей. Рассмотрена возможность применения искусственных нейронных сетей для коллективного решения интеллектуальных задач. Предложен подход, в основе которого лежит одновременное использование нескольких нейронных сетей для получения коллективного решения задачи. Определены тенденции и направления развития нейросетевых технологий.

Интеллектуальные технологии; искусственные нейронные сети; нейросетевые модели; задачи поддержки принятия решений; коллективное решение.

V.V. Bova, A.N. Duckardt

APPLICATION OF ARTIFICIAL NEURAL NETWORKS FOR COLLECTIVE DECISION OF COMPLEX INTELLIGENT PROBLEMS

The paper shows intelligent information technology capabilities which are based on artificial neural networks. Also it has been released of aspects of artificial neural networks applying for decision-making system of variety subject areas. In this paper the artificial neural networks applying for making collective decision for complex problem is shown. The approach which is based on the using of multiple neural networks for solving the problem has been released for getting the effective decision of complex intelligent problem.

Intelligent technology; artificial neural networks; neural networks models; decision-making problem; collective decision.

Введение. Информационные технологии на основе искусственного интеллекта и нейронных сетей активным образом проникают во все сферы жизни общества и становятся тем инструментом, с помощью которого успешно решаются вопросы эффективного применения интеллектуальных информационных технологий (ИИТ) и возможностей компьютерных систем при решении сложных прикладных задач.

В работах [1–3] отмечаются характерные особенности задач, решаемых на основе ИИТ: неполнота и неточность исходных данных о решаемой задаче; наличие недетерминизма в процессе поиска решения; высокая вычислительная сложность получения результатов. Перечисленные особенности не позволяют использовать для решения таких задач строгие алгоритмические методы и модели.

В настоящее время активно ведутся исследования в области создания методов, моделей, технологий, систем и средств интеллектуальной поддержки принятия решений (ИППР), основными тенденциями развития которых, являются следующие:

Помимо методов, моделей и технологий, которые традиционно используются для решения сложных, трудно формализуемых, интеллектуальных задач (например, имитационного моделирования, исследования операций, кластеризации, «классического» искусственного интеллекта), так же ведутся интенсивные исследования в области разработки интеллектуальных технологий, к которым, в первую очередь, относятся нейросетевые технологии.

Особенно важным в этих исследованиях представляется изучение и использование на практике новых подходов и методов для решения сложных задач управления, информационного мониторинга, диагностики, автоматизированного проектирования, распознавания образов, классификации на основе технологий искусственных нейронных сетей (ИНС), эволюционного моделирования и генетических алгоритмов, нечеткой логики, а также различных гибридных технологий (нейро-нечетких, нейро-генетических).

Повышение эффективности реализации в ИППР механизмов обучения, самообучения и адаптации к особенностям проблемной среды определяют актуальность построения гибридных моделей, формирующихся на основе интеграции нейросетевых, мультиагентных и когнитивных технологий.

1. Особенности применения нейронных сетей. Ввиду высокой сложности, а иногда и невозможности, получения формализованного математического описания интеллектуальных задач, наиболее перспективными ИИТ являются быстро развивающиеся технологии ИНС. Однако, проведенный анализ работ [2−5] показал, что ряд задач, связанных с эффективным использованием технологии ИНС, остается нерешенным. К ним относятся: небольшой выбор алгоритмов обучения многослойного персептрона, альтернативных методу обратного распространения ошибки; отсутствие методов автоматической подстройки параметров алгоритма обучения во время процедуры обучения; недостаточно гибкие настройки автоматического останова процедуры обучения; отсутствие методов автоматического формирования топологии нейронной сети; методов интерпретации результатов работы сети.

ИНС обладают следующими неоспоримыми и важными для практического использования преимуществами:

Главной отличительной чертой ИНС от других методов интеллектуального анализа является глобальность связей. Базовые элементы ИНС − формальные нейроны, изначально нацелены на работу с векторной информацией. Каждый нейрон, как правило, связан со всеми нейронами предыдущего слоя обработки данных. Специализация же связей между нейронами происходит лишь на этапе обучения на конкретных данных.

Aрхитектура ИНС представляет собой иерархическую последовательность нескольких слоёв (непересекающихся подмножеств). В различных слоях ИНС могут использоваться разные нейроны, но каждый слой ИНС состоит из нейронов одного типа. При этом обработка информации в каждом слое ИНС осуществляется параллельно. Каналы связи между предыдущим и последующим слоями ИНС, чаще всего, являются однонаправленными и имеют регулируемые веса (синаптические параметры). Эти веса связей настраиваются в процессе обучения и самоорганизации архитектуры ИНС по имеющимся экспериментальным данным или прецедентам.

Архитектура ИНС в процессе обучения может меняться за счет изменения связей между нейронами. Каждый формальный нейрон производит простейшую операцию − взвешивает значения своих входов со своими же локально хранимыми синаптическими весами и производит над их суммой нелинейное преобразование. Нелинейность выходной функции активации нейронов сети принципиальна. Если бы нейроны были линейными элементами, то любая последовательность нейронов также производила бы линейное преобразование, и вся ИНС была бы эквивалентна одному слою нейронов. Нелинейность разрушает линейную суперпозицию и приводит к тому, что возможности ИНС существенно выше возможностей отдельных нейронов.

Традиционно ИНС используются для автономного принятия решений в задачах распознавания образов, диагностики состояний, классификации данных и т.п. По существу эти ИНС являются обучаемыми интеллектуальными агентами, которые настраиваются на индивидуальное решение конкретных задач. Главной задачей ИНС является распознавание сенсорной информации и выработка адекватной реакции на внешние воздействия. При этом они не выполняют внешних алгоритмов, а вырабатывают собственные в процессе обучения, которое представляет собой процесс самоорганизации распределенной вычислительной среды - нейронных ансамблей. В распределенных нейронных сетях происходит параллельная обработка информации, сопровождающаяся постоянным обучением, направляемым результатами этой обработки. ИНС в процессе своего обучения не решают формализованных задач, они отбраковывают неверные решения. Таким образом, элиминация ошибок является основой любого обучения.

2. Двухуровневая процедура коллективного решения интеллектуальных задач. При построении моделей ИППР существует большой класс интеллектуальных задач, требующих не только индивидуальных, но и коллективных решений. При решении таких интеллектуальных задач ИНС можно рассматривать, как на коллектив индивидуумов. Каждый нейрон ИНС является членом данного коллектива. То есть ИНС выступает как механизм оптимизации работы отдельных нейронов при коллективных решениях и является способом согласования индивидуальных мнений, при котором коллективное решение является правильной реакцией на вход. Идея такого подхода состоит в том, что в процессе обучения все нейроны приобретают веса, в соответствии с которыми они участвуют в коллективном решении. Особенность каждого элемента состоит в том, что он действует в некотором подпространстве исходного пространства, характер которого определяется связями между нейронами. Решение, получаемое на выходе сети, можно интерпретировать как средневзвешенное решение коллектива.

Рассмотрим функционирование ИНС с точки зрения теории коллективных решений [6]. Пусть для некоторого входного воздействия Х принимается решение S. Тогда S=R(X), где R – некоторый алгоритм принятия решения для входа X. Предположим, что существует L различных алгоритмов решения задачи, т.е. Sl=Rl(X), l=1, 2,.., L, где Sl – решение, полученное алгоритмом Rl. Будем называть множество алгоритмов {R}={R1, R2, ..., Ri.} коллективом алгоритмов решения задачи (коллективом решающих правил), если на множестве решений Sl в любой ситуации Х определено решающее правило F, т. е. S=F(S1, S2, ..., SL, X). Алгоритмы Rl принято называть членами коллектива, Sl – решением l-го члена коллектива, а S – коллективным решением. Функция F определяет способ обобщения индивидуальных решений в решения коллектива S.

Поэтому синтез функции F, или способ обобщения, является центральным моментом в организации коллектива. Наиболее интересными коллективами алгоритмов являются такие, в которых существует зависимость веса каждого решающего правила Rl. Например, вес решающего правила Rl может определяться соотношением:

(1)

где Bl – область компетентности решающего правила Rl. Веса решающих правил выбираются так, что

(2)

для всех возможных значений X. Соотношение (1) означает, что решение коллектива определяется решением того решающего правила Ri, области компетентности которого принадлежит частное решение X. Такой подход представляет собой двухуровневую процедуру решения. На первом уровне определяется принадлежность решения той или иной области компетентности, а уже на втором – вступает в силу решающее правило, компетентность которого максимальна в найденной области. Решение этого правила отождествляется с решением всего коллектива.

3. Комплексный подход к решению задачи с помощью коллектива ИНС. Другим примером сложных задач, требующих принятия коллективных решений, являются глобальные задачи, допускающие естественную (например, иерархическую или мультифрактальную) декомпозицию на множество локальных задач. Для решения таких задач прибегают к коллективу нейронных сетей − это подход, в основе которого лежит одновременное использование конечного числа предварительно обученных нейронных сетей. Этот подход впервые был предложен в работе [6], в которой было показано, что способность к обобщению системы на основе нейронных сетей может быть значительно повышена за счет их объединения в коллектив. Суть такого подхода состоит в том, что решение сложной (глобальной) задачи может быть распределено между интеллектуальными ИНС-агентами, специализирующимися на решении M частных (локальных) задач. Параллельная работа M таких ИНС-агентов может значительно ускорить обработку информации и повысить надежность решения исходной задачи. При решении такого рода задач вводятся специальные агенты-координаторы, которые могут принимать коллективные решения на основе локальных решений остальных N ИНС-агентов с помощью принципов теории принятия решения или различных процедур голосования [6–8]. При этом все локальные решения принимаются параллельно, что ускоряет принятие коллективного решения в N раз.

В ряде случаев глобальная самоорганизация ИНС-агентов обеспечивается иерархической, фрактальной или мультифрактальной декомпозицией общей задачи на N подзадач. При этом степень внешнего параллелизма в мультиагентной нейросетевой системе определяется параметром N, характеризующим одновременную работу N локальных ИНС-агентов.

К настоящему времени такой метод решения интеллектуальных задач был значительно развит и успешно применен в различных сферах, таких как распознавание лиц, распознавание символов, предсказание землетрясений и т.п. В общем случае решение задачи с помощью коллектива нейронных сетей предполагает формирование и обучение конечного множества нейронных сетей, претендующих на то, чтобы их решение было учтено в общем решении, а затем определение такого способа согласования индивидуальных решений, чтобы общее итоговое решение было наилучшим. Например, наиболее распространенными вариантами комбинирования решений отдельных нейронных сетей являются равноправное или неравноправное голосование для задач классификации и простое или взвешенное усреднение для задач регрессии [8]. Наиболее разработаны варианты с взвешенным усреднением или неравноправным голосованием. Например, в работе [7] для оценки весовых коэффициентов вклада отдельных нейронных сетей в общее решение используется оценка качества их индивидуальных решений, а так же для определения весовых коэффициентов принятых решений может использоваться генетический алгоритм [9, 10].

В общем случае комплексный подход к решению задачи с помощью коллектива нейронных сетей включает в себя два этапа. Для использования в системах анализа данных желательно, чтобы оба эти этапа были автоматизированы. Первый этап предполагает формирование структуры и обучение нейронных сетей, которые будут включены в коллектив или предварительный пул.

Второй важнейший этап включает в себя отбор тех сетей, с помощью решений которых будет сформировано итоговое решение, а так же определение способа и параметров формирования общего решения. Для повышения эффективности выполнения этого этапа предлагается подход, позволяющий автоматически выбирать из сформированного предварительно пула нейронные сети, участвующие в принятии коллективного решения, сформированного в виде различных преобразований и комбинаций (линейных и нелинейных) отдельных участников коллектива нейронных сетей. Предполагается, что, используя коллектив ИНС, возможно найти более эффективное решение задачи с помощью формирования более сложных комбинаций решений отдельных нейронных сетей, чем простое или взвешенное усреднение и равноправное или неравноправное голосование.

Общее коллективное решение, сформированное с помощью коллектива ИНС, представляет собой некоторую функцию, входными параметрами которой являются частные решения нейронных сетей, включенных в коллектив:

(3)

где Q – общее решение, Qi – индивидуальное решение i -й сети, n – число сетей в коллективе. Такой подход позволяет расширить гибкость системы, за счет отсутствия твердо закрепленной структуры взаимодействия между индивидуальными сетями, формирующими коллектив. При этом формируется не только структура взаимодействия между членами коллектива, но и косвенно (т.е. за счет включения или не включения соответствующих аргументов в формулу общего решения) отбирает те нейронные сети, решения которых будут наиболее полезны в плане эффективности решения интеллектуальной задачи.

Как было отмечено выше, для интеграции решений частных ИНС, как правило, применяется принцип взвешенного голосования [8].

При синтезе коллективного классификатора основной задачей является построение областей компетенции частных классификаторов. Под областью компетенции понимается подмножество объектов признакового пространства, в пределах которого определена сфера действия частного классификатора с заданным подмножеством распознаваемых образов. В данной работе предлагается определять области компетенции частных нейросетевых классификаторов из условия статистической однородности взаимного поведении признаков.

Для формализации схемы взвешенного голосования введем коэффициент надежности классификации μlj≤1 образа ИНС частным классификатором. Определим этот коэффициент как долю объектов с заданным значением образа, попадающих в область компетенции l-го классификатора

(4)

где F(j) – накопленная частота решения j в исходной базе данных, Fl(j) – накопленная частота решения для частной ИНС в его собственной области компетенции. Голосующая функция j-го класса определяется выражением:

(5)

здесь суммирование производится по всем ИНС. В данной сумме значение μlj берется равным нулю, если решение X не принадлежит области компетенции частной ИНС. Решение о принадлежности решения X некоторой области компетентности А принимается по следующему правилу:

(6)

Заключение. Коллективное использование ИНС в качестве нейросетевых агентов позволяет дополнительно распараллелить и распределить между локальными ИНС-агентами процессы решения сложных, трудноформализуемых интеллектуальных задач, таких как задачи распознавания образов, анализа изображений и сцен, векторной диагностики состояний и адаптивной маршрутизации и классификации информационных потоков [11].

Однако применение одной ИНС при решении сложных задач, не всегда приводит к получению качественных решений, поэтому наиболее перспективным является направление объединения различных моделей ИНС, предназначенных для решения конкретных задач и выработки некоторого коллективного решения, являющегося наиболее оптимальным.

В результате проведенного исследования авторы выделяют основные направления развития нейросетевых технологий при решении сложных интеллектуальных задач:

БИБЛИОГРАФИЧЕСКИЙ СПИСОК