ИНТЕГРИРОВАННАЯ СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ПО УПРАВЛЕНИЮ, ПРОГНОЗИРОВАНИЮ И ДИАГНОСТИКЕ
В.Л. Токарев
Источник: Журнал «Автоматизация и современные технологии.» – 2000. – №4. – С. 21-28
В статье приведен анализ и обзор различных интеллектуальных систем. Подробно рассматривается интегрированная система поддержки принятия решения (ИСПР), включающая подсистему моделирования. В частности, рассмотрены такие вопросы, как: структура ИСПР, подсистема моделирования, её цели, база знаний, подсистема поиска решений, методы обработки информации подсистемой моделирования.
Введение
В настоящее время для поддержки решений неформализованных задач используются различные интеллектуальные системы, среди которых можно выделить: системы поддержки принятия решении (СППР), экспертные системы (ЭС) и системы ситуационного управления (ССУ). Однако не все неформализованные задачи могут быть решены с помощью таких систем из-за «незнания» ими основных закономерностей предметной области. К таким задачам относятся: управление сложными техническими системами в условиях неопределенности; прогнозирование состояния сложной системы (не обязательно технической) в условиях неопределенности; диагностика причин неправильного функционирования сложной системы и др.
Расширить область применения интеллектуальных систем можно путем использования интегрированной системы поддержки принятия решения (ИСПР), включающей подсистему моделирования. Основное отличие этих систем заключается в следующем:
- в процессе своего функционирования они синтезируют формальные модели предметной области, которые используются в выработке наиболее рациональных решений:
- содержат знания более высокого уровня: формальные модели, отражающие основные закономерности предметной области.
Применение в качестве элементов знаний формальных моделей дает возможность использовать не только эвристические, но и математические процедуры поиска решений, обеспечивающие наибольшую эффективность.
К настоящему времени появились разработки интегрированных интеллектуальных систем, использующих для принятия решений математические и логико-лингвистические модели. Однако специфика решения слабо формализованных задач указанного класса требует, чтобы проектируемая компьютерная система базировалась не на моделях заранее заданной жесткой структуры, а на моделях с настраиваемой структурой. Это сделает систему гибкой, достаточно универсальной, и, кроме того, оставит за пользователем свободу участия в процедуре синтеза моделей в соответствии с собственной логикой рассуждений, в которой отражаются его накопленный опыт, интуиция, предпочтения. В то же время система будет достаточно строгой, потому что использует некоторые конкретные правила анализа и синтеза моделей.
Структура ИСПР
В качестве основных особенностей сложной системы, требующих решение задач управления, прогнозирования или диагностики, отметим следующие.
• Возможность функционирования с учетом неформализованных критериев. Для работы с такого рода критериями можно использовать логико-лингвистические подходы, основанные, например, на теории нечетких множеств.
• Существование класса сложных систем, в котором подсистемы являются разнородными. Например, некоторая производственная система может состоять из технологических подсистем различного назначения, организационных подсистем, финансово-экономической, экологической, социальной подсистем и др. В связи с этим их адекватное описание с помощью одного подхода к задаче моделирования невозможно.
• Многомерность подсистем (т.е. для описания таких подсистем используется большое число переменных различной физической природы).
•Разнотипность свойств подсистем (признаков его функционирования), т.е. наряду с количественными оценками ряда их свойств часто встречаются неколичественные оценки, измеряемые, например, в шкалах наименований, порядков, отношений, лингвистических переменных, баллов и т. п.
•Отсутствие априорно известных математических моделей подсистем и элементов таких подсистем, включая объекты управления, прогнозирования и диагностирования.
В качестве общих свойств сложных систем отметим следующие.
1. Уникальность по количеству подсистем и видам взаимодействия между ними.
2. Отсутствие строгой формализуемости.
3. Многокритериальное или отсутствие четких критериев оптимальности.
4. Неопределенность.
5. Динамичность.
К основным причинам неопределенности можно отнести следующие: стохастический характер сред; несовершенство технических средств измерения и управления; неполнота знаний о природе физико-химических процессов; чрезмерная сложность математических описаний и ограниченность вычислительных возможностей вычислительных средств; наличие субъективных факторов.
Интегрированная интеллектуальная система, обеспечивающая поддержку решений задач, требующих повышенных объемов знаний, например, при управлении сложными техническими системами в условиях неопределенности; прогнозировании состояния сложной системы (не обязательно технической) в условиях неопределенности; диагностике причин неправильного функционирования сложной системы, должна удовлетворять следующим требованиям.
1. Быть способна к обучению, т.е. уметь извлекать информацию из окружающей среды, повышать свой уровень и накапливать полученные знания о данной предметной области в базе знаний (БЗ) с целью их использования для решения недостаточно формализованных задач.
2. Собирать и накапливать информацию о поведении системы в базе данных (БД) с целью ее использования для обучения ИСПР.
3. На основе информации, накопленной в БЗ и БД, моделировать ситуацию, в которой приходится принимать решения.
4. Оценивать качество принимаемых решений с учетом всех заданных критериев с использованием полученных моделей.
5. Своевременно отслеживать изменение ситуации, в которой приходится принимать решение.
6. Восстанавливать или игнорировать недостающие данные, т.е. иметь устойчивость к неполноте исходной информации.
В отличие от рассмотренных традиционных интеллектуальных систем ИСПР содержит подсистему моделирования и расширенный состав базы знаний, включающий: средства информационной поддержки построения формальных моделей системой моделирования и средства поддержки получения рациональных решений с использованием формальных моделей подсистемой поиска решений.
Подсистема моделирования предназначена для построения формальной модели исследуемой системы с целью повышения уровня интерпретации имеющейся информации, что позволяет решать задачи управления, прогнозирования и диагностики состояния сложных систем и процессов. Модель строится в виде совокупности частных моделей различного типа и мониторной подсистемы синтеза модели из множества частных на основе информации о конкретной ситуации, в которой принимается решение.
Построение формальных моделей исследуемой системы обеспечивает повышение уровня данных; обучение ИСПР путем приобретения и запоминания определенного опыта, накапливаемого в процессе функционирования исследуемой системы; интерпретацию информации, выдаваемой датчиками; решение задач прогноза и регноза ( восстановления причин, приведших к текущему состоянию системы).
Во время разработки прикладной ИСПР эти модели могут использоваться вместо объектов реального мира для имитации показаний датчиков, а на этапе эксплуатации прикладной ИСПР они используются подсистемой поиска решений, что позволяет:
– выработать наиболее рациональные значения управляющих воздействий, осуществить в некотором смысле оптимизацию исследуемого процесса, прогнозирование состояний, диагностику неисправностей и т.п.:
– повысить устойчивость к неполноте данных путем подстановки модельных значений переменных при невозможности получения реальных значений (выход из строя датчика или длительное время реакции на запрос):
– осуществить прогноз развития ситуаций и моделирование путей развития процессов, приведших к возникновению текущей ситуации;
– осуществить верификацию показаний датчиков во время работы системы.
Под рациональным управлением понимается такое, которое обеспечивает перевод системы из некоторого состояния в состояние, принадлежащее некоторой малой окрестности (е-окрестности) вокруг точки оптимального состояния, т.е. состояния, для которого критерий качества управления принимает экстремальное значение.
Для получения такого решения в подсистему поиска решений могут быть включены процедуры, связанные с формированием гипотез, прогнозом развития ситуаций и регнозом.
БД содержит необходимые фактографические данные о системе или процессе. Обычно данными служат конкретные значения величин, используемых в решении, а также описания объектов, связей, ситуаций, событий.
БЗ кроме традиционного для интеллектуальных систем содержимого дополнительно имеет знания предметной области для формирования гипотез, используемых при решении задач моделирования, и полученные подсистемой моделирования частные формальные модели.
Все знания в БЗ хранятся в файлах двух типов: базы знаний и библиотеки знаний. В файлах первого типа хранятся знания о приложениях: определения всех объектов, объекты, правила, процедуры и т.п. В файлах библиотек хранятся общие знания, которые могут быть использованы более чем в одном приложении: в основном это частные формальные модели предметной области.
Знания структурируются путем использования иерархий классов, модулей и рабочих пространств.
Каждый модуль БЗ может содержать любое число рабочих пространств (РП). РП образуют одну или несколько древовидных иерархий с отношением «is-a part-of» (является частью). С модулем ассоциируется одно или несколько РП верхнего (нулевого) уровня: каждый из них – корень соответствующей иерархии.
В свою очередь, с каждым объектом (определением объекта или связи), расположенным в нулевом уровне, может ассоциироваться РП первого уровня, являющееся его частью и т.д.
С точки зрения использования БЗ можно разделить на структуры данных и выполняемые утверждения. Примерами первых являются объекты и классы, связи, отношения, переменные параметры, списки, массивы, рабочие пространства РП. Примерами вторых – правила, процедуры, формальные модели, формулы, функции.
Подкласс данных включает подклассы переменных, параметров, списков и массивов.
Переменные делятся на три вида: собственно переменные, параметры и простые атрибуты. Параметры получают значения в результате работы подсистемы поиска решений или выполнения какой-либо процедуры. Переменные представляют измеряемые характеристики объектов реального мира и поэтому имеют специфические черты: время жизни значения и источник данных.
Время жизни значения переменной определяет промежуток времени, в течение которого это значение актуально, по истечении этого промежутка времени переменная считается не имеющей значения.
Основу выполняемых утверждений БЗ составляют правила и процедуры вывода, основанные на моделях. Кроме этого, есть формулы, функции, действия и т.п. Правила имеют традиционный вид: левая часть (антецедент) и правая (консеквент). Кроме if-правила в ИСПР, работающих в реальном времени, используются еще четыре типа правил: initially, unconditionally, when и whenever. Каждый тип правил может быть как общим, т.е. относящимся ко всему классу, так и специфическим, относящимся к конкретным экземплярам класса.
ИСПР работает в режиме обучения (настройки на решение проблемы, реализуемого подсистемой обучения) и в рабочем режиме, т.е. в зависимости от конкретной ситуации и поставленной проблемы система вырабатывает совет или заключение, сопровождая их объяснением полученных выводов.
Одна из основных проблем – обучение ИСПР – решается с помощью подсистемы моделирования и подсистемы приобретения знаний. При обучении могут быть поставлены по крайней мере две цели. Первая – извлечение информации из среды, вторая – повышение ее уровня и структурирование.
Первая цель достигается с помощью формирования обучающей выборки данных, выявления наиболее информативных признаков системы, статистического анализа данных и т.п.
Вторая цель достигается с помощью моделирования исследуемой системы на основе априорной информации и обучающей выборки: построение частных формальных моделей отдельных подсистем, а затем – общей модели путем создания дерева моделей на основе имеющейся информации о структуре исследуемой сложной системы..
Большинство обучающихся систем, разработанных до настоящего времени, ориентированы на использование алгоритмов статистического анализа различных данных. В предлагаемой системе обучение реализуется путем построения моделей, основанного на информационных методах, методах теории нечетких множеств, нечеткой логики и теории принятия решений на основе формальных моделей в сочетании с эвристическими методами. Подсистема поиска решений строится на основе алгоритмов оптимизации, использующих приближенные модели (модели с ограниченной погрешностью). Совокупность решений, обеспечивающих целенаправленное поведение исследуемой системы (ИС), вырабатывается на основе информации о текущем состоянии всех подсистем ИС, данных мониторинга, множества заданных критериев и условий функционирования ИС и эвристических знаний.
Окончательные решения вырабатываются лицом, принимающим решение (ЛПР), предлагающим варианты и осуществляющим выбор среди различных альтернатив. При этом оценивается множество критериев, отражающих различные цели, которые являются зачастую несоизмеримыми и противоречивыми. Всю информацию, необходимую для такого выбора, подготавливает ИСПР, а ЛПР формирует задачу, выполняет анализ результатов с помощью ИСПР и принимает окончательное решение.
Подсистема моделирования.
Для построения формальных моделей отдельных подсистем, а иногда и системы в целом, средствами подсистемы моделирования должна быть решена определенная последовательность задач обработки различной информации.
На первом этапе осуществляется изучение исследуемой системы (ИС) как объекта системного анализа. При этом решаются задачи сбора, обработки и оценивания количественной и семантической информации об ИС, а также технологические и информационные воздействия как на процессы получения информации, так и на ИС. Целью изучения ИС является получение теоретичесих знаний об объекте путем изучения химико-физических и других процессов, лежащих в основе поведения ИС, т. е. получение априорной информации, необходимой для моделирования объекта. В результате намечаются пути построения формальной модели объекта, организации процесса сбора и обработки количественной и семантической информации, т.е. апостериорной информации, которая будет основой для анализа его функционирования и оценки близости формальной модели исследуемому объекту.
Сбор количественной информации направлен на получение наиболее информативных выборок измеряемых переменных и параметров ИС. Сбор семантической информации направлен на получение субъективной информации от экспертов, имеющих большой практический опыт изучения ИС. В некоторых случаях с целью повышения качества апостериорной информации на объект выдаются специальные воздействия, которые реализуются в виде управляющих воздействий на объект и процесс сбора количественной и семантической информации об ИС.
На втором этапе решаются задачи количественного и семантического анализа, подготовки принятия решений по целенаправленному управлению системой натурных испытаний. Полученные в результате анализа данные являются исходными для решения комплекса задач моделирования и управления различными подсистемами ИС.
Задачи семантического анализа предназначены для повышения ценности семантической информации путем сопоставления с нею известных нечетких подмножеств или путем нахождения предикатов, которые становились бы истинными при данных семантических значениях. Существующая количественная информация, преобразованная и семантический вид в результате «размывания» или приведения к предикатному виду, может служить наряду с неформализованной семантической информацией и информацией о состоянии технологических составляющих основой для решения задач моделирования и управления подсистемами ИС. Определяющая формальная модель является частью модели знаний, построенной по результатам изучения информации об ИС.
В рамках семантического анализа должны решаться такие задачи:
нечеткого, логического качественного моделирования, оценивания и принятия решений; размывания неточной количественной информации; перевода количественной информации в предикатную форму; перевода семантической информации в лингвистическую форму и др.
Основными задачами количественного анализа и управления являются следующие: размещение источников экспериментальной информации (наблюдений за поведением процессов); управление параметрами и процессами; управление измерениями; оценивание параметров; моделирование, оценивание и прогнозирование состояний параметров и процессов. Результаты решения таких задач используются в качестве исходной информации для других задач либо имеют самостоятельное значение.
На третьем этапе осуществляется согласование разнородной информации (количественной и семантической), извлекаются знания и данные, строятся формальные модели. Согласование разнотипной информации может быть осуществлено двумя способами.
Первый способ заключается в построении многоуровневой формальной модели, каждый уровень которой определяется одним типом информации, а число уровней – числом типов информации. В общем случае модель может быть трехуровневой: первый уровень составляет продукционная (логико-лингвистическая) модель, отражающая поведение моделируемой системы в среде семантической информации; второй уровень составляют логические модели, отражающие поведение системы в среде количественных, неточно измеряемых (в шкалах интервалов, порядков и т.п.) переменных и некоторых качественных переменных; третий уровень составляют функциональные модели, отражающие поведение системы в среде количественных переменных, измеряемых с достаточной точностью в количественных шкалах (абсолютной, разностной, отношений и т.п.).
Второй способ заключается в увязывании указанной разнородной информации и приведении ее к одному виду. Для решения этой задачи должно осуществляться ее представление в некоторой универсальной форме с применением так называемых лингвистических переменных либо предикатов.
Таким образом, процесс системного анализа ИС средствами подсистемы моделирования заключается в последовательном выполнении следующих операций:
– предварительная обработка наблюдаемой информации о ИС;
– моделирование процессов, имеющихся в ИС;
– адаптирование полученных моделей к реальным условиям функционирования ИС;
– прогнозирование поведения ИС с помощью полученных моделей.
В результате обработки имеющейся информации методами системного анализа подсистемой моделирования вырабатываются:
– знания об ИС, используемые в качестве основы ИСПР и для синтеза управляющих подсистем;
– рекомендации по применению различных методов для разных условий функционирования ИС;
– рекомендации по выбору структуры подсистем и по проектированию их элементов;
– рекомендации по количественным, качественным и временным характеристикам принимаемых решений;
– прогнозы о развитии ИС во времени, а затем создаются БД, БЗ и модели подсистем исследуемой системы, являющиеся основой ИСПР.
Методы обработки информации подсистемой моделирования
Методы обработки количественных данных. Количественные данные, определяющие размеры, время жизни и структуру всех динамических объектов, могут быть установлены только в результате натурных наблюдений, которые осуществляются путем организации системы измерений и контроля за состоянием физических сред – мониторинга. Данные, получаемые в процессе наблюдений, обрабатываются с использованием аппарата многомерного статистического анализа (факторный анализ, метод главных компонент, классификация и снижение размерности данных) и информационного анализа (энтропийный анализ, устойчивое оценивание и прогнозирование). Технологическая цепочка проведения анализа в этом случае выглядит так: классификация данных, накопление обучающей выборки, построение формальной функциональной (математической) модели. Первые два звена этой цепочки предназначены для подготовки информации, необходимой для построения модели. При этом исходная информация не систематизирована и обладает определенной избыточностью, поэтому алгоритмическое обеспечение анализа должно иметь средства сжатия исходной информации и выделения исходных признаков.
К одной из важных групп методов обработки данных относятся методы классификации многомерных наблюдений, цель которых состоит в формировании однородных по своим признакам групп наблюдений, максимально различающихся по внешним характеристикам (методы робастной статистики и бутстреп-методы). Общее назначение данных методов заключается в преодолении смещенности оценок вероятностных характеристик исследуемых выборок данных, что позволяет получать устойчивые оценки порогов классификации.
Другую важную группу методов анализа составляют алгоритмы прогнозирования. Как правило, это методы краткосрочного и среднесрочного прогнозов (методы экспоненциального сглаживания, синхронный корреляционный анализ (СКА). СКА позволяет учитывать вклад в величину статистических взаимосвязей всех видов корреляционных показателей: взаимных, частных и множественных коэффициентов корреляции. Это позволяет снять неопределенности, связанные с множественностью статистических связей: значения одной совокупности данных коррелируются со значениями другой, но это является отражением факта, что они обе коррелированы со значениями третьей совокупности.
Рассмотренные задачи и методы анализа наблюдаемых данных позволяют сформировать структуру информационного обеспечения подсистемы моделирования для построения функциональных моделей систем, функционирование которых производится в среде количественных переменных, т.е. переменных, измеряемых в количественных шкалах (абсолютной, разностной, отношений, порядковой и интервальной).
Основные звенья такой структуры: программно-аппаратные комплексы, обеспечивающие автоматизированный сбор, хранение и оперативную обработку информации и оптимальное управление ее сбором; банки наблюдаемых данных, обеспечивающие хранение и коллективное использование больших массивов разнородной информации; программное обеспечение в виде пакетов прикладных программ, позволяющих реализовать статистический и структурный анализы данных и осуществлять структурную и параметрическую идентификацию.
Методы обработки семантических данных. Перечисленные выше методы хорошо себя зарекомендовали в описании подсистем, функционирующих в среде количественных переменных. Однако из-за ряда недостатков они не могут быть использованы для описания подсистем, функционирующих в среде качественных (семантических) переменных, т.е. переменных, измеряемых в таких шкалах, как бальной, в шкале наименований, в шкале нечетких величин – лингвистических переменных, значения которых имеют семантическую форму, например: {очень малая величина, малая величина, средняя величина, большая величина, очень большая величина}. Это связано с тем, что информация в таких системах (подсистемах), как организационные, финансово-экономические, социальные, юридические, медицинские и др., может иметь не только количественное представление, но и представление в виде знаний – правил, эвристик, наборов ранжированных альтернатив, семантических оценок числовых параметров и др., которые описываются с помощью значений лингвистических переменных, высказываний.
Согласование указанной разнородной информации является одной из основных задач системного анализа таких систем (подсистем). Для этого может быть использовано универсальное представление информации в виде значений лингвистических переменных либо предикатное представление. Другой способ заключается в построении многоуровневых моделей, причем тип модели каждого уровня определяется типом переменных, в среде которых производится отображение входов системы (подсистемы) в ее выходы.
Лингвистические переменные не только представляют собой аппарат для оперирования неопределенностями, но и дают возможность описания совокупности качественно разнородных состояний системы. Имеющиеся количественные оценки «размываются», и им в соответствие ставятся некоторые нечеткие подмножества, при этом существующие неопределенности фильтруются: статистическая неопределенность рассматривается как частный случай нечеткости, а функции распределения вероятностей – как функции принадлежности. Информация, полученная от экспертов, представляется в лингвистической форме, имена лингвистических переменных унифицируются для всех видов информации. В результате каждой лингвистической переменной, данной экспертом, можно поставить в соответствие определенное нечеткое подмножество. На основе такого подхода могут быть построены продукционные (логико-лингвистические) модели:
В предикатном представлении все виды информации рассматриваются как такие, которые делают истинным определенный набор предикатов. Согласованная информация, т.е. приведенная к унифицированному виду, может быть использована для решения задач моделирования, прогнозирования или управления организационными (технологическими) подсистемами. При этом могут быть использованы логические методы, основанные на обычном исчислении предикатов, нечетком исчислении высказываний и предикатов, логических основаниях протекания физических процессов, причинно-следственной логики. На основе такого подхода могут быть построены логические модели.
Для подсистем ИС, в основе которых лежат физико-химические законы или процессы, которые могут быть сведены к таким законам формально, могут быть использованы методы, основанные на логике процессов и причинно-следственных связей. Основным способом представления знаний в этом случае является система так называемых качественных дифференциальных уравнений (конфлюэнций). Конфлюэнция – это отношение, связывающее между собой представленные в семантическом виде такие параметры системы, которые непосредственно влияют один на другой, т.е. признаки непосредственных причин и следствий. Моделирование поведения системы при этом выполняется путем возбуждения всех причинно-следственных цепочек. Это реализуется путем логического вывода в формальных арифметиках качественных переменных с помощью некоторых непротиворечивых правил вывода.
БЗ содержит объекты, понятия и атрибуты, которые формируют базовую структуру проблемной области. Связь между объектами, понятиями и атрибутами организуется через правила вывода, также имеющиеся в БЗ. В состав БЗ включаются также критерии рациональности принимаемых решений.
Основным отличием БЗ ИСПР от традиционных экспертных систем является то, что в ее состав включаются частные модели различных типов (функциональные, логические, лингвистические), определяемые подсистемой моделирования по информации, содержащейся в базе данных, и по информации, вводимой экспертами. Подсистема моделирования объединяет имеющиеся в БЗ разнотипные частные модели в общую многоуровневую модель исследуемой системы с учетом информации, извлекаемой из БД, и в соответствии с правилами, введенными в БЗ экспертами.
Процесс моделирования с целью управления завершается синтезом систем управления процессами, протекающими в ИС. При этом решается следующий комплекс задач:
– оптимизация измерительной системы;
– идентификация источников возмущения ИС;
– управление процессами.
Результаты моделирования используются при автоматизации процесса принятия решения о воздействии на ИС. При этом последовательно выполняются следующие операции:
– вычисление значений критерия качества управления с помощью прогнозирующей модели;
– поиск управляющих воздействий, обеспечивающих получение желаемых значений;
– оценка степени надежности полученного решения и выдача результатов Л ПР.
1. Для поддержки решения неформализованных задач: управление сложными техническими системами в условиях неопределенности; прогнозирование состояния сложной системы (не обязательно технической) в условиях неопределенности; диагностика причин неправильного функционирования сложной системой (технической и нетехнической) и др. необходима новая структура интеллектуальной системы – ИСПР.
2. Предложена структура ИСПР, которая в отличие от известных интеллектуальных систем включает:
– подсистему моделирования для создания формальных моделей предметной области при решении задач прогноза и регноза (восстановления причин, приведших к текущему состоянию системы):
– БЗ предметной области для формирования гипотез, используемых при решении задач моделирования и поиска решений по управлению.
3. Математические методы, используемые в ИСПР, основаны на расширенной теории системного анализа, отличающейся от классической тем, что в ней:
– в дополнение к количественному описанию систем и процессов их функционирования допускается описание их на качественном уровне (в терминах лингвистических переменных, нечетких высказываний и моделей, нестрогих алгоритмов и др.);
– в процессе выработки решений по управлению, прогнозированию и диагностике предполагается использование формальных приближенных моделей, используемых как прогнозирующие, в сочетании с неформальными методами поиска рациональных решений.
Список литературы
1. Иоффин А. И. Мир ПК. 1993, № 5.
2. Белкин А.Р., Левин М.Ш. Принятие решений: комбинаторные модели аппроксимации информации. М.: Наука, 1990.
3. Морозов А.А. Інформатиз. нові технолог. 1995, № 1.
4. Уотермен Д. Руководство по экспертным системам. М.: Мир, 1989.
5. Экспертные системы: состояние и перспективы / Под ред. Д.А. Поспелова. М.: Наука, 1989.
6. The second world congress on expert systems / Liebowitz, July / IEEE Expert systems. 1994, № 2.
7. Поспелов Д.А. Ситуационное управление. Теория и практика. М.: Наука, 1986.
8. Улыков Ю.И. Ситуационное управление большими системами. М.: Энергия, 1974.
9. Expert systems tools and techniques: Past, present and future. Cambridge (Mass), London, 1987.
10. Герасименко В.Ф. Зарубежная радиоэлектроника. № 2-3, 1995.