Объединенные планирование и контроль с использованием НОРД-базированной архитектуры
Тим Грант (TIM GRANT)
Университет Претории и Королевская Военная Академия Нидерландов
Перевод: Добрынь И.Источник: http://www.google.com/unifying_planning_and_control.pdf
Планирование и управление в реальном времени тесно связаны, но разделяют исследовательские области. Архитектура, объединяющая планирование и управление вместе со связанными процессами, для военного управления и контроля (C2), скорого производства и во многих других областях испытывает потребность в автономных системах. В этой статье представлен оперативный обзор архитектуры, которая объединяет планирование и управление, базированные на модели процесса Бойда «Наблюдение-Ориентирование-Решение-Действие» (OODA). Недостатки НОРД определены путем сравнения ее с другими моделями процессов. После чего НОРД рационально реконструирована с помощью вариантов использования и формализована с использование Структурного Анализа и Техники Проектирования (Structured Analysis & Design Technique (SADT)). Следующий шаг разработать системный обзор в унифицированном языке моделирования (UML). Далее архитектура будет проверена путем внедрения и тестирования демонстрантом систем С2
Категории и предметные описания: С.0 [Структура компьютерных систем]: В основном – архитектуры систем; I.2.8 [Искусственный интеллект]: Решение проблем, Методы управления и поиск – Выполнение, структура и создание плана; Теория управления; J.7 [Компьютерные приложения]: Компьютеры в других системах - управление и контроль; управление производством; управление процессами; управление в режиме реального времени
Основные понятия: проектирование, стандартизация
Дополнительные ключевые слова и фразы: режим реального времени, Наблюдение-Ориентирование-Решение-Действие (НОРД); Структурный анализ и техника проектирования (САТП); осмысленное создание; управление активными рисками
1.Введение
1.1.Истоки
Брайн и Кемпбелл (1950) впервые предложили использовать работу компьютеров в реальном времени как часть систем управления. Авторы предположили, что возможно использование аналоговых вычислительных элементов. Первые цифровые компьютеры, разработанные специально для управления в режиме реального времени, были предназначены для бортовых операций. В 1954 году цифровой компьютер Digitrac был успешно использован для обеспечения автоматического полета и управления орудийной системой. Компания Texaco впервые применила цифровые компьютеры в промышленном управлении на очистительном заводе Port Arthur в Техасе, который был запущен по замкнутому циклу с 5 March 1959 [Anon, 1959].
Ранние компьютерные системы управления были наблюдательными системами управления, используемыми для стационарной оптимизации вычислений для определения заданных значений стандартных аналоговых контроллеров. Прямое цифровое управление было представлено на содо-амониевом заводе в Флитвуд Ланкашире в Великобритании в ноябре 1962 [Burkitt, 1965]. В конце 1960s были разработаны операционные системе реального времени, для которых идеально подходили ново-разработанные миникомпьютеры. Пришествие микропроцессоров в 1974 сделало возможным распределенные компьютерные системы управления.
Компьютерная система управления реального времени считывает данные на входах сенсоров оборудования и посылает команды оборудованию через промежутки времени, определенные эксплуатационными характеристиками оборудования. Корректность программного обеспечения управления реального времени зависит и от логических результатов вычислений и времени, за которое они были произведены. Расчет результатов за слишком длительный период времени может быть таким же гибельным, как и неправильное вычисление результатов
Управляющие системы типично спроектированы для поддержки устойчивого состояния или состояния наблюдения за оборудованием в течение рабочего промежутка. Общепринятая стратегия обработки ситуаций, корда состояние оборудования выходит за пределы рабочего диапазона – перейти в режим ручного управления. По этой причине важной функцией управляющей системы является оповещение человека-оператора, когда рабочие параметры выходили за граничные пределы.
Является сложным спроектировать управляющие системы для реальных изменений состояния, в моменты, когда оборудование запускается, останавливается или в момент серьезной ошибки. В таких ситуациях оборудование проходит через последовательность состояний. В зависимости от области, последовательность состояний может быть известна как процедура, предписание или последовательность действий. Операторы оборудования предпочитают готовить эти процедуры заранее, если возможно, таким образом, они могут быть широко проверены на безопасность. Процедура подготовки требует глубоких знаний оборудования и обычно выполняется экспертами. Процедуры могут рассматриваться как скелетные планы (Грант, 1999). Существуют некоторые исследование касательно применения техник планирования ИИ для генерации процедур автоматически [Грант, 1988] [Сауттер, 1997], позволяя интегрировать планирование и управление.
Исследователи в области искусственного интеллекта долгое время заинтересованы в расследовании причин действий (т.е. изменениях состояний или переходах) и планировании. Исследования в области планирования с использованием ИИ в подавляющем большинстве фокусируются на автоматическом формировании плана, т.е. на алгоритмах конструирования последовательностей действий. Пока исследователи подтверждают, что генерация планов и управление – известные в литературе по планированию с применением ИИ как выполнение – связаны, общеизвестно, что это раздельные процессы. Существует небольшой стимул в разработке архитектуры объединенного планирования и управления.
Мотивация для объединенной архитектуры пришла из сообществ. Автономные системы, такие как космический корабль, поезда без водителей и беспилотные летательные аппараты (UAVs), невозможно привести в режим ручного управления, когда возникают непредвиденные ситуации. Они должны быть автономны в оценке ситуации, учиться на своих ошибках, сотрудничая с другими системами, перепланировать, после чего выполнять пересмотренные планы. Мобильные роботы для изучения планетарных поверхностей (т.к. Луна или Марс) лидируют в исследованиях. Состояние искусства – гибридная архитектура, сочетающая генерацию планов и возвратное управление в отдельных слоях. Обычно, существуют три слоя: генерация планов не в реальном времени в верхнем слое, поведенческое управление в режиме реального времени в нижнем слое и основанная на планах последовательность поведений в среднем слое. Лидирующая гибридная архитектура включает ATLANTIS [Гет, 1991], InterRAP [Мюллер и Йорг, 1996], 3T [Бонассо и др., 1997], и CLARAty [Вольпе и др., 2001]. Цель подобных гибридных архитектур – разделить планирование и управление, больше чем объединить их.
Разработка объединяющей архитектуры приведет к лучшему пониманию планирования и управления, также как и связанных процессов, таких как процессы в области моделирования, сбор и обработка информации, осведомленность ситуацией, обучение, осмысленное создание. В более длительный период, стандартизация, в конечном счете, может привести к торговле взаимозаменяемыми готовыми коммерческими продуктами, для которых сегодня предшественниками являются системы диспетчерского управления и сбора данных (SCADA).
Эта статья делает вклад в объединение планирования и управления, предлагая архитектуру, основанную на модели процесса Наблюдение-Ориентирование-Решение-Дейтсвие (НОРД), позаимствованную из военной С2 литературы. НОРД модель рационально реконструирована и формализована с использованием нотации структурного анализа и техник проектирования. Исследование, о котором здесь пойдет речь является частью темы «За ситуационной осведомленностью: закрытый НОРД-цикл» Королевской голландской академии. Предыдущие работы изучили интеграцию осмысленного создания и ответного планирования и сравнили НОРД с множеством других моделей процесса. Возможная цель реализовать и протестировать демонстратор систем С2, основанный на результирующей архитектуре.
Эта статья написана под влиянием, и заголовок взяты [Цендровска & Брамер, 1984], которые применили рациональную реконструкцию к семенной медицинской экспертной системе MYCIN. В философии рациональная реконструкция определена как «философский и лингвистический метод, который переводит интуитивное знание правил в логическую форму». Формализация соотносит запись результатов рациональной реконструкции в виде нотации, такой как SADT или UML. Метод, использованный в исследовании, приведен в статье и описан ниже в главе 5.
1.2.Цели и рамки
Цель этой статьи представить оперативный обзор архитектуры объединенного планировании и управления в режиме реального времени, основанной на модели процесса Наблюдение-Ориентирование-Решение-Действие. Планирование включает совещательный и реактивный подходы и покрывает секвенирования, планирование и распределение ресурсов. В этой статье управление принимает форму человеческого диспетчерского управления, т.е. один или более людей включены в управленческий цикл в качестве диспетчеров. Военное управление и контроль использованы для иллюстрации предметной области.
1.3.Структура статьи
В стать восемь разделов. Раздел 2 содержи краткое изложение архитектурного Фреймворка применимого для планирования и управления в реальном времени. В разделе 4 рассмотрена модель НОРД и ее недостатки. Раздел 5 представляет рациональную реконструкцию НОРД, формализованную в SADT, направленную на преодоление недостатков НОРД. В разделе 6 кратко рассмотрена дальнейшая работа. В 7 разделе – благодарности, ссылки перечислены в разделе 8
2. АРХИТЕКТУРНЫЙ ФРЕЙМВОРК
Архитектура предусматривает механизм для комплексного понимания и управления. IEEE стандарт 610.12 определяет архитектуру следующим образом: «структура компонентов, их взаимосвязи, принципы и основные положения, руководящие их структурой и эволюцией во времени». Архитектурный стиль – это справочник компонентов и взаимосвязей, вместе с набором ограничений по их сочетаниям. Существует два крупных класса архитектурного стиля: компонентно-ориентированная и связе-ориентированная (или ориентированная на соединения) архитектуры. Компонентно-ориентированный стиль акцентируется на компонентах и связе-ориентированный стиль акцентируется на интерфейсах и протоколах коммуникации между компонентами.
Архитектурный Фреймворк направлен на то, как описать архитектуру. Архитектура имеет следующее обозначение - «представление по состоянию на текущий или будущий момент времени определенной области со стороны его составных частей, что они должны делать, как части связаны и т.д. и правил и ограничений функционирования частей».
Военное управление и контроль – это, по всей вероятности, область, в которой разработка архитектур и архитектурных Фреймворков для планирования и управления в реальном времени, все больше прогрессирует. Можно выделить три поколения описаний С2 архитектур. Первое поколение связе-ориентированное, нацеленное на обмен данными между системами С2 посредством структурированных текстовых сообщений описывающих события на стандартном человеко- и машинночитаемом виде. Второе поколение было также связе-ориентированное, с электронным обменом данными путем репликации баз данных С2 с использованием стандартных сервисов. Третье поколение – компонентно-ориентированное, принявшее форму многослойного архитектурного Фреймворка. Современные примеры третьего поколения военного С2 архитектурного Фреймворка включают архитектурный Фреймворк Департамента обороны США (DODAF), командование НАТО, Управляющая и Вычислительная Архитектура (NC3A), Командования голландской армией, Управление, Архитектура Коммуникации и Связи (C3IA) и служба Нидерландов ‘Defensie Informatie Voorziening Architectuur’ (DIVA).
Все из этих архитектурных фреймерков третьего поколения имеют три слоя представлений:
- Оперативный вид: Оперативный вид определяет модель бизнес процесса и связанные с ней представления. В DODAF они также известны как модель деятельности и логическая модель данных, соответственно. В области военного С2, бизнес модель состоит из задач, действий, действующих элементов и информационных потоков, необходимых для выполнения или поддержки военных операций. Наша модель безнес процессов будет рационально реконструированной модель НОРД, графически описанной с помощью нотации SADT
- Системный вид: Системный вид определяет компоненты и связи необходимые для поддержки операционного вида бизнес процессов и логической модели данных. Модель операционного вида будет проанализирована с использованием UML
- Технический вид: Технический вид определяет специфические вычислительные и коммуникационные стандарты и технологии необходимые для реализации компонентов и связей системного вида. Демонстратор систем С2 будет реализован для проверки модели операционного вида. Формальная разработка технического вида рассмотрена как часть возможной разработки оперативной С2 системы и не является частью этого исследовательского проекта.
3. ЧЕЛОВЕЧЕСКОЕ ДИСПЕТЧЕРСКОЕ УПРАВЛЕНИЕ
Управляющий цикл – это поток управляющей информации от управляемого процесса к контроллеру и назад к управляемому процессу, все в реальном времени. Сенсоры собирают информацию о состояниях процессов необходимую для контроллера. Эффекторы (или приводы) влияют на подконтрольный процесс с помощью команд выданных контроллером. Сенсоры и эффекторы привязаны или включены в управляемый процесс. Например, если управляемый процесс – кондиционирование в комнате, то датчик температуры будет установлен в комнате. Контроллером будет термостат и эффектором вентиль регулирования потока холодного воздуха, поступающего в комнату. Управляющий цикл – это информация, поступающая от датчика температуры через термостат к вентилю. Воздух внутри комнаты замыкает цикл путем изменения сигнала датчика.
Рисунок 1. Человеческий диспетчерский контроль
В диспетчерском управлении управляющий цикл рассматривается как сам управляемый процесс. Информация берется из управляющего цикла и передается к контроллеру более высокого уровня. Контроллер высокого уровня генерирует инструкции, которые влияют на поведение управляющего цикла, например, изменить настройки температуры в термостате. В человеческом диспетчерском управлении контроллер – это человек и человеко-машинный интерфейс (например, дисплей и регуляторы), который мог бы включать контроллер для взаимодействия с остальной частью управляющей системы. В нашем примере кондиционирования комнаты, термостат должен обеспечить возможность жителям комнаты изменять настройки температуры
[Шеридан, 1992, p.1] определил человеческое диспетчерское управление как форму управления, в которой «один или более людей-операторов периодически программируют и постоянно получают информацию от компьютера, который в свою очередь замкнут на автономном управляющем цикле с помощью искусственных эффекторов и сенсоров, для управления процессом или задачей среды». [Шеридан, 1992, p.3] заметил, что программы человеческого оператора наблюдательной системы управления с помощью указания целей компьютеру, объективных компромиссов, физических ограничений, моделей, планов и «если - то» процедур. …. Как только диспетчер передаст управление компьютеру, компьютер выполнит сохраненные программы и воздействует на новую информацию, полученную от датчиков, независимо от человека, по крайней мере, в короткие промежутки времени».
Рисунок 1 описывает систему человеческого диспетчерского контроля по Ферреллу и Шеридану, с автономным управляющим циклом, обозначенным как «удаленная система». Шеридан определил пять общих функций человека-диспетчера:
1. Планирование задачи для выполнения и хода ее выполнения. Диспетчер:
- приобретает опыт и понимание контролируемого физического процесса, включая природные ограничения и обстоятельства работы
- устанавливает достижимые цели, которые компьютер может понять достаточно хорошо и принять управленческие решения
- формулирует стратегию перехода из исходного состояния к целевому состоянию
2. Запланированное обучение (или программирование) компьютера. Диспетчер переводит цели и стратегию в детализированные инструкции компьютеру, так чтобы он мог выполнить, по меньшей мере, часть автоматически
3. Должен выполнять мониторинг автоматических действий, чтобы гарантировать, что все идет по плану и для определения сбоев и конфликтов между целями и действиями
4. Вмешательство, с помощью которого диспетчер может взять на себя или прервать автоматическое управление. Действия диспетчера в случае, когда компьютер сигнализирует о том, что все задачи выполнены или, вероятно, при выполнении произошли сбои
5. Обучение тому, как нужно делать в будущем на опыте. Диспетчер записывает соответствующие характеристики текущих состояний, анализирует тенденции и аномалии данных и обновляет компьютерные модели.
4. НОРД
В конце 1970-х полковник ВВС США Джон Бойд создал модель Наблдение-Ориентирование-Решение-Действие (НОРД) для принятия решений в режиме реального времени по его наблюдениям воздушных боев между F-86 Sabres и MiG-21s на протяжении Корейской войны в 1950-52 гг. Бойд лично был выдающимся летчиком-истребителем на военной службе во Вьетнаме. Несмотря на свое происхождение, модель не ограничивается реактивными истребителями или военными операциями. С течением времени модель была адаптирована и видах войск как внутри США, так и за их пределами с помощью нескольких коммерческих организаций. В военной сфере НОРД влияет на разработку стратегических концепций таких как приемы маневрирования, «шокировать и устрашить», сетецентрические приемы. НОРД широко преподается при офицерском обучении в нескольких странах. По существу НОРД стал принятой моделью бизнес процессов для военного С2.
Бойд никогда не публиковал традиционных статей или книг по НОРД. Предпочитая провести в 2 дня 200-слайдовый инструктаж влиятельным политикам, гражданским служащим и военным офицерам. НОРД было лишь побочной часть его идей великой стратегии. Более того содержание инструктажей Бойда эволюционировали со временем. В результате чего нет доступного конечного НОРД материала, который научно подтвержден в общепринятом смысле этого слова. Несмотря на это мы утверждаем, что НОРД не стоит оставлять без контроля, основываясь на том, что это модель специфичная области военных операций, что является предметом обширной экспертной оценки.
В инструктажах Бойда, НОРД – это циклическая модель четырех процессов взаимодействующих с окружением, рисунок 2 – это собственное описание НОРД Бойда. Косвенно, процессы НОРД владеют агентом, который соревнуясь, взаимодействует с другими агентами среды. Предполагается, что другие агенты работает также в моделе НОРД.
Бойд никогда подробно не определял процессы НОРД. Подробности показаны только для процессов Ориентирования. Ориентирование также известно как анализ ситуации или оценка ситуации. Бойд описал Ориентирование следующим образом: «Ориентация, видимая как результат, представляющая картину, вид или впечатления от мира… Ориентация это интерактивный процесс многостороннего неявного перекрестного проецирования, сопереживания, сопоставления и отклонения, который формируется в форме генетического наследия, культурных традиций, приобретенного опытами развернувшихся обстоятельств. … Ориентация имеет основной акцент. Она определяет путь… мы наблюдаем способ, которым режим, способ, которым будем действовать»
Рисунок 2. Модель Бойда Наблюдение-Ориентирование-Решение-Действие
Другие три процесса на рисунке 2 могут быть истолкованы следующим образом:
- Наблюдение – это процесс сбора информации об окружающей среде путем взаимодействия с ней, ее измерения или принимая от нее сообщения. Наблюдение также принимает внутренние инструкции от процесса ориентирования также как и поддержку от процессов Решения и Действия.
- Решение – это процесс совершения выбора среди гипотез о состоянии окружающей среды и возможной реакции на него. Решение руководствуется прямой внутренней связью с Ориентированием и обеспечивает внутреннюю поддержку Наблюдению
- Действие – это процесс выполнения выбранной реакции путем взаимодействия с окружающей средой. Действие принимает внутренние руководства от процесса Ориентирования также оно напрямую связано с Решением. Оно обеспечивает внутреннюю поддержку Наблюдению
Уникальные и решающие особенности НОРД модели – акцент Бойда на темп, т.е. время цикла. Бойд выразил это следующим образом: «для того чтобы победить, мы должны действовать в темпе или ритме более быстром, чем наши противники или, еще лучше, внутри НОРД цикла противников»
5. РАЦИОНАЛЬНАЯ РЕКОНСТРУКЦИЯ НОРД
5.1. Недостатки НОРД
Приведенные ниже модели процессов были выбраны для сравнения с НОРД:
- Планирование – Выполнение – Проверка – Действие (ПВПД). ПВПД порождена литературой по управлению качеством продукта, но мигрировала в литературу по управленческому консалтингу, чтобы стать стандартной моделью организационных усовершенствований. Она даже стала неотъемлемой частью процессов управления рисками для компьютерной и сетевой безопасности и определена в Британском стандарте 17799. ПВПД строго последовательна и, по существу, состоит из двух частей: Планирование-Выполнение соответствующее планированию и выполнению/управлению и Проверка-Действие направленное на итерационное улучшение до следующего Планирование-Выполнение. Существует 2 ключевых момента ПВПД: отделяет планирование от выполнения и представляет адаптацию или (итеративный) процесс обучения. Ее недостатком является чистая последовательность и то, что она направлена на управление больше чем на человеческий диспетчерский контроль
- Стимул-Гипотеза-Вариант-Ответ (СГВО) [Уол, 1981].. Как и НОРД, СГВО был разработан исходя из наблюдений процессов ВВС США, хотя и наиболее высоких организационных уровнях, чем летчик-истребитель. В отличие от НОРД, процессы СГВО разложены и информационные процессы определены. Хотя СГВО и может быть отражен почти один в один на НОРД, Уол и Бойд, по всей видимости, не были осведомлены о работах друг друга. Статьи Уола были опубликованы в литературе по кибернетике и цитировал чаще. Как и в ПВПД, работа Уола разделяет процессы ВВС США на (подготовку к битве) планирование и (во время битвы) управление. Планирование и управление размещены на спектрах временной шкалы и агрегирования информации. Планирование и управление вместе разделены на четыре уровня, в которых уровни планирование также могут быть отражены на уровнях организационной иерархии.
- Трехуровневая теория Расмунсена о мыслительных процессах человека во время диспетчерского управления. Хотя Расмунсен психолог, его работа была опубликована в литературе по кибернетике. Она была более влиятельной, чем работа Уола, это было продуктивное исследование, начиная от поддержки принятия решений до моделей человеческих решений. Ключевой вклад Расмунсена определить три уровня мышления: основанный на навыках (т.е. ответная реакция на стимул), основанный на правилах и основанный на знаниях (т.е. на первых принципах обоснования). Обоснование, основанное на знаниях, явно целенаправленно. Каждый уровень разделен на восприятие и процессы действия. Согласно Расмунсену, люди пытаются минимизировать мыслительные затраты. Сразу они пытаются идентифицировать сигналы во входящем потоке сигналов с сенсоров, чтобы действовать на уровне навыков. Это может быть сделано безусловно, т.е. без затрат на изучение. Если это не срабатывает, тогда человек применяет обоснование, основанное на правилах, для распознания ситуации путем ее сравнения и применения правила действующего в ситуации. Это требует некоторых явных усилий, но работает быстрее. Если обоснование, основанное на правилах, не срабатывает, тогда человек должен вернуться на уровень обоснования, основанный на знаниях. Это требует больших явных усилий и также оно медленное. Совещательное планирование включено в модель Расмунсена на уровне обоснования, основанном на знаниях.
- исследование 16 моделей процессов, проведенное Маиком и Рубином, взятых из военной С2 литературы. Их исследование включает СГВО, но не НОРД. Единственный примечательный урок из исследования Майка и Рубина это то, что они отметили, что модель может быть легко отображена на любую другую. Они отбросили все 16 моделей и предложили 17-ую основанную на 7 уровнях телекоммуникации OSI, т.е. связе-ориентированную модель.
- Признание-наилучшего принятие решений (ПНПР) [Клейн, 1998]. Клеин и его коллеги – психологи специализируются на натуралистической поддержке принятия решений (НПР). НПР включает в себя обучения лиц – экспертов, принимающих решение, таких как пожарные, медсестры интенсивной терапии, военные командиры, выполняя их повседневную рутину в естественной рабочей среде. НПР исследователи установили, что эксперты определяют особые ситуации путем сравнения их с прототипами, закодированные опытом предыдущих случаев. Набор действий, которые нужно предпринять в ответ на ситуации является частью сравниваемого прототипа, и совершение выбора из набора альтернатив не является необходимым. Как сказал один эксперт-пожарник: «Я никогда не помню, что я когда-либо принимал решение» [Клейн, 1988, p.11]. Вдобавок к сравнению прототипов со сложившимися ситуациями, ПНПР модель включает процессы диагностики аномалий встречающихся на протяжении сопоставления, для сбора дополнительной информации о возникших ситуациях и для моделирования и корректировки набора действий извлеченного из соответствующего прототипа. В терминах Расмунсена ПНПР модель базируется на правилах.
- Ситуационная осведомленность (СО) [Эндсли, 2000]. Работа Эндсли из литературы по психологии и имела огромное влияние на предотвращение несчастных случаев на самолетах и на тренировку экипажа самолета, так же как и на военный С2. Эндсли определил СО как «восприятие элементов окружающей среды в пределах объема времени и пространства, понимание их значения и проецирование их состояние в ближайшее будущее». СО позволяет решения и действия. Согласно с определением Эндсл определил 3 уровня СО: Уровень 1 (Восприятие), Уровень 2 (Понимание) и Уровень 3 (Проекция). Восприятие и Понимание напрямую соответствуют процессам НОРД Наблюдение и Ориентирование, и Проекция может быть рассмотрена как элемент совещательного планирования.
НОРД была одной из многих моделей процессов человеческого диспетчерского управления и военного управления и контроля, которые были разработаны в конце 1970-х и в первой половине 1980-х. С 2000-х началось возрождение интереса к подобным моделям, с особым акцентом на расширение модели НОРД, включая:
- [Кеис, 2002] расширил НОРД до совместной командной работы, добавив процессы командного функционирования, такие как распространение информации, распределение обязанностей, уравнивание задач, разрешения (о действиях) и командная оценка. Полезным вкладом является его идентификация трех моделей мира: реальный мир, представленный мир как результат Наблюдения и распространения информации и интерпретированный мир, как результат общего восприятия ситуации, т.е. от обмена результатами с уровнями Ориентирования и Действия
- [Брайан, 2003] считает, что НОРД устарела как модель человеческого познания. Основанную на достижениях когнитивных наук, таких как целенаправленное познание, конструктивистской теории взаимопонимания, ментальных моделях и критическом мышлении, Брайан предложил модель Критика-Исследование-Сравнение-Адаптация (КИСА) как лучшую описательную модель. Хотя КИСА строго ориентирована на план, планирование, само по себе, находится вне процессов КИСА. Проверка показала, что процессы КИСА эквивалентны трансформациям между тремя мирами по Кейсу.
- [Руссо и Бретон, 2004] изменили основу НОРД на 3 принципа: модульность, явную обратную связь и предоставление командного принятия решения. Каждый модуль – это задача-цель, направляемая деятельностью, сформированной процессом, Состояние и Управляющие компоненты. Руссо и Бретон утверждали, что результирующая модульная НОРД (М-НОРД) модель включает в себя явнее управление и поточные компоненты в соответствии с пониманием военного С2. Версия М-НОРД для командного принятия решений известно также как Командная НОРД (К-НОРД)
- [Руссо и Бретон, 2004] расширили каждый из четырех процессов модульной НОРД для повышения уровня когнитивной детализации. Расширение включает в себя теории из СО и ПНПР, в результате чего появляется Когнитивная НОРД модель (К-НОРД) индивидуальных лиц, принимающих решение.
- [Брехмер, 2005] предложил объединить НОРД модель Бойда и кибернетический подход, называемый Динамическая НОРД (Д-НОРД). Брехмер отмечает, что определение скорости в контексте НОРД фокусируется на одном аспекте: быстром принятии решений. В отличие от кибернетических моделей, включающих представление среды, НОРД включает представление среды, зависящей от лиц, принимающих решение. Дополнительные источники задержки – простои (т.е. время между инициированием действия и моментом, когда действие начнется), постоянная времени (т.е. время между моментом, когда действие начнется, и моментом, когда оно произведет эффект) и информационная задержка (т.е. время между произведением эффекта и моментом, когда лицо, принимающее решение, осведомится об эффекте). Брехмер указывает, что время принятие решения может быть кратчайшим в цикле. Д-НОРД сохраняет перспективную богатость кибернетического подхода в этом и показывает все источники задержек в С2 процессах. Кроме того, Д-НОРД добавляет планирование и осмысленное принятие решений к исходной четверке процессов НОРД
Основываясь на сравнении НОРД с другими моделями процессов, а также другими дополнениями авторов к НОРД, мы определили следующие недостатки НОРД модели Бойда:
В работах Бойда процессы НОРД подробно не описаны и не формализованы. Более детальные описания процессов есть в ПНПР и СГВО.
Модель НОРД была разработана по наблюдения малого числа взаимодействующих агентов, называемых летчиками-истребителями. Сходство с СГВО, показывает, что НОРД может быть применен к большим организационным подразделениям. Однако нет никакой гарантии, что она будет масштабироваться на большое количество агентов.
Как и другим моделям, НОРД не хватает модели сторонних агентов и объектов среды.
Границы агента, принимающего решения в НОРД не ясны. Индивидуальный пилот-истребитель способен выполнять все 4 НОРД процесса. Однако центр управления выполняет только Ориентирование и Решение, с Наблюдением и Действием, выполненными при помощи приборов и единиц вне центра управления.
НОРД не предусматривает различий между автоматизированными процессами и, выполняемыми человеком. Например, пилот-истребитель в Корейской войне зависит от своего поля зрения для обнаружения воздушного судна противника. Летчики-истребители более поздних поколений зависят от автоматизации, например, от радара, линий передачи данных, систем управления оружием, управляемых ракет и С2 систем.
Модель НОРД предполагает конкурентное взаимодействие между агентами. Его применимость к взаимодополняющему взаимодействию между агентами не тестировалась, хотя Кеий расширил НОРД до совместной командной работы.
В модели НОРД не хватает психологической обоснованности. В частности, в ней не хватает отображения области состояний и модели мира и в ней нет никаких принципов внимания и памяти. Эти недостатки были исправлены Кейсом и Клейном в ПНПР.
В НОРД не хватает процесса совещательного планирования, такого как в ПВПД, СГВО и в пяти функция руководителя Шеридана. Упор Бойда на темп наводит на мысль, что он имеет в виду мотивацию, основанную на правилах.
В НОРД не хватает процесса обучения, такого как в ПВПД и у Шеридана.
Модель НОРД не включает идеи Бойда о темпе
5.2. Реконструкция и формализация НОРД
На основе недостатков, выявленных при сравнивании НОРД с другими моделями, были определены следующие требования:
- Четыре процесса НОРД модели должны быть сохранены в качестве основной функциональности. Норд является стартовой точкой из-за того что она показывает поведение в реальном времени (в терминах темпа) и получила широкое принятие сторонниками.
- Интегрированные процессы планирования и обучения. Планирование должно быть и совещательным и возвратным. Для совместимости использования с военными С2, национальной безопасностью и управлением рисками процесс обучения будет определен как «осмысленное создание».
- Пренебрежение последовательным чтением модели путем именования процессов глаголами с окончанием «ие» для подчеркивания их конкурентности, параллельной природы.
- Обеспечение уровней мотивации, основанных на правилах и знаниях, включая и совещательное и возвратное планирование. Мотивация, основанная на навыках, неизменно реализована в подуправляемом процессе.
- Гарантировать психологическую правильность, основанную на разложении процессов в модель ПНПР, отображающих главные знания как цели и шаблоны
- Отображение временных задержек в каждом процессе и среде, как в кибернетическом подходе, в концепции темпа модели Бойда.
- Явно показать агента, как набор НОРД процессов
- Поддержка множественных экземпляров агентов.
- Разрешить ноль и более экземпляров в рамках каждого агента. Агент содержит только один экземпляр каждого процесса, отображая простую сущность, такую как человек и средство. Агент содержит множественные экземпляры одного или более процессов, отображая составную сущность, такую как группа людей (например, толпа), команда (например, отряд или линия производства машин), управляющий центр или организация (например, отдел). Это дает возможность показать особые случаи для целей Network Centric Warfare. Например, агент содержит множественные экземпляры Наблюдения, и ноль других процессов мог бы отобразить «сенсорную сеть». Аналогично, агент содержит множественные экземпляры Действия, и ноль других процессов мог бы отобразить «орудийную сеть».
- Разрешить связь между агентами (и между процессами в рамках агента) бить соревнующимися ли сотрудничающими. Связи, данными паре агентов или процессов, соревнующиеся или сотрудничающие могут чередоваться или даже существовать одновременно, например, когда агенты согласны с одним из аспектов ситуации, но не согласны с другим.
- У агентов должна быть возможность реализоваться в качестве людей, машин или человеко-машинных систем.
Нотация SADT была выбрана в качестве оперативного представления модели. SADT очень хорошо подходит для специализированных систем с точки зрения функциональных процессов. Нотация представляет систему в виде систему из сети прямоугольников и стрелок. Каждый прямоугольник изображает функциональный процесс, а каждая стрелка изображает интерфейсы между процессами. Процессы действуют конкурентно, с информацией, проходящей через интерфейсы стрелок, ограничивая, когда и как процессы запускаются и управляются. Стрелки должны входить в элементы слева, сверху или снизу, и выходить из элемента справа, как на Рисунке 3. Стрелки входят в элемент слева, отображая входные информационные потоки, и стрелки выходящие справа – выходные. Стрелки, входящие в элемент сверху показывают управляющие информационные потоки, а стрелки снизу показывают механизмы и ресурсы. Например, в реконструированной модели НОРД, Наблюдение определено как функциональный процесс. Этот процесс обеспечивается механизмами Сенсоров или ресурсами. Наблюдение получает Сигналы как входы из Среды, генерируя Наблюдения на выходе с ограничениями установленными элементом настройки Фильтра.
Рисунок 3. SADT / IDEF0 графический элемент и стрелки
По договоренности, SADT диаграммы состоят из не более чем 6 функций. В целях проектирования, метод предполагает декомпозицию, посредством чего процесс может быть разбит на диаграммы нижнего уровня состоящих из (не более 6) подпроцессов. Однако SADT здесь используется для определения процессов, и декомпозиция зарезервирована для проектирования на системном представлении. Несколько различных сред поддерживают SADT / IDEF0 нотацию, но здесь был использован пакет для простого рисования (Microsoft Powerpoint) потому что здесь не требуется гарантировать интеграцию между уровнями декомпозиции. Дополнительные детали правил и методологии для соблюдения строгости и точности, а также сильные и слабые стороны SADT / IDEF0 могут быть найдены в [Marca & McGowen, 1981] и [IDEF0, 2005].
Рисунок 4 показывает реконструированную НОРД модель с использованием нотации SADT. Можно легко увидеть первоначальные четыре процесса Бойда (Наблюдение, Ориентирование, Решение, Действие) вместе с добавленными процессами планирования и обучения (например, планирование и осмысленное создание, соответственно) и ключевые представления знаний (например, Цели и Прототипы).
Работы реконструированной НОРД модели можно объяснить, начиная со Среды, учитывая деятельность типичных агентов. Среда излучает сигналы, которые будут замечены Сенсорами Агентов, если их фильтры настроены надлежащим образом. Сенсоры преобразовывают наблюдаемые и фильтруемые сигналы в Наблюдения и передают их одному или более оценщикам Агента. В процессе Ориентирования Оценщики определяют является ли Наблюдения инструкциями или отчетом. Если это отчет Оценщик генерирует Ситуацию по Наблюдениям и сравнивает ее с ситуацией, описывающей текущий набор ожиданий. Оценщик передает неопределенные ситуации Планировщику и Лицу, принимающему решение. Планировщик формирует новый План для каждой неопределенной Ситуации, а лицо, принимающее решение выбирает один для выполнения с помощью приводов.
Оценщики сравнивают желаемую ситуацию с соответствующим набором Прототипов. Сравниваемые ожидаемые ситуации передаются непосредственно в приводы, которые определяют, должно ли быть выполнено следующее действие из текущего выбранного плана или текущий выбранный план уже достигнут. Выполнение целей сообщается приводами лицам, принимающим решения, которые затем выбирают следующую цель из текущего набора целей и инициируют планирование. Лица, принимающие решение выбирают новый план и передают его приводам. Приводы извлекают действие из текущего выбранного плана, выдают действие в окружающую среду, в то же время, генерируя и передавая соответствующий набор ожиданий оценщикам.
Ситуации, которые Оценщики не могут сравнить передаются сенсмейкерам, которые модифицируют существующий Прототип или создают новый. Триггер генерирования последовательности действий совещательного планирования сенсмейкеров находится в центре модифицируемого или вновь созданного прототипа. Оценщики переоценивают ранее неоцененную ситуацию с помощью модифицированного набора прототипов.
Если бы входящие Наблюдения были инструкцией, а не отчетом, она будут принята Планировщиками и лицами, принимающими решение, как неожиданная ситуация. Планировщики будут проверять совместимость инструкции с текущим набором целей путем генерирования новых планов для дополнения набора целей (например, текущий набор плюс инструкция). На основе этих новых планов и текущего набора ресурсов, лицо, принимающее решение, будет затем решать, нужно ли принимать либо отказываться от инструкции. Принятие будут возглавлять лица, принимающие решение, добавляя инструкцию как новую цель к текущему набору целей. В тоже время лица, принимающие решения будут выбирать один из новых Планов, и предавать его приводам для выполнения. Лица, принимающие решения, также инструктируют приводы для информирования отправителя о том была ли инструкция принята или отклонена.
Рисунок 4. Рационально реконструированная НОРД-модель, формализованная с помощью нотации SADT
Набор вариантов использования верхнего уровня был определен для содействия систематически верному взаимодействию функциональных процессов внутри реконструированной модели НОРД. Были адаптированы три принципа при определении набора вариантов использования. Прежде всего, входящий сигнал может быть инструкцией или отчетом. Инструкция - это запрос от стороннего агента принять и достичь набор целей. Отчет одержит информацию от стороннего агента или объекта, как правило, об его состоянии (изменении состояния) или достижении каких-то событий. Во-вторых, агент НОРД движимый ожиданиями. В ориентированном на план управлении, выполнение действия в результате текущего выбранного плана заключается не только в исходящих воздействиях на среду, но также во внутренних, в генерации связей между входными сигналами и ожиданиями, которые будут получены, когда действие произведет эффект в среде. Входные сигналы сравниваются с ожиданиями для определения выполняется ли действие в Среде по плану. В-третьих, не делаются никаких различий на оперативном уровне между физическими действиями и актами связи (например «акт речи»). Оба действуют на окружающую среду агента.
Варианты использования верхнего уровня:
- Вариант использования (0): нет входного сигнала. Этот вариант использования используются к при наблюдении используются неправильные фильтры, например сенсор, неправильно откалиброван или установлена неправильная частота.
- Вариант использования (1): Инструкция получена и принята. Этот вариант использования применяется, когда агент получает инструкцию и новый набор в инструкции совместим с ресурсами агента и текущим набором принятых целей.
- Вариант использования (2): Инструкция получена и отклонена. Этот вариант использования применяется, когда агент получает инструкцию, но новый набор целей не может быть, достигнут ресурсами агента или конфликтует с набор принятых агентом целей
- Вариант использования (3): Получен отчет ожидаемой промежуточной ситуации. Этот вариант использования применяется, когда получен отчет от другого агента или объект указывает, что события выполняются по плану, но текущий выбранный набор целей, еще не достигнут.
- Вариант использования (4): Получен отчет, указывающий на достижение цели. Этот вариант использования применяется когда получен отчет от другого агента или объект указывает, что события выполняются по плану и текущий выбранный набор целей уже достигнут.
- Вариант использования (5): Получен отчет, указывающий на ошибку выполнения предыдущих действий. Этот вариант использования применяется, когда получен отчет от другого агента или объект указывает что события выполняются не по плану, например, предыдущее действие, выполненное этим агентом ошибочно.
- Вариант использования (6): получен отчет о сравнении новой ситуации с одним или более шаблонами. Этот вариант использование применяется, когда отчет получен от другого агента или объект указывает на появление неожиданного события, но неожиданная ситуация – одна из тех ситуаций, для которой агент имеет шаблон.
- Вариант использования (7): получен отчет о ситуации, у которой нет шаблона для сравнения. Этот вариант использование применяется когда отчет получен от другого агента или объект указывает на появление неожиданного события и неожиданная ситуация является новой
- Вариант использования (8): получен отчет о ситуации с аномалиями при сравнении. Этот вариант использование применяется, когда отчет получен от другого агента или объект указывает на появление неожиданного события и, хотя, неожиданная ситуация – одна из тех ситуаций, для которой агент имеет шаблон, были замечены аномалии между паттерном и наблюдаемой ситуацией.
Рисунок 5. Проход через вариант использования (4): достижение цели
Для иллюстрации того как варианты использования использованы для проверки интерфейсов, мы пройдем по варианту использования (4) для достижения цели. Каждый шаг при проходе активирует один или более интерфейсов, как показано на рисунке 5. Показаны следующие шаги:
- Шаг (1): Сигнал выпущен средой
- Шаг (2): Сигнал замечен одним или более сенсорами, которые конвертируют его и фильтруют в Наблюдения
- Шаг (3): Один или более приводов идентифицируют наблюдение как отчет и, находя, что он ожидаем, генерируют ожидаемую ситуацию
- Шаг (4): Один или более оценщиков замечают, что ожидаема Ситуация указывает что цель из текущего выбранного плана достигнута. Оценщик докладывает о достижении цели лицу, принимающему решение, и информирует инициатора цели (например, агента который поставил цель или передал инструкцию) о ее достижении
- Шаг (5): Лицо, принимающее решение инструктирует планировщика для генерации нового плана для следующей цели.
- Шаг (6): Планировщик генерирует один или более планов для следующей цели
- Шаг (7): Лицо, принимающее решение выбирает один из планов для выполнения
- Шаг (8): Оценщик извлекает следующее действие из нового выбранного плана, издает действие в среду и передает соответствующие ожидания оценщику.
Рационально-реконструированная модель НОРД соответствует не только военному командованию и управлению, но она также неофициально принята не в военных областях, таких как предотвращение мошенничества и безопасность пищевых продуктов за ее используемость. В настоящее время она оценивается по временной шкале управления воздушным движением и событиями ПВО в Соединенных Штатах с 11 сентября 2001 года.
UML был выбран для проектирования процессов при переходе от операционного представления к системному представлению реконструированной НОРД модели. Главными причинами выбора UML являются: он объектно-ориентированный (соответствует преобладающей парадигме, используемой в современных языках программирования), у него более богатая нотация, чем SADT / IDEF0, он широко используется и согласован, он поддерживается большим количеством средств (включая свободные). На момент написания (июль 2005) UML анализ архитектуры находится в ходе разработки.
6. ДАЛЬНЕЙШАЯ РАБОТА
В этом документе описано то, как модель НОРД была взята в основу архитектуры операционного представления. Сравнение с другими моделями процессов позволило определить недостатки модели НОРД Бойда. После устранения этих недостатков, результирующая модель была формализована с помощью нотации SADT. Набор вариантов использования был применен для гарантии корректного определения набора интерфейсов между процессами SADT
Следующим шагом в данном документе показан анализ операционного представления архитектуры с использованием UML, результатом чего стало системное представление. Архитектура операционного представления, показанная в этой статье, будет уточнена, если UML анализ покажет, что это необходимо. В настоящее время анализ находится на стадии выполнения. Объекты-классы были получены из ресурсов SADT (например, сенсоры) и потоки данных (наблюдения)
ССЫЛКИ
9/11 COMMISSION, 2004. The 9/11 Commission Report: Final Report of the National Commission on Terrorist Attacks Upon the United States. Official Government Edition, U.S. Government Printing Office, Washington D.C., USA. ISBN 0-16-072304-3.
ALBERTS, D.S., GARSTKA, J.J., AND STEIN, F.P. 1999. Network-Centric Warfare: Developing and Leveraging Information Superiority. US DoD Command and Control Research Program, Washington DC, USA, ISBN 1-57906-019-6
ANON. 1959. Computing Control – A commercial reality, Control Engineering, 9, 5: 40.
AYLETT, R.S., PETLEY, G.J., CHUNG, P.W.H., SOUTTER, J., AND RUSHTON, A. 1997. Planning and Chemical Plant Operating Procedure Synthesis: a Case Study. In Proceedings of the 4th European Conference on Planning, Toulouse, France, September 1997
BENNETT, S. 1994. Real-Time Computer Control: An introduction. Prentice Hall, New York, NY, USA
BIUNDO, S., AYLETT, R., BEETZ, M. BORRAJO, D., CESTA, A., GRANT, T.J., MCCLUSKEY, L., MILANI, A., AND VERFAILLIE, G. eds.
2003. Technological Roadmap on AI Planning and Scheduling. PLANET II: The European Network of Excellence in AI Planning, IST -2000-
29656, downloadable from http://www.planet -noe.org/
BONASSO, R.P., FIRBY, R.J., GAT, E., KORTENKAMP, D., MILLER, D.P., AND SLACK, M.G. 1997. Experiences with an Architecture for Intelligent Reactive Agents. In Journal of Experimental and Theoretical AI, 9, 2.
BOOCH, G. 1993. Object -Oriented Design with Applications . 2nd edition, Addison-Wesley, USA. ISBN 0-8053-5340-2.
BOYD, J.R. 1976. An Organic Design for Command and Control. In BOYD, J.R. 1976. A Discourse on Winning and Losing. Unpublished lecture notes
BOYD, J.R. 1987a. Organic Design for C2. Unpublished lecture notes.
BOYD, J.R. 1987b. A Discourse on Winning and Losing. Maxwell Air Force Base, AL: Air University Library Document No. M-U 43947 (Briefing slides).
BOYD, J.R. 1996. The Essence of Winning and Losing. Unpublished lecture notes
BRETON, R., AND ROUSSEAU, R. 2003. Modelling approach for Team Decision Making. TR 2003-368, Defence R&D Canada, Valcartier, Canada.
BRETON, R., AND ROUSSEAU, R. 2005. The C-OODA: A cognitive version of the OODA loop to represent C2 activities. In Proceedings of the 10th International Command and Control Research Technology Symposium, June 2005, McLean, VA. USA.
BREHMER, B. 2005. The Dynamic OODA Loop: Amalgamating Boyd’s OODA Loop and the Cybernetic Approach to Command and Control. In Proceedings of the 10th International Command and Control Research Technology Symposium, June 2005, McLean, VA. USA.
BROWN, G.S., AND CAMPBELL, D.P. 1950. Instrument Engineering: Its growth and promise in process-control problems, Mechanical Engineering, 72, 2: 124.
BRYANT, D.J. 2003. Critique, Explore, Compare and Adapt (CECA): A new model for command decision-making. In Technical Report TR 2003-105, Defence R&D Canada, Toronto, Canada.
BURKITT, J.K. 1965. Reliability performance of an on-line digital computer when controlling a plant without the use of conventional controllers. In Automatic Control in the Chemical Process and Allied Industries, Society of Chemical Industry: 125-140.
CENDROWSKA, J. AND BRAMER, M.A. 1984. A Rational Reconstruction of the MYCIN Consultation System, International Journal of Man – Machine Studies 20 (March 1984): 229-317.
DEHN, D.M. 2004. Private communication, National Aerospace Laboratory (NLR), Amsterdam, Netherlands, 26 February 2004
DEMING, W.E. 1951. The New Way. In Elementary Principles of the Statistical Control of Quality. Tokyo, Japan: Nippon Kaagaju Gijutsu Remmei
DODAF. 2004. DoD Architecture Framework. Version 1.0, 8 February 2004, Office of the Assistant Secretary of Defense (NII), US DoD, Washington DC, USA
ENDSLEY, M.R. 2000. Theoretical Underpinnings of Situation Awareness. In Situation Awareness Analysis and Measurement . M.R. ENDSLEY & D.J. GARLAND, Eds. LEA, Mahwah, NJ, USA
FERRELL, W., AND SHERIDAN, T.B. 1967. Supervisory control of remote manipulation. IEEE Spectrum, 4, 10, October: 81-88.
GAT, E. 1991. Reliable Goal -directive Reactive Control for Real -World Autonomous Mobile Robots. PhD Thesis, Virginia Polytechnic Institute and State University, Blacksburg, USA
GHALLAB, M., NAU, D., AND TRAVERSO, P. 2004. Automated Planning: Theory and Practice. Morgan Kaufman Publishers, San Francisco, CA, USA. ISBN 1-55860-856-7
GRANT, T.J. 1988. An Algorithm for Obtaining Action Sequences from a Procedures Knowledge Base. I n Proceedings of the 7th European Conference on Artificial Intelligence, Munich, 1-5 August 1988, 176-181
GRANT, T.J. 1999. The Relationship between Plans and Procedures. In Proceedings of the 18th workshop of the UK Planning and Scheduling Special Interest Group, December 1999, University of Salford, UK.
GRANT, T.J. 2002. A Domain-Independent Architecture for Decision-Support Applications. International Journal of Advanced Manufacturing Systems , special issue on Decision Engineering, 5, 2, June 2002, 20-46
GRANT, T.J. 2005. Integrating Sensemaking and Response using Planning Operator Induction. In Proceedings of the second International Symposium on Crisis Response and Management , Brussels, 18-20 April 2005
GRANT, T.J., AND KOOTER, B.M. 2005. Comparing OODA & Other Models as Operational View C2 Architecture. In Proceedings of the 10th International Command and Control Research Technology Symposium, June 2005, McLean, VA. USA.
IDEF0, 2005. Integrated DEFinition (IDEF) methods: IDEF0 – Function Modeling Method. http://www.idef.com/ idef0.html (accessed 29 July 2005).
KEUS, H.E. 2002. A Framework for Analysis of Decision Processes in Teams . In Proceedings of the 7th International Command and Control Research Technol ogy Symposium, June 2002, Monterey, CA, USA
KLEIN, G. 1998. Sources of Power: How people make decisions. MIT Press, Cambridge, Mass., USA
LAWSON, J.S. 1981. Command and control as a process. IEEE Control Systems magazine, March 1981, 5-12.
MARCA, D., AND MCGOWEN, C.L. 1988. SADT: Structured Analysis and Design Technique, McGraw-Hill, NY, USA.
MAYK, I., AND RUBIN, I. 1988. Paradigms for Understanding C3, Anyone? In Science of Command and Control: Coping with uncertainty.
JOHNSON, S.E. & LEVIS, A.H. Eds. AFCEA International Press, Washington DC, USA, 48-61
MÜLLER, J.P., AND JÖRG, P. 1996. The Design of Intelligent Agents, A Layered Approach, In Lecture Notes in Artificial Intelligence, 1177, XV,
OSINGA, F. 2005. Science, Strategy and War: The strategic theory of John Boyd. PhD thesis, University of Leiden, The Netherlands. Eburon Academic Publishers, Delft, The Netherlands, ISBN 90 5972 058 X
RASMUSSEN, J. 1983. Skills, Rules and Knowledge: signals, signs and symbols, and other distinctions in human performance models. IEEE Transactions in Systems, Man and Cybernetics, SMC-13, 3, 257-267 (May/June 1983)
REASON, J. 1987. Generic Error-Modelling System (GEMS): A cognitive framework for locating human error forms. In New Technology and Human Error. Rasmussen, Duncan & Leplat, Eds. Wiley, London, UK
ROUSSEAU, R., AND BRETON, R. 2004. The M-OODA: A Model Incorporating Control Functions And Teamwork In The OODA Loop. In Proceedings of the 2004 Command and Control Research Technology Symposium, 2004, San Diego. USA.
SHERIDAN, T.B. 1988. Task Allocation and Supervisory Control. In Handbook of Human-Computer Interaction, HELANDER, M. Ed. Elsevier Science Publishers B.V., 159-173
SHERIDAN, T.B. 1992. Telerobotics, Automation, and Human Supervisory Control . MIT Press, Cambridge, Mass., USA. ISBN 0-262-19316-7
SHEWHART, W.A. 1939. Statistical Method from the Viewpoint of Quality Control.
SOUTTER, J. 1997. An Integrated Architecture for Operating Procedure Synthesis. PhD thesis, Loughborough University, Loughborough, Leicestershire, LE11 3TU, United Kingdom
VOLPE, R., NESNAS, I., ESTLIN, T., MUTZ, D., PETRAS, R., AND DAS, H. 2001. The CLARAty Architecture for Robotic Autonomy. In Proceedings of the 2001 IEEE Aerospace Conference, Big Sky, Montana, USA
WEICK, K. 1995. Sensemaking in Organizations . Sage, Thousand Oaks, CA, USA. ISBN 0-8039-7178-1
WOHL, F.G. 1981. Force Management Decision Requirements for Air Force Tactical Command & Control. . IEEE Transactions in Systems, Man and Cybernetics, SMC-11, 9, 618-639 (September 1981)