Прийняття рішень і СППР
Система підтримки прийняття рішень (СППР) (англ. Decision Support System – DSS) – інтерактивна комп’ютерна автоматизована система (програмний комплекс), що призначена для допомоги та підтримки різних видів діяльності людини при прийнятті рішень стосовно розв’язання структурованих або неструктурованих проблем. Застосування СППР забезпечує виконання ґрунтовного та об’єктивного аналізу предметної області при прийнятті рішень в складних умовах.
Задачі прийняття рішень постійно виникають і розв’язуються в природі, у світі що нас оточує – в біологічних, екологічних, соціальних і економічних системах, різноманітних процесах та явищах, наприклад, у процесах функціонування живих організмів та їх колоній, проявах споживчих уподобань, природних катаклізмах тощо.
Рішенням вважається обґрунтований набір дій з боку особи, що приймає рішення (ОПР), спрямованих на об’єкт чи систему управління, який надає можливість привести даний об’єкт чи систему до бажаного стану або досягнути поставленої мети [2]. Рішення є одним із видів розумової діяльності і проявом волі людини. Характерними ознаками рішення є:
– можливість вибору з набору альтернативних варіантів: за відсутності альтернатив, відсутній і вибір, отже, відсутнє й рішення;
– наявність мети: безцільний вибір не розглядається як рішення;
– необхідність вольового акту ОПР при виборі рішення, тому що вона формує рішення при боротьбі мотивів і думок.
Необхідно зазначити, що важливою постає класифікація самих рішень. За існуючими розробками можна виконати класифікацію рішень, яка наведена у табл. 1.
Прийняття рішення – це процес вибору найбільш преференційного рішення з множини допустимих рішень або упорядкування множини рішень. Прийняття рішень можливе на підставі знань про об’єкт управління, процеси, що в ньому відбуваються і можуть відбутися з перебігом часу, а також за наявності множини показників, що характеризують ефективність та якість прийнятого рішення. Тобто необхідні адекватна модель об’єкту і модель прийняття та оцінювання прийнятого рішення. Під моделлю прийняття рішень мається на увазі формальне подання поставленої задачі та процесу прийняття рішень.
Питання про формальну основу вибору, зокрема, про походження
критерію оптимальності складає одну з фундаментальних проблем
теорії прийняття рішень (ТПР), що зародилася ще у XVIII ст. В
ТПР були поставлені та досліджені задачі опису і аналізу типів вибору
та таких теоретичних конструкцій, як «корисність», «перевага» та ін.
Наукові засади ТПР були закладені в період другої світової війни. Її
родоначальниками вважаються Дж. Фон Нейман і О.Моргенштерн, які
у 1944р. опублікували книгу з теорії ігор [5]. К середині XX ст.
оптимізаційний вибір за одним чи декількома критеріями був представ-
лений за бінарними відношеннями переваг. В основі сучасних
моделей покладені припущення стосовно того, яким чином здійснює
вибір варіантів індивідуум, і яким чином здійснюється вибір колекти-
вом.
Таблица 1 – Класифікація видів рішень
Будь-який процес прийняття рішення здійснюється в декілька основних етапів.
Етап постановки задачі. Складається з фаз аналізу та діагностики проблеми і визначення цілей рішення. На цьому етапі відбувається виявлення та опис проблемної ситуації, збір релевантної інформації і даних; визначаються цілі рішення, яке має бути прийняте, що дозволяє задати напрям пошуку рішень і видалити ті, котрі не відповідають цілям.
Етап формування рішень. Складається з фаз формулювання обмежень і критеріїв прийняття рішень та визначення альтернатив рішення. На даному етапі відбувається визначення обмежень, що дозволяють відокремити прийнятні варіанти від неприйнятних, та критеріїв, які сприяють вибору кращих з придатних варіантів рішення. Потім здійснюється формування множини допустимих альтер- натив, яке полягає у пошуку та розробці альтернативних варіантів рішення.
Етап вибору рішення. Складається з фаз оцінки альтернатив та остаточного вибору рішення. На даному заключному етапі відбувається оцінка варіантів з множини допустимих альтернатив за обраними критеріями та подальший остаточний вибір рішення. Цінність альтер- нативних варіантів звичайно не однакова, але за умов неявної переваги одного варіанту перед іншим можуть виникати певні складності.
Процес прийняття рішення складається з таких кроків:
– визначення цілей, критеріїв оптимальності, критеріїв добору «кандидатів» на отримання ресурсів;
– формування множини допустимих альтернатив;
– вибір методів розв’язання задачі;
– порівняння та упорядкування множини альтернатив за обраними критеріями;
– добір кращих варіантів за критерієм оптимальності та вибір рішення.
Часто в процесі прийняття рішень ОПР припускаються помилок. До найбільш поширених належать такі [1]:
– прийняте так зване однобічне рішення;
– відсутній системний підхід при прийнятті рішення;
– під час вибору варіантів перевага надана «звичній» альтернативі;
– розглядались лише позитивні варіанти, можливий ризик не було враховано;
– прийняте рішення було зумовлене емоціями;
– рішення прийнято імпульсивно;
– при прийнятті рішення припустились поспішності;
– при прийнятті рішення керувалися припущеннями, прихованими бажаннями і хибними передумовами, а не достовірною суб’єктивною інформацією;
– невірно витлумачені наявні факти;
– неактуальність рішення: рішення було невірно або невчасно реалізоване (на жаль, нерідка ситуація в українській економіці).
Ефективність рішення
Необхідно зазначити, що будь-яке рішення, має сенс лише тоді, коли воно ефективне. Виділяють два основних фактори, що впливають на ефективність рішень: фактор якості рішення Q та фактор прийняття рішення людиною A. Ефективність рішення E може бути виражена формулою: E ?Q? A.
За умов, що один із зазначених факторів прямує до мінімуму, ефективність рішення падає. Фактор якості рішення Q пов’язаний із вибором кращої альтернативи з тих, що зумовлює проблемна ситуація з урахуванням умов прийняття рішень та можливостей виконавців рішення.
Підвищення ефективності рішення головним чином слід спрямовувати на покращення фактору якості, а саме на вірний добір обмежень і критеріїв рішення, правильне формування множини допустимих альтернатив та на коректний вибір найкращого для умов задачі варіанту.
Так, ефективність розв’язання задачі розподілу ресурсів характеризує ступінь співвимірності досягнутих цілей із витратами ресурсів на їх досягнення та визначається фактором якості рішення Q , який обумовлюється доброякісністю і глибиною виконання етапу постановки задачі та вибором методів і моделей для розв’язання задачі.
Умови прийняття рішень
Суттєвий вплив на розв’язок задач прийняття рішень спричиняють умови та середовище, в яких відбувається прийняття рішень. В сучасній ТПР класифікують такі умови прийняття рішень:
- Визначеність.
Рішення приймається в умовах визначеності, коли точно відомий результат кожного з альтернативних варіантів вибору. Відносно небагато рішень при управлінні бізнес-процесами приймаються в умовах визначеності. Такі ситуації зустрічаються у випадку прийняття рішень, подібних тим, що зустрічались у минулому. - Ризик. До рішень, що приймаються в умовах ризику, відносяться такі, при формуванні яких результати альтернативних варіантів не є визначеними, але відомі їх імовірності. Сума імовірностей всіх результатів певної альтернативи повинна бути рівною одиниці. Зазначимо, що в умовах визначеності існує лише один результат кожного варіанту. Найбільш бажаний спосіб визначення імовірності – об’єктивність. Імовірність є об’єктивною, коли її можна визначити математичними методами або шляхом статистичного аналізу накопиченого досвіду. Також імовірність буде визначена об’єктивно, якщо надійде достатньо інформації для того, щоб прогноз виявився статистично достовірним.
- Невизначеність. Рішення приймається в умовах невизначеності, коли неможливо оцінити імовірність потенційних результатів. Така ситуація зазвичай має місце, коли фактори, що необхідно врахувати, є складними, і стосовно їх неможливо отримати достатньо інформації. Тому імовірність певного наслідку неможливо прогнозувати з достатнім ступенем достовірності. Невизначеність є характерною для багатьох рішень, які приймаються у швидко мінливих обставинах.
Середовище, в якому відбувається прийняття рішення, також є важливим фактором, що впливає на процес прийняття і результат прийняття рішення. Хід часу зумовлює ситуаційні зміни. Якщо зміни значні, то ситуація може змінитися настільки, що обмеження і критерії прийняття рішення стануть недійсними. Тому рішення належить розробляти, приймати і втілювати в умовах, коли інформація та припущення, на яких ґрунтується рішення, залишаються дійсними і актуальними.
Більшість рішень в сучасних складних задачах приймаються людиною одноособово або колегіально в умовах наявності невизначеностей різної природи та типів.
Невизначеність припускає наявність факторів, при яких результати дій не є детермінованими, а ступінь можливого впливу цих факторів на результати невідома.
Аналіз умов наявності невизначеностей може виконуватись на абстрактному теоретичному рівні або з точки зору конкретної ситуації, наприклад, з точки зору виявлення можливості побудови математичної моделі чи з точки зору теорії інформації, де невизначеність виступає як характеристика ситуації вибору. Категорія невизначеності характеризується деякими змінними параметрами, які описують різні види невизначеностей: глобальну невизначеність, ситуативну, політичну, соціальну і т. д . При розв’язанні задач прийняття рішень в умовах наявності невизначеностей необхідно встановити рівень аналізу і типи невизначеностей, що розглядаються.
Необхідно зазначити, що часто невизначеність ототожнюють лише з відсутністю повної інформації про той чи інший об’єкт. Насправді недостатні знання станів об’єкту – це не єдина невизначеність. Поряд з цим іноді можна розглядати невизначеність цілей та невизначеність критеріїв вибору рішень. У багатьох реальних задачах складність прийняття рішення визначається насамперед кількістю альтернативних варіантів та кількістю і різнорідністю критеріїв оцінювання цих варіантів.
При розв’язанні задач системного аналізу, прийняття рішень та дослідження операцій виділяють такі основні типи невизначеностей [3].
Невизначеність цілей – невизначеність вибору цілей в багатокритеріальних задачах.
Ситуаційна невизначеність – невизначеність впливу неконтрольованих факторів, що позначаються на процесах практичної діяльності;
– невизначеність природи – відсутність достатніх знань про оточення та зовнішні фактори;
– ненадійність очікувань – невизначеність розвитку певних подій у майбутньому;
Стратегічна невизначеність – невизначеність цілей і дій активного або пасивного партнера чи противника, так звана невизначеність конфліктів;
Інформаційна невизначеність – нечіткість та розпливчастість процесів і явищ та інформації про досліджувану систему, відсутність відомостей про достовірність інформації.
Додатково виділяють такі види невизначеностей:
Структурна невизначеність – невизначеність структури моделі досліджуваної системи.
Параметрична невизначеність – це апріорна невизначеність параметрів моделі системи, складність оцінювання і аналізу якості параметрів моделі.
Статистична невизначеність – невизначеність статистичних даних, що переважно випливає з об’єму даних, наявності пропусків, імпульсних викидів і т. д. Сюди можна віднести, також, невизначеності, зумовлені наявністю збурюючих впливів та похибок (шуму) вимірів.
Методична невизначеність – невизначеність (неоднозначність), притаманна методу обробки даних чи методу розв’язання задачі.
Комбінаторна невизначеність – неможливість знання всіх можливих варіантів. Комбінаторна невизначеність пов’язана із усіма іншими типами невизначеностей і найчастіше випливає з них. Необхідно зазначити, що в реальних практичних задачах прийняття рішень і системного аналізу часто наявні різноманітні види невизначеностей, які разом складають деякий комплекс невизначеностей, так звану системну невизначеність.
Проте необхідно зазначити, що процес прийняття рішень людиною має певні обмеження стосовно можливості аналізу, обробки даних, одержання рішень прогнозованої якості та швидкості прийняття обґрунтованих рішень. Робота ОПР обмежена як відносинами між окремими особами, так і внутрішніми психологічними і фізіологічними причинами . Людина має можливість одночасно оперувати лише обмеженим числом операндів і понять, щонайбільше 7 +/- 2 [8]. Крім того, при аналізі і розв’язанні багатокритеріальних задач ОПР досить часто проявляють мінливість, невпевненість, нелогічність, намагання суттєво спростити задачу. У таких випадках можливості обчислювальних машин значно перевищують можливості людини, що призвело до розробки напряму розробки систем та методологій, які мають можливість об’єднати переваги людини і комп’ютера та компенсувати їх недоліки – це людино-машинні системи.
Системи підтримки прийняття рішень
Серед сучасних напрямів розробки людино-машинних систем – системи автоматичного керування, експертні системи та системи підтримки прийняття рішень. Найбільш придатними для розв’язання багатьох задач, зокрема задачі розподілу ресурсів, виявляються СППР. Саме за допомогою СППР ОПР має можливість безпо- середньо за допомогою обчислювальних засобі проектувати, порівнювати та обирати альтернативні варіанти рішень у самі різноманітні способи.
Так, в сучасних умовах застосування нових альтернативних підходів до формування і прийняття високоякісних рішень немислиме без використання електронних інформаційних систем. Причинами повсюдного впровадження інформаційних технологій є зростаюча роль цих технологій практично в кожній галузі діяльності суспільства та зростаюча міць цих технологій. Застосування сучасних підходів на основі інформаційних технологій надає можливість використовувати обчислювальні потужності комп’ютерів для виконання розрахунків, обробки, аналізу і прогнозування даних в режимі реального часу, для допомоги у прийнятті рішень. При цьому відбувається автоматизація не стільки ручної праці, скільки інтелектуальної, більше того, в ряді задач вони виявляються ефективнішими. Зрозуміло, що в таких випадках доцільно використовувати системи підтримки прийняття рішень, які дозволяють приймати важливі рішення, керуючись подіями, які ще не здійснилися, надають можливість розробляти декілька можливих сценаріїв типу «що було б, якби», визначати оптимальні дії тощо. СППР інтегрують в собі такі якості, які роблять їх не тільки дуже корисними для системних задач управління і прийняття рішень, але й по суті незамінними інструментами аналізу даних в сучасних умовах економічного розвитку.
Системи підтримки прийняття рішень створюються для підтримки прийняття рішень ОПР в складних та слабоструктурованих ситуаціях.
Оскільки історично виник ряд різних напрямків діяльності стосовно прийняття рішень, то розрізняють декілька видів СППР, що відображають основні аспекти процесу прийняття рішень: аналіз рішень (Decision Analysis); обчислення (визначення) рішень (Decision Calculus); дослід- ження рішень (Decision Research) та процес впровадження (Implementation Process). Кожний із зазначених напрямів постає самостійною перспек- тивою розвитку СППР, проте в «чистому вигляді» вони практично не зустрічаються.
Необхідно зазначити, що для процесу прийняття рішень, який здійснює ОПР без допоміжних засобів, суттєве значення мають такі важливі чинники, які повинні бути досліджені і враховані при розробці структури СППР і реалізації системи.
Робоча пам’ять. ОПР здійснює обробку інформації в робочій пам’яті – проміжна між короткостроковими і довгостроковими зона запам’ятовування. Робоча пам’ять може одночасно містити до восьми понять, які без відновлення утримуються 7-13 секунд.
Джерела інформації. ОПР має можливість отримувати інформацію від органів чуття та із довгострокової пам’яті. Проте інформація з довгострокової пам’яті вважається менш надійною. По-перше, з часом вона може стиратись, а по-друге, людина схильна застосовувати ту інформацію, яка повторюється, та яка є семантично ближчою до інформації, що міститься в робочій пам’яті.
Обробка числових даних. Прийняття рішень часто вимагає виконання обробки великих масивів числових даних та здійснення різноманітних обчислень. ОПР намагається уникати методологій із значними числовими обчисленнями, а за основу алгоритмів прийняття рішень вибирає операції, що ґрунтуються на якісних та евристичних механізмах мислення.
Виконання операцій. Реалізація складних процесів мислення і обробки інформаційних елементів може вимагати значного часу ОПР, що відіграє важливу роль для систем, які функціонують у масштабі реального часу. ОПР не завжди здатна сформувати прийнятне рішення за короткий проміжок часу.
Зазначені аспекти прийняття рішень постають певними загальними обмеженнями при прийнятті рішень ОПР без допоміжних засобів таких, як СППР. Саме такі обмеження сприяли появі і розвитку напряму створення людино-машинних систем.
За сучасним станом розвитку систем ідеальна СППР має такі характеристики [4]:
– використовує слабостуктуровані та нечіткі дані;
– оперує зі слабостуктурованими рішеннями;
– підтримує як взаємозалежні, так і послідовні рішення;
– може застосовувати знання;
– підтримує моделювання та прогнозування;
– може бути легко побудована, якщо може бути сформульована логіка конструкції СППР;
– проста у застосуванні та модифікації;
– підтримує три фази процесу прийняття рішень: інтелектуальну частину, проектування та вибір;
– призначена для ОПР різного рівня;
– може бути адаптована до індивідуального та групового застосування;
– підтримує різні стилі та методи рішень, що можуть бути корисними при застосуванні групою ОПР;
– проявляє гнучкість і адаптується до змін в організації та в її оточенні;
– дозволяє людині керувати процесом прийняття рішення за допомогою комп’ютера, а не навпаки;
– підтримує еволюційне застосування та легко адаптується до мінливих вимог;
– підвищує ефективність процесу прийняття рішень.
Інтерес до СППР, як перспективної галузі використання обчислю- вальної техніки та інструментарію підвищення ефективності праці у сфері управління економікою, постійно зростає. У багатьох країнах розробка та реалізація СППР перетворилася на дільницю бізнесу, що швидко розвивається. СППР набуває широкого застосування в економіках передових країн світу, при цьому їхня кількість постійно збільшується.
На рівні стратегічного керування використовується ряд СППР, окремо для довго-, середнє- і короткострокового, а також для фінансового планування, включаючи систему для розподілу капіталовкладень та ресурсів. Орієнтовані на операційне керування СППР застосовуються в галузях маркетингу (прогнозування й аналіз збуту, дослідження ринку і цін), науково-дослідних і конструкторських робіт, у керуванні кадрами.
Операційно-інформаційне застосування пов’язане з виробництвом, придбанням і обліком товарно-матеріальних запасів, їхнім фізичним розподілом і бухгалтерським обліком.
Крім того, у країнах з розвиненою ринковою економікою велику увагу приділяють розвитку систем підтримки інвестиційної діяльності, а також розподілу інвестиційних і фінансових ресурсів.
Прикладом такої СППР може бути розроблена у США ще на початку 1980х років система ISDS (Investment Strategy Decision System – система для підтримки рішень рішень з інвестиційних стратегій), яка призначена для формування портфеля замовлень. Ця система забезпечує виконання таких операцій:
– попередній добір пропозицій;
– порівняльна оцінка нових пропозицій між собою, а також із вже розпочатими роботами;
– об’єднання відібраних пропозицій і виконуваних робіт в інвестиційні групи, кожна з яких формується згідно з програмними цілями, політикою й бюджетними обмеженнями;
– порівняльний аналіз розподілу довгострокових капіталовкладень;
– подання підсумкових даних з різних трендів зміни капітало- вкладень;
– видача статистичної інформації, необхідної для звітності.
Крім цього, у зазначеній СППР передбачено накопичення досвіду практичного використання системи, що допомагає враховувати колишні результати при формуванні варіантів планів довгострокових капітальних вкладень. Це дозволяє перевіряти правильність рішень в історичній перспективі, порівнюючи їх з аналогічними ситуаціями у минулому.
Застосування СППР в інвестиційних процесах для розв’язання задач розподілу інвестиційних ресурсів надає можливість враховувати вплив значної кількості різноманітних факторів, достатньо швидко отримувати результат та дозволяє виконувати імітаційне моделювання інвестиційних рішень при різних значеннях параметрів та для різних умов задачі. Всі ці операції дуже складно та найчастіше неможливо виконувати без застосування спеціальних засобів, таких як СППР. Роль СППР в інвестиційній діяльності не в тому, щоб замінити ОПР, а в тому щоб значно підвищити їх ефективність.
Аналіз практичних аспектів реалізації СППР свідчить, що останнім часом актуальною постає розробка інтелектуальних засобів підтримки прийняття рішень, що полягає у створенні СППР на базі методів математичного моделювання і сучасних методів штучного інтелекту спільно із апаратом експертних систем.
СППР, дружні людині, надають можливість вести рівноправний діалог із ЕОМ за допомогою звичайних мов спілкування. Системи можна будовувати під стиль мислення користувача, його знань і фахової підготовки, а також під засоби роботи.
Класифікація СППР
На сьогодні не існує єдиної загальної класифікації СППР. Відзначимо, що чудова для свого часу класифікація Альтера, яка розбивала всі СППР на 7 класів, на даний час дещо застаріла. Розглянемо деякі основні поділи СППР на види за різними характеристиками.
На рівні користувача виділяють такі види СППР:
– активна – може зробити пропозицію, яке рішення варто вибрати;
– пасивна – допомагає у процесі ухвалення рішення, але не може внести пропозицію, яке рішення прийняти;
– кооперативні – дозволяє ЛПР змінювати, поповнювати або поліпшувати рішення, пропоновані системою, посилаючи потім ці зміни в систему для перевірки.
На технічному рівні розрізняють такі СППР:
– СППР рівня підприємства – підключена до великих сховищ даних і обслуговує багатьох менеджерів підприємства;
– персональна настільна СППР – мала система, що обслуговує лише один комп’ютер користувача.
На концептуальному рівні відрізняють такі типи СППР:
– керована повідомленнями (Communication-Driven DSS) – підтримує групу користувачів, що працюють над виконанням загальної задачі;
– керована даними (Data-Driven DSS, Data-oriented DSS) – в основному орієнтується на доступ і маніпуляції з даними;
– керована документами (Document-Driven DSS) – здійснює пошук і маніпулювання неструктурованою інформацією, заданої в різних форматах;
– керована знаннями (Knowledge-Driven DSS) – забезпечує рішення задач у виді фактів, правил, процедур;
– керована моделями (Model-Driven DSS) – забезпечує доступ і маніпуляції з математичними моделями (статистичними, фінансовими, оптимізаційними, імітаційними).
Відзначимо, що деякі OLAP-системи, які дозволяють здійснювати складний аналіз даних, можуть бути віднесені до так званих гібридних СППР, що забезпечують моделювання, пошук і обробку даних та відповідають властивостям декількох видів СППР.
В залежності від типів даних, з якими ці системи працюють, СППР умовно можна розділити на:
– оперативні;
– стратегічні.
Оперативні СППР призначені для негайного реагування на зміни поточної ситуації в керуванні фінансово-господарськими процесами компанії, об’єднання, галузі чи держави.
Такі СППР називають Виконавчі Інформаційні Системи (Executive Information Systems). За суттю, вони представляють собою кінцеві множини звітів, побудовані на підставі даних із транзакційної інформаційної системи оперативного обліку підприємства. Вони забезпечують адекватне відображення в режимі реального часу основних аспектів виробничої і фінансової діяльності підприємства. Для таких СППР характерні такі риси:
– звіти ґрунтуються на стандартних для організації запитах, кількість яких відносно невелика;
– СППР представляє звіти в максимально зручному виді, що включає поряд з таблицями, ділову графіку, мультимедійні можливості і т. п.;
– СППР зазвичай орієнтовані на конкретну сферу, наприклад, фінанси, маркетинг, керування ресурсами.
Стратегічні СППР орієнтовані на аналіз значних обсягів різнорідної інформації, що збираються з різних джерел. Найважливішою метою цих СППР є пошук найбільш раціональних варіантів розвитку бізнесу компанії із урахуванням впливу різних факторів, таких як кон’юнктура цільових для компанії ринків, зміни фінансових ринків і ринків капіталів, зміни у законодавстві і т. ін.
Такі СППР припускають достатньо глибоке перетворення даних, спеціально перетворених таким чином, щоб їх було зручно використо- вувати у процесі прийняття рішень. Невід’ємним компонентом СППР цього виду є правила прийняття рішень, які на основі агрегованих даних дають можливість менеджерам компанії обґрунтовувати свої рішення, використовувати фактори стійкого росту бізнесу компанії і знижувати ризики. Стратегічні СППР будуються на принципах багато- вимірного представлення та аналізу даних (OLAP).
Заключение
Використання потрібного типу СППР дозволяє в процесі прийняття рішення оперувати нечіткими оцінками експертів, уникнути появи похибки, які могли б з'явитися у разі застосування дерев нечіткого виводу. Крім того, можна знизити трудомісткість при проектуванні системи через відсутність необхідності розробляти бази правил для кожного рівня ієрархії системи нечіткого виводу.
Список использованной литературы
- О.И. Ларичев, Е.М. Мошкович Качественные методы принятия решений. М. Наука. Физматлит. 1996.
- Э.А. Трахтенгерц Принятие решений на основе компьютерного анализа // М. Институт проблем управления. 1996.
- Т. Саати Принятие решений. Метод анализа анархий // М. Радио и связь. 1993.
- JR Chen (2007) Making clustering in delay-vector space meaningful. Knowl Inf Syst 11(3):369–385
- Г. Райфа Анализ решений М.: Наука, 1974
- RC Messenger, ML Mandell (1972) A model search technique for predictive nominal scale multivariate analysis. J Am Stat Assoc 67:768–772
- В.Б. Силов Принятие стратегических решений в нечеткой обстановке // М. ИНПРО - РЕС. 1995.
- И.М. Макаров, Т.М. Виноградская, А.В. Рубчинский, В.Б. Соколов Теория выбора и принятие решений. М.: Наука, 1982