> Передбачувана наукова новизна
> Огляд досліджень і розробок по темі
> Опис РПМС і її декомпозиції на підсистеми
> Розробка підсистеми віртуальних паралельних моделей РПМС
У сучасному світі напрямки людської діяльності, що найбільш стрімко розвиваються - це безперечно наука і техніка. І, як наслідок, - поява різного роду високих технологій. Будь-яка високотехнологічна розробка потребує експериментального підтвердження своїх результатів. Дуже часто проведення випробувань і експериментів неможливо або економічно не доцільно. І в цьому випадку незамінним інструментом є моделювання - побудова і вивчення моделей реально існуючих об'єктів, процесів або явищ.
Однопоточні моделюючі середовища не завжди можуть справлятися з покладеними на них завданнями через послідовне виконання операцій, що призводить до колосальних витрат часу і іноді недоцільності застосування моделювання.
Рішення даної проблеми було знайдено у розподілі обчислювальних ресурсів на окремі вузли так, щоб вони могли виконувати завдання паралельно з мінімальною залежністю один від одного або зовсім незалежно. Впровадження нових концепцій моделювання і призвело до появи РПМС (Розподілене паралельне моделююче середовище).
Метою даної магістерської роботи є розробка та дослідження підсистеми віртуальних паралельних моделей розподіленого паралельного моделюючого середовища (РПМС).
За даною підсистемою закріплені наступні завдання та функції:
1. Інтерактивне подання ієрархії віртуальних паралельних моделей (ВПМ) залежно від можливих підходів до розпаралелювання.
2. Складання топологій ВПМ-рівнів за допомогою засобів підсистеми топологічного аналізу.
3. Формування рівнянь за ВПМ-рівнями за допомогою підсистеми генератора рівнянь.
4. Апріорний аналіз дискретних ВПМ всіх рівнів.
5. Інтерактивне подання до розпорядження інших підсистем дискретних ВПМ, готових до імплементації.
Як вже згадувалося у вступі, моделювання та симулювання складних динамічних систем є складним процесом, який при використанні послідовного підходу найчастіше призводить до неприйнятних витрат часу. І застосування нових методів паралельного моделювання більш ефективно.
Розробки та дослідження в галузі розподілених паралельних моделюючих середовищ є актуальними і перспективними. Завдяки можливості декомпозиції (заміни рішення одного великого завдання рішенням серії менших завдань) складної структури РПМС, розробка кожної з її підсистем є незалежним напрямком з власними науковими дослідженнями.
Паралельне моделювання, незважаючи на всі свої переваги, повинне доречно і грамотно використовуватися, тому що неправильне застосування цього підходу може призвести до ще більших часових витрат у порівнянні з послідовним моделюванням. Ці зауваження стали причиною впровадження в РПМС такої окремої допоміжної підсистеми, як підсистеми віртуальних паралельних моделей РПМС. Основна її мета - оцінка необхідної продуктивності при різних рівнях розпаралелювання та вибір оптимального підходу, при якому моделювання наявними обчислювальними ресурсами буде вироблено максимально швидко і коректно. Враховуючи практичну цінність завдань, що виконуються даною підсистемою, її можна вважати однією з найважливіших в РПМС.
Отже - розробка і дослідження підсистеми віртуальних паралельних моделей РПМС є актуальною і необхідною задачею.
Новизною даної роботи є реалізація підсистеми віртуальних паралельних моделей РПМС, яка взаємодіє з такими підсистемами, як "генератор рівнянь" і "топологічний аналізатор ", але яка функціонує самостійно. Завдяки незалежної структурі модуля підсистеми віртуальних паралельних моделей, яка прораховує всі можливі рівні розпаралелювання в рамках мережевого динамічного об'єкта, даний модуль можна вважати універсальним для подібного роду завдань. Таким чином, в парі з ще однією підсистемою розподіленого параллельного моделюючого середовища, як "Балансування завантаження", дані модулі відповідають за оптимальне використання розподілених обчислювальних ресурсів.
Однією з головних цілей всього проекту РПМС є його реалізація в рамках реальної розподіленої обчислювальної системи, що складається з кластера, розташованого в ДонНТУ і кластеру обчислювального центру Штуттгартського університету в Німеччині.
Підсистема віртуальних паралельних моделей, що розробляється, у структурі РПМС в цілому була включена для досягнення дуже важливою мети - знаходження оптимального рівня розпаралелювання для максимального скорочення часових витрат виконання поставлених перед РПМС завдань. Якщо дана мета на практиці буде досягнута, то, безсумнівно, практична цінність даної підсистеми існує і її складно буде переоцінити.
Локальний рівень (за матеріалами викладачів, аспірантів і магістрантів ДонНТУ). Розглядом проблем, пов'язаних з реалізацією розподілених паралельних моделюючих середовищ і віртуальних паралельних моделей в їх складі, займалися:
Наукові співробітники ДонНТУ: Фельдман Л.П., Святний В.А., Анопрієнко О.Я., Молдованова О.В., Солонін О.М., Надєєв Д.В.
Магістри ДонНТУ: Степанов І.С., Скворцов П.В., Зима К.М., Назаренко К.С., Войтов А.В., Войтенко А.В., Меренков А.В., Стародубцев Д.Н., Васьковцов К.А.
Національний рівень представлений небагаточисленними роботами за темами моделювання київських наукових співробітників Томашевського В.М., Жданової Є.Г.
На світовом рівні велика частина розробок, досліджень і відповідно публікацій належить науковим співробітникам таких розвинених країн як США, Великобританія, Китай, Німеччина та інші. Науковці інституту високопродуктивних обчислень HLRS в Штуттгарті (Німеччина), такі як М. Resch, M. Zeitz та інші, активно співпрацюють з факультетом комп'ютерних наук і технологій ДонНТУ і допомагають розвиватися в цьому напрямку.
Варто зауважити, що у своїх роботах вище представлені автори, як правило, досліджують проблеми паралельного моделювання або моделюючих середовищ в цілому або їх якусь окрему гілку в цьому напрямку. Однак тема розробки і досліджень підсистеми віртуальних паралельних моделей РПМС окремо раніше не досліджувалася.
Основна публікація, що використовується при написанні магістерської роботи робота, яка зачіпає проблеми віртуальних паралельних моделей РПМС - це спільна стаття професорів ДонНТУ Фельдмана Л.П. і Святного В.А., а також німецьких колег - професора Міхаеля Реша і професора Міхаеля Цайтц під назвою «Forschungsgebiet: parallele Simulationstechnik». У статті розглядається декомпозиція РПМС на підсистеми, однією з яких є підсистема віртуальних паралельних моделей РПМС. Тут описані основні функції і завдання даної підсистеми, серед яких: інтерактивне подання ієрархії віртуальних паралельних моделей (ВПМ) залежно від можливих підходів до распараллеливанию; складання топологій ВПМ-рівнів за допомогою засобів підсистеми топологічного аналізу, формування рівнянь за ВПМ-рівням за допомогою підсистеми генератора рівнянь; апріорний аналіз дискретних ВПМ всіх рівнів; інтерактивне подання до розпорядження інших підсистем дискретних ВПМ, готових до імплементації.
Основна концепція розподіленого паралельного моделюючого середовища для складних динамічних систем з зосередженими та розподіленими параметрами була сформульована і запропонована в 1992 спільними силами наукових співробітників факультету КНТ (тоді ОТІ) та інституту паралельних і розподілених систем (IPVS) Штуттгартського університету. Викладена вона в 1994 році в доповіді на ASIM-симпозіумі [1] і розвинута пізніше в роботах [2, 3].
Моделювання складних динамічних систем [2] повною мірою підтримується РПМС, завдяки її системної організації спільного функціонування паралельних апаратних ресурсів, системного та моделюючого програмного забезпечення.
Наукові співробітники та студенти факультету КНТ (ОТІ) завдяки доступу до паралельних ресурсів Штуттгартського університету придбали практичний досвід реалізації паралельних моделей на системах MasPar (16 000 процесорних елементів), CRAY T3E і Intel Paragon. З січня 2005 року є доступ до ресурсів високопродуктивної системи NEC SX8 (576 вузлів). Планується, що версія РПМС, що розробляється, буде використовувати ресурси локального кластера, розташованого в 4-му навчальному корпусі ДонНТУ, а також ресурси обчислювального центру HLRS.
У статті [3] висвітлювалася структура РПМС, яка розглядалася як складна hardware/software-система. Поділ РПМС на відносно незалежні паралельно працюючі підсистеми згідно функцій і завдань, які вони виконують, представляє декомпозицію системи.
Декомпоноване програмне забезпечення РПМС представлено у вигляді наступних десяти підсистем:
Підсистема діалогу призначена для презентації РПМС. Вона здійснює діалог користувача і системи, а також взаємодіє з усіма ресурсами середовища. Проводиться узгодження завдань симулювання, планування і управління.
Підсистема топологічного аналіза. Вербальне і графічне представлення, відповідне кодуванню вихідних топологій - технологічні схеми, структури системи автоматизації, динамічні мережеві об'єкти. Декомпозиція і апроксимація отриманих вторинних топологій. Формування пов'язаних з топологіями векторів і матриць. Перетворення топологічних даних у форму, придатну для генерування рівнянь і видача результатів топологічного аналізу.
Підсистема генерування рівнянь. Комунікація з підсистемою топологічного аналізу, подання вихідних рівнянь (моделей) у векторно-матричній формі. Генерування дискретних моделей симулювання для вирішення засобами, якими володіє середовище. Перетворення апроксимованих рівнянь у векторно-матричну форму, генерування дискретних симуляційних моделей для заданого чисельного методу.
Підсистема віртуальних паралельних моделей відповідає за інтерактивне подання ієрархії віртуальних паралельних моделей в залежності від можливих підходів до розпаралелюванню. Складання топологій ВПМ за допомогою засобів підсистеми топологічного аналізу. Формування рівнянь за ВПМ рівнями з допомогою підсистеми генерування рівнянь. Апріорний аналіз дискретних ВПМ всіх рівнів. Інтерактивне подання до розпорядження інших підсистем дискретних ВПМ, готових до імплементації.
Підсистема паралельного вирішувача рівнянь взаємодіє з підсистемами топологічного аналізу та підсистемою віртуальних паралельних моделей. Тут виконується рішення систем рівнянь за допомогою паралельних бібліотек. Визначається збіжність, стабільність, точність і оптимізація варійованих параметрів, а також формування результатів розв'язання для візуалізації.
Підсистема обміну даними включає повний список компонент і ресурсів РПМС. Ця підсистема виконує обмін даними по запиту від компонент, а також відображення потоків даних за запитом користувача. Містить тестову задачу для отримання реальних параметрів операцій обміну в мережах зв'язків цільових обчислювальних систем.
Підсистема балансування навантаження оцінює завантаження віртуальних процесів по ВПМ рівнями. Здійснюється порівняльний аналіз підходів розпаралелювання за критеріями розподілу навантаження. Можливо статичне вирівнювання завантаження РПМС всіх рівнів.
Підсистема візуалізації інтегрується з підсистемою діалогу і підсистемою паралельного вирішувача рівнянь і іншими підсистемами, які вимагають візуалізацію результатів. Виконує підготовку і структурування результатів моделювання до двовимірного або тривимірного відображення. Також виробляє складання графіків під час і після проведення експериментів.
Підсистема баз даних взаємодіє з усіма підсистемами і зберігає дані про hardware і software РПМС, дані про користувачів, вихідні і перетворені дані моделювання складних динамічних систем усіх топологій, дані про тести, заплановани експерименти і виконує архівацію результатів. Також регулярно проводиться резервне копіювання даних.
Підсистема IT підтримки займається організацією режимів роботи розподілених обчислювальних, комунікаційних та моделюючих ресурсів на основі сучасних мереж. Підсистема надає веб-базований підхід до паралельного моделювання та симуляції. Забезпечує функціонування ланцюгів "веб-клієнт (розробник моделі) -> веб-сервер -> паралельний симулятор" і "веб-клієнт -> веб-сервер -> сервер бази даних".
Перший етап роботи підсистеми віртуальних паралельних моделей - визначення рівнів розпаралелювання для складного динамічного об'єкту з розподіленими параметрами. У розроблюваної РПМС реалізуються всі чотири рівні:
Перший рівень – рівень процесів мінімальної зернистості віртуальної паралельної моделі РПМС. Даний рівень визначається співвідношенням "один процес - одне рівняння". Наприклад, на цьому рівні в мережевому динамічному об'єкті можна виділити Р-процеси і Q-процеси.
На другому рвіні розпаралелювання кожному k-му елементу гілки ставиться у відповідність один процес. Для даного рівня характерне співвідношення "один процес - два рівняння". Тут вводяться PQ процеси.
Третій рівень описується співвідношенням "один процес - одна гілка".
Четвертий рівень – декомпозиція графа мережевого динамічного об'єкта (СДО) на підграфи. Граф завдань T (P, M), в якому вершини представляють обчислення, а ребра - обмін даними між цими вершинами, проектується на граф C (PE, K), представляє структуру розподілених обчислювальних ресурсів РПМС.
На рисунку 1 зображено всі рівні розпаралелювання на прикладі графа мережевого динамічного об'єкта.
Визначивши всі можливі рівні розпаралелювання, слід провести апріорний аналіз рівнянь. При цьому основними порівняльними критеріями є такі характеристики, як:
1. Ступінь завантаження процесів (під завантаженням слід розуміти роботу програми, яка реалізує даний процес). Оптимальне рішення задачі моделювання визначає рівномірне завантаження процесів.
2. Співвідношення між обсягами обчислювальних та допоміжних операцій.
3. Схема зв'язку між віртуальними процесами. Організація віртуального комутатора, який забезпечує мінімальний час обміну між процесами.
4. Співвідношення процес - процесор.
У даній роботі розглянута концепція розподіленого паралельного моделюючого середовища для моделювання складних динамічних систем з розподіленими параметрами. Можна зробити висновок про райдужні перспективи використання сучасних паралельних обчислювальних ресурсів для комплексного вирішення проблеми [4].
Основною ж темою роботи є розробка та дослідження підсистеми віртуальних паралельних моделей як окремого модуля РПМС. Ця підсистема не є незалежною, вона виконує більше допоміжну роль. Проте, в рамках паралельного підходу до моделювання, функції даної підсистеми є одними з найважливіших, тому що визначається оптимальний рівень розподілу завдань на обчислювальні вузли. Ця підсистема актуальна не тільки в рамках даної РПМС, але і може бути використана в інших проектах моделювання паралельних обчислень.
1. Anoprienko A.J., Svjatnyj V.A., Bräunl T., Reuter A., Zeitz M.: Massiv parallele Simulationsumgebung für dynamische Systeme mit konzentrierten und verteilten Parametern. 9. Symposium ASIM’94, Tagungsband, Vieweg, 1994, S. 183-188.
2. Святний В.А. Паралельне моделювання складних динамічних систем // Моделирование – 2006: Международная конференция. Киев, 2006г. – Киев, 2006. – С. 83–90.
3. L. P. Feldmann, V. A. Svjatnyj (FRTI DonNTU, Ukraine); M. Resch, M. Zeitz (Universität Stuttgart, Deutschland) Forschungsgebiet: parallele Simulationstechnik [Электронный ресурс] / Национальная библиотека Украины имени В.И. Вернадского, - http://www.nbuv.gov.ua/portal/natural/Npdntu/Pm/2008/08flpfps.pdf
4. Святний В.А., Молдованова О.В., Чут А.М. Стан та перспективи розробок паралельних моделюючих середовищ для складних динамічних систем з розподіленими та зосередженими параметрами // «Паралельне моделювання 2008» [Электронный ресурс] / Национальная библиотека Украины имени В.И. Вернадского, - http://www.nbuv.gov.ua/portal/natural/Npdntu/2008/ikot/08svasgt.pdf
5. Аноприенко А.Я., Святный В.А. Универсальные моделирующие среды / Сборник трудов факультета вычислительной техники и информатики. Вып.1. — Донецк: ДонГТУ. — 1996. — С. 8-23.
6. Войтенко А.В., Чихиро Д.М., Якушик Л.Ю. Уровни распараллеливания сетевых динамических объектов с распределенными параметрами / Статья с конференции, 2008г.
7. Меренков А.В. Разработка и организация подсистемы баз данных распределенной параллельной моделирующей среды (РПМС) [Электронный ресурс] / Портал магистров ДонНТУ, 2009 - http://masters.donntu.ru/2009/fvti/voitov/diss/index.htm
8. Скворцов П.В.Разработка и исследование решателя уравнений параллельной моделирующей среды на основе OpenMP-стандарта [Электронный ресурс] / Портал магистров ДонНТУ, 2007 - http://www.masters.donntu.ru/2007/fvti/skvortsov/diss/index.htm
9. Молдованова О.В. Способи організації паралельних обчислень в задачах математичного моделювання шахтних вентиляційних мереж [Текст] : дис. … канд. наук : 01.05.02 / Молдованова Ольга Володимирівна. – К., 2008. – 152 с.
10. Чайка М.А. Топологический анализатор, генератор и решатель уравнений сетевого динамического объекта для комбинированной целевой MIMD-архитектуры [Электронный ресурс] / Портал магистров ДонНТУ, 2007 - http://masters.donntu.ru/2007/fvti/chayka/diss/index.htm