Святний В.А., д-р техн. наук
Молдованова О.В., Чут А.М аспіранти

Донецький Національний технічний університет

(Україна, 83000, Донецьк, вул. Артема 58,

тел. 332-55-38, E-mail: svjatnyj@cs.dgtu.donetsk.ua)
Стан та перспективи розробок паралельних моделюючих середовищ для складних динамічних систем з розподіленими та зосередженими параметрами.


Вступ. Прогрес сучасних галузей техніки, технологій та біотехнологій, технологій довкілля залежить від рівня теорії та практичної реалізації методів проектування автоматизованих технічних об’єктів, технологічних установок та ліній, що визначаються як складні динамічні системи (СДС). У переліку факторів безумовного вирішення проблеми гарантування новизни та якості проектних рішень чільне місце займають методи та засоби моделювання динамічних систем, які можуть використовуватись на всіх етапах проекту СДС - від формулювання техніко-економічних вимог, розробки ТЗ і системного проектування до випробувань та початку дослідної експлуатації.
З середини 80-х років почався інтенсивний перехід до засобів цифрового моделювання СДС: розроблено та імплементовано послідовні блоково- та рівняння-орієнтовані мови моделювання (ISRSIM, ACSL, SIMULINK, DYMOLA та ін. ), швидко розвивається апаратно-програмна база моделювання – ПЕОМ, паралельні обчислювальні системи SIMD- і MIMD-архітектур, мови, бібліотеки й стандарти паралельного та розподіленого програмування. В останні роки в США, Японії та Європі побудовано надпотужні обчислювальні центри (HPCC – High Performance Computer Center), засновано університетські кафедри (інститути) паралельних та розподілених обчислень. Актуальною проблемою сучасної обчислювальної математики є розробка паралельних методів та алгоритмів для вирішувачів СДС-рівнянь.
Застосування паралельних ресурсів потребує нової системної організації засобів моделювання СДС, відкриває принципово нові можливості побудови моделей реальної складності та модельної підтримки СДС-проектів. Останнім часом формуються нові напрямки розробок та досліджень – паралельне моделювання (Parallel Simulation Technology, Parallele Simulationstechnik), розподілене теріторіально моделювання на базі GRID-технологій. Центральною проблемою паралельного моделювання складних динамічних систем є побудова розподілених паралельних моделюючих середовищ (РПМС) універсального та спеціалізованого призначення. Розглянемо стан та перспективи розробок РПМС.
Вимоги до методів і засобів моделювання складних динамічних систем.
Аналіз показує, що проблематика динамічних систем об’єднує різні предметні області в їх націленості на отримання все ефективніших методів і засобів моделювання та модельного супроводу СДС-проектів, на формулювання вимог до них. Насьогодні та на найближчу перспективу основні вимоги зводяться до наступних:
Cтан розробок розподілених паралельних моделюючих середовищ.
Концепцію розподіленого паралельного моделюючого середовища (РПМС) для складних динамічних систем з зосередженими та розподіленими параметрами запропоновано в 1992 р. в рамках наукового співробітництва факультету ОТІ ДонНТУ та інституту паралельних і розподілених систем (IPVS) Штуттгартського університету (Німеччина), опубліковано в ASIM-доповіді [2] та розвинено в працях [5,7,8,11,14,15, 17,18]. РПМС названо таку системну організацію сумісного фукціонування паралельних апаратних ресурсів, системного та моделюючого програмного забезпечення, яка підтримує всі етапи розробки, реалізації та застосування паралельних моделей СДС відповідно до сформульованих вище вимог. Дослідні зразки РПМС будувались на основі теледоступу до паралельних ресурсів Штуттгартського університету. За цей період нами набуто практичний досвід реалізації паралельних моделей на системах MasPar (16K процесорних елементів), Intel Paragon, CRAY T3E. З грудня 2005 року РПМС підключено до ресурсів системи NEC SX8 (576 вузлів). Середовище побудовано за схемою, наведеною на рис.1 та відповідає концептуальній структурі, показаній на рис. 2.

Головним положенням РПМС-концепції є необхідність повнофункціональної розробки паралельних методів та алгоритмів функціонування моделюючого програмного забезпечення (Modeling and Simulation Software) для ДСЗП, ДСРП. Аналіз показує, що паралельні системи SIMD- та MIMD-структур 90-х років мали фірмові мови паралельного програмування, що базуються на мовах Fortran, C, C++, Modula-2 та ін.[6]. Інтенсивний розвиток паралельних обчислювальних систем MIMD-архітектури, об’єктно-орієнтованих підходів стимулював стандартизацію засобів паралельного та розподіленого програмування. Так, ANSI та ISO визначили С++-стандарти з бібліотеками MPI, PVM та Pthreads [13]. Концепція передбачає забезпечити користувачів та розробників паралельних моделей мовними та системно-організаційними засобами, які за рівнем сервісу будуть перевершувати системи та мови моделювання п’ятого покоління [4]. В цьому напрямку проведено розробки стосовно узагальнення топологій СДС, а комплекси „топологічні аналізатори – генератори рівнянь – вирішувачі” транслюють технологічні описи СДС в паралельні програми [5, 9, 14, 17].

Рис.1 Апаратно-системне забезпечення РПМС

Стосовно розпаралелювання чисельних методів реалізованих РПМС забезпечена спадкоємність з засобами моделювання попередніх поколінь, що насьогодні реалізовані в ЕОМ SISD-структури. РПМС залишається ще мало дослідженим об'єктом розробки та реалізації. Певним внеском тут є запропонована нами декомпозиція середовища на повнофункціональну множину підсистем [11, 18], які в основному реалізовані та доповнюються підсистемою інтеграції з існуючими інтерфейсами GRID-систем.
Різні принципи дії та рівні розпаралелювання SIMD- та MIMD-систем зумовили необхідність побудови відповідних компонент РПМС. Моделююче програмне забезпечення масово паралельної SIMD-компоненти імплементовано SIMD-мовою паралельного програмування Parallaxis, а експериментальні дослідження проведено на SIMD-системі MasPar [2, 5, 18]. Цей доробок актуалізується з огляду на застосування в сучасних та перспективних паралельних архітектурах SIMD-підсистем.

Рис. 2. Концептуальна структура РПМС

MIMD- компонента РПМС стала домінуючою в зв’язку з виведенням із експлуатації систем СМ-2 та MasPar. MIMD-паралельне моделююче програмне забезпечення для ДСЗП, ДСРП розвивається згідно з концепцією РПМС та структурами, описаними в [5, 7, 18]. Інтенсивно розвиваються теорія та методика побудови паралельних моделей і симуляторів складних ДСЗП, ДСРП в рамках РПМС [8, 10, 13, 14, 17, 20]. Підкреслимо наступні термінологічні особливості робіт цього напрямку. Так, математична модель (Model) – це формальний опис об’єкта досліджень, що містить топологічну та рівняння-частини. Модель у формі, придатній до застосування засобів чисельного розв’язання рівнянь, прийнято називати Simulation Model (ми будемо користуватись скороченим терміном - симмодель). Апаратно-програмну реалізацію симмоделі називають симулятором (Simulator). Термінами моделювання (Modeling) та паралельне моделювання (parallel Modeling) ДСЗП, ДСРП окреслимо передусім всі види розробок та досліджень, спрямовані на побудову та обгрунтування послідовних і паралельних симуляторів. Дослідження ДСЗП, ДСРП з застосуванням симуляторів (Simulation) будемо називати модельними експериментами або, за контекстом, моделюванням. На рис. 3 представлено послідовність Modeling-розробок від первісного аналізу СДС та постановки задач досліджень до побудови Simulation Model. Аналіз показує, що попри широку фізичну різноманітність СДС різних предметних областей їх топологія задається досить обмеженою множиною засобів: технологічними схемами (ТС), структурними схемами автоматизації (ССА), графами, а також комбінаціями цих засобів. Щодо СДС з розподіленими параметрами, то вони

Рис. 3. Етапи побудови СДС-моделей та приведення до форми симмоделей

мають, окрім базової топології, що задається названими засобами, ще й похідні модельні топології, які виникають внаслідок апроксимації ДСРП об'єктами з зосередженими параметрами. Насьогодні забезпечено комп’ютерну підтримку всіх етапів побудови симмоделей СДС з врахуванням специфіки представлених на рис.3 трьох видів топологій.

На рис.4 показано етапи розробок, необхідних для побудови паралельних симуляторів. MIMD-процеси мінімальної гранулярності визначаються як задачі Коші для рівнянь k-го елемента ДСРП (всі топології), що дискретизовані відносно просторових координат.
Віртуальною паралельною моделлю першого рівня (ВПМ-1) є абстрактна алгоритмічна структура MIMD-процесів мінімальної гранулярності для паралельного рішення систем рівнянь (Simulation Model), підготовлених генераторами ДСЗП, ДСРП.
Віртуальну (ВПС) та цільову (ЦПС) паралельні системи визначено як функціонуючі за MIMD-принципом необмежені та реальні множини процесорів з локальною пам'яттю, що виконують рішення задачі моделювання рівня ВПМ-1 з відповідним обміном даними між процесорами за допомогою віртуальної (ВКМ) та реальної (РКМ) комунікаційних мереж. Девіртуалізація віртуальної паралельної моделі являє собою таке її перетворення, що веде до реалізації ВПМ на одній або декількох різних ЦПС і складається з наступних основних функцій: визначення можливих рівнів розпаралелювання ВПМ; апріорний аналіз ВПМ всіхрівнів; аналіз ресурсів наявних ЦПС; розгляд можливих співвідношень


Рис.4. Етапи розробки та застосування паралельних симуляторів

«процес(и) – процесор», «ВКМ – РКМ»; вибір варіантів імплементації «ВПМ – ЦПС».
Реалізація етапів рис.4 ведеться у співпраці з HLRS відносно ТС- та ДМО-топологій [17, 20, 21, 22]. Щодо ССА-топологій слід зазначити, що вони інтегруються з ТС та ДМО як об’єктами автоматизації.
Проблемно-орієнтовані РПМС.
Можливість моделювати в рамках одного середовища ДСЗП та ДСРП об'єднує, з одного боку, ці дві галузі моделювання, що развивалися відносно автономно. З другого боку, це універсалізує та ускладнює РПМС. З огляду на цю обставину актуальними залишаються проблемно орієнтовані РПМС, в яких акумулюється досвід моделювання в певних галузях техніки (предметних областях). Наукову та практичну цінність мають розробка й дослідження наступних фрагментів середовищ та питань побудови паралельних моделей і симуляторів:
В середовищі, орієнтованому на динамічні мережні об'єкти з зосередженими та розподіленими параметрами (шахтні вентиляційні мережі, ШВМ) реалізовано всі етапи рис. 4 в такий спосіб:
  1. Визначено MIMD-процеси мінімальної гранулярності (МГ) як задачі Коші для Qjk-, Pjk-рівнянь k-го елемента j-ої гілки всіх компонент ШВМ.
  2. Запропоновано рівні ВПМ і підходи до розпаралелювання вирішувача рівнянь (рис. 5).
  3. Проведено апріорний аналіз віртуальних паралельних моделей на всіх рівнях за чотирма показниками, виведено формули, що дозволяють оцінити кожен рівень ВПМ до його реалізації на ЦПС (табл. 1).
  4. Реалізовано паралельні вирішувачі рівнянь на базі методів Адамса-Башфорта 2-го порядку й Рунге-Кутти 4-го порядку, що застосовані в мовах моделювання.


Перспективи розробок РПМС, міжнародна співпраця. В співпраці зі Штуттгартським університетом та Макс-Планк-інститутом динаміки складних технічних систем (Магдебург) продовжуються розробки РПМС в наступних напрямках.
Теоретичні та методичні аспекти побудови паралельних симуляторів. Роботи концентруються на комплексній імплементації та дослідженні симуляторів РПМС (рис.4) на різних цільових системах і, зокрема, в умовах гібридної моделі


Рис.5 Рівні віртуальних паралельних моделей ДМО-топології


паралельного програмування (MPI + OpenMP):“гібридизація”;програмування симуляторів; тестові випробування та аналіз ефективності.
Використання дослідного зразка РПМС при вирішенні задач моделювання ШВМ, хіміко-технологічних процесів, інтегрованих навігаційних систем, паливних елементів та систем керування ними; подальша імплементація та дослідження підсистем РПМС; організація використання РПМС-ресурсів в МСЦ; дослідження ефективності розпаралелювання блокових чисельних методів; розширення впровадження в навчальний процес.
Розробка мови паралельного моделювання: Постановка задачі;мови загального та проблемно-орієнтованого призначення; блоково- (БО), рівняння- (РО) та обєктно-орієнтовані (ОО) підходи; взаємодія з С++-, МРІ-, OpenMP-стандартами;
імплементації та експериментальні дослідження, тестові випробування в умовах РПМС.
Таблиця 1 Оцінка рівнів розпаралелювання ДМО-топології

РПМС як компонента Grid-систем. При моделюванні СДС вимоги, що висуваються до обчислювальних потужностей, необхідних для вирішення задач моделювання з потрібною точністю та масштабом проблем, досить часто неможливо задовольнити наявними ресурсами. У такому випадку одним із можливих варіантів вирішення проблеми може бути використання географічно-розподілених обчислювальних структур (РОС), однією з різновидностей яких є grid-системи. Можна виділити загальні риси моделюючого програмного забезпечення (МПЗ), наявність яких дозволяє робити висновки про доцільність ефективного використання grid-систем:
Крім того, для складних систем МПЗ є характерною одночасна наявність декількох з вище вказаних факторів.
Головну методику використання Grid у контексті паралельного моделювання можна надати у вигляді низки етапів (рис. 6):

Рис. 6 Grid-системи та РПМС

Зі списку видно, що методика складається з 2 основних частин: загальної (однаковою для будь-яких МПЗ) і специфічної.
Існуючі ініціативи наразі пропонують вже створені загальні частини як основу для інтеграції. Окрім того разом із існуючою інфраструктурою, експертам предметної області надається комплекс послуг з впровадження існуючих МПЗ у систему Grid. Таким чином доступ до засобів моделювання набуває для кінцевого користувача максимальної прозорості з незначними змінами.
Інтеграція МПЗ з Grid-системами. Одним із важливих висновків, що випливає з багаторічного досвіду розробки концепцій, а також аналізу практичних реалізацій Grid-систем є наступний: спроби нав'язувати неприродну гомогенність системи є неефективними. Як правило, кожен із окремих сегментів буде мати свій набір локальних правил стосовно системної безпеки, принципів системної організації та взаємодії тощо.
Open Grid Services Architecure (OGSA; відкрита архітектура Grid-сервісів) розширює концепцію IP-мереж, надаючи можливість виділення і підтримки загальних компонентів у вигляді сервісів. Використання сервісно-орієнтованої концепції OGSA є ключовим елементом у віртуалізації фізичних ресурсів з метою організації ефективного доступу. OGSA розвивається на базі існуючих сервісних стандартів і вдається до їх розширення у разі необхідності.

Таким чином завдання інтеграції МПЗ складається з власне розробки ексклюзивної частини, залежної від предметної області і аналізу існуючих компонентів, що можуть бути використані, інтеграції в існуючу інфраструктуру з урахуванням властивостей і правил поведінки Grid-екосистеми.

Реалізація Grid-доступу до обчислювальних ресурсів на прикладі ініціативи DEISA

Консорціум DEISA (Distributed European Infrastructure for Supercomputing Applicaitons) було організовано на базі провідних європейських національних обчислювальних установ з метою створення довгострокового, високоякісного розподіленого обчислювального середовища континентального рівня. Головним завданням є підтримка найбільш перспективних напрямків у моделюванні через надання прозорого доступу до більшої частини обчислювальних ресурсів інститутів-партнерів.
Процедура включення прикладних програм у DEISA виглядає наступним чином: щовесни публікується European Call for Extreme Computing Proposals, тобто запрошення на подання пропозицій, що потребують надзначних обчислювальних ресурсів; для вибраних пропозицій у рамках ресурсів проекту виділяється постійна підтримка, що містить наступні складові:
складаються з різних частин, кожна з яких потребує окремого етапу
моделювання.
Головною метою надання ресурсів у рамках DEISA є отримання якісно нових наукових результатів через можливість використання надвисокої обчислювальної потужності. Як правило, більшість науковців, які мають інтерес у моделюванні проблем за допомогою розподілених ресурсів, вже отримують таку підтримку від центрів національного рівня. DEISA, у свою чергу, виступає не в ролі альтернативи, а додаткової можливості отримання ресурсів для задач відповідного масштабу.


Висновки. Паралельне моделювання (Parallel Simulation Technology) складних динамічних систем з зосередженими (ДСЗП) та розподіленими (ДСРП) параметрами є інтердисциплінарною проблемою, над вирішенням якої активно працюють інформатики, спеціалісти з моделювання, експерти різних предметних областей.

Запропонована нами концепція розподіленого паралельного моделюючеого середовища (РПМС) як нової форми системної організації засобів моделювання ДСЗП, ДСРП відкриває позитивні перспективи ефективного використання наявних паралельних обчислювальних ресурсів та комплексного вирішення проблеми.

Побудова проблемно орієнтованих паралельних моделюючих середовищ в різних галузях техніки є важливим методичним кроком в використанні загальної концепції, нагромадження досвіду рішення прикладних задач, його узагальнення та використання в універсальному середовищі.

Декомпозиція РПМС на підсистеми та реалізація підсистем прискорять впровадження паралельного моделювання в наукових дослідженнях, в промисловості, підприємництві та в навчальному процесі вузів, зокрема, в технологіях дистантної освіти.

Інтеграція концепцій РПМС з концепціями географічно розподілених GRID-систем є новим напрямком розвитку методів і засобів паралельного моделювання складних ДСЗП, ДСРП

Комплексне вирішення проблем паралельного моделювання в тісній співпраці з зарубіжними вченими та університетами в рамках GRID-проектів відкриває нові перспективи наукового зростання студентів-магістрантів, аспірантів, викладачів вузів, є суттєвим чинником інтеграції України в європейський та світовий науковий і освітній простори.

Література

1. Абрамов Ф.А., Фельдман Л.П., Святный В.А. Моделирование динамических процессов рудничной аэрологии – К.: Наук. думка, 1981. – 284 с.

2. Anoprienko A.J., Svjatnyj V.A., Bräunl T., Reuter A., Zeitz M.: Massiv parallele Simulationsumgebung für dynamische Systeme mit konzentrierten und verteilten Parametern. 9. Symposium ASIM’94, Tagungsband, Vieweg, 1994, S. 183-188.

3. Wagner M. A. F., Sevinc S., Tanir O., Lorenz P., Arthur J. D., Nance R. E., Schwetman H. D: A standard simulation environment: review of preliminary requirements. // 26th conference on Winter simulation. Orlando, December 11–14, 1994. – Orlando, 1994. – pp. 664–672

4. Schmidt B. Simulationssyteme der 5. Generation – SiP, Heft 1, 1994, S. 5–6.

5. Feldmann L.P., Svjatnyj V.A., Bräunl T., Reuter A., Zeitz M.: Implementierung und

Effizienzanalyse der parallelen Simulationsalgorithmen für dynamische Systeme mit verteilten Parametern (Plenarvortrag). 11. Symposium Simulationdtechnik ASIM’97 in Dortmund, Tagungsband, Vieweg, 1997, S. 38-47 (пленарна доповідь В. А. Святного).

6. Бройнль Т. Паралельне програмування: Початковий курс: Навч. посiбник / Переклад з нiм. В. А. Святного. – К.: Вища шк., 1997. – 358 с.
7. Feldmann L., Svjatnyj V., Lapko V., Gilles E.-D., Reuter A., Rothermel K., Zeitz M. Parallele Simulationstechnik. // Научные труды ДонГТУ, серия «Проблемы моделирования и автоматизации проектирования динамических систем», вып. 10. – Донецк, 1999. – С. 9–19.
8. Svjatnyj V., Gilles E.-D., Zeitz M., Reuter A., Rothermel K. Simulationssoftware für eine parallele Simulationsumgebung für dynamische Systeme. 14. Symposium ASIM´2000. – Tagungsband, SCS, 2000. – S. 235–240.
9. Святний В.А., Молдованова О.В., Перерва А.О. Проблемно орієнтоване паралельне моделююче середовище для динамічних мережних об’єктів. // Наукові праці ДонДТУ, серія «Інформатiка, кибернетика та обчислювальна технiка», вип. 29. – Донецьк, 2001. – С. 246–253.

10. Borchard J.: Newton-type decomposition methods in large-scale dynamic process simulation. In: Computers and Chemical Engineering, 25 (2001), 951-961.

11. Svjatnyj V.A., Nadeev D.V., Solonin O. M., Rothermel K., Zeitz M.: Subsysteme einer verteilten parallelen Simulationsumgebung für dynamische Systeme. 16. Symposium ASIM 2002, Tagungsband, 2002, S. 64 – 69.
12. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления – СПб.: БХВ-Петербург, 2002. – 608 с.: ил.
13. Хьюз К., Хьюз Т. Параллельное и распределенное программирование на С++ / Пер. с англ. – М.: Издательский дом «Вильямс», 2004. – 672 с.: ил.
14. Feldmann L.P., Svjatnyj V.А., Moldovanova О.V.: Parallele Simulationsumgebung für dynamische Netzobjekte mit verteilten Parametern. // 18. Symposium ASIM 2005, Tagungsband, 2005, S. 416 – 421.
15. Moldovanova O.V., Svjatnyj V.A., Feldmann L., Resch M., Küster U.: Problemorientierte parallele Simulationsumgebung. // Научные труды ДонНТУ, серия «Информатика, кибернетика и вычислительная техника», вып. 93. – Донецк, 2005. – С. 145–150.
16. Svjatnyj V. А., Moldovanova О. V., Cheptsov А. А., Zeitz М., Rothermel К.: Generierung und parallele Lösung von Simulationsmodellen für Netzobjekte mit verteilten Parametern. // Научные труды ДонНТУ, серия «Проблемы моделирования и автоматизации проектирования динамических систем», вып. 78. – Донецк, 2005. – С. 254–260.
17. Svjatnyj V., Moldovanova O., Smagin A., Resch M., Keller R., Rabenseifner R.: Virtuelle Simulationsmodelle und ein Devirtualisierungsvorgang für die Entwicklung der parallelen Simulatoren von komplexen dynamischen Systemen. // Научные труды ДонНТУ, серия «Проблемы моделирования и автоматизации проектирования динамических систем», вып. 5 (116). – Донецк, 2006. – С. 36–43.
18. Святний В.А. Паралельне моделювання складних динамічних систем // Моделирование ­– 2006: Международная конференция. Киев, 2006 г. – Киев, 2006. – С. 83–90.
19. Bönisch Th., Alessandrini V.: DEISA overview: projekt status, strategies and perspectives. In: Sixth DEISA Training Session, HLRS, Stuttgart, March 5-7, 2008, P.1-49.
20. Гусєва Г.Б., Молдованова О.В. MIMD-паралельний вирішувач рівнянь для мережного динамічного об’єкту з розподіленими параметрами // Проблемы моделирования и автоматизации проектирования динамических систем: Сб. научн. тр. ДонНТУ, вып.6, Донецк, 2007.
21. Bondareva K., Svjatnyj V.: Verfahrenstechnisch orientierte parallele Simulationsumgebung.// Наукові праці ДонНТУ, серія МАП. Випуск: 5 (116) – Донецьк: ДонНТУ. – 2006, с.28-35.
22. Бондарева Е. С. Генератор уравнений параллельной моделирующей среды для технологических процессов // Проблемы моделирования и автоматизации проектирования динамических систем: Сб. научн. тр. ДонНТУ, вып.6, Донецк, 2007.

23. Svjatnyj V., Beljaev O., Lapko V., Tschepzov O., Hohmann R.: Zur Entwicklungsorganisation des Simulations- und Servicezentrums für die Kohleindustrie. In: F.Hülsemann u.a. (Hrsg.), Tagungsband 18. ASIM-Symposium Simulationstechnik, Erlangen 2005, SCS 2005, 554-559.