FORSCHUNGSGEBIET: PARALLELE SIMULATIONSTECHNIK

L. P. Feldmann, V. A. Svjatnyj,

FRTI DonNTU (Ukraine)

svjatnyj@cs.donntu.ru

M. Resch, M. Zeitz,

Universitaet Stuttgart (Deutschland)

resch@hlrs.de, zeitz@isys.uni-stuttgart.de


Àíîòàöiÿ

    Ïàðàëåëüíå ìîäåëþâàííÿ ÿê àêòóàëüíèé íàóêîâèé íàïðÿìîê äîñë³äæóºòüñÿ âïðîäîâæ ðÿäó îñòàíí³õ ðîê³â â ðàìêàõ ñï³âïðàö³ íàóêîâö³â Øòóòòãàðòñüêîãî òà Äîíåöüêîãî íàö³îíàëüíîãî òåõí³÷íîãî óí³âåðñèòåò³â. Ãîëîâíîþ ïðîáëåìîþ º ðîçðîáêà âèñîêîïðîäóêòèâíîãî ³ äðóæíüîãî äî êîðèñòóâà÷³â ìîäåëþþ÷îãî ñåðåäîâèùà ç åôåêòèâíèì âèêîðèñòàííÿì ïàðàëåëüíèõ àïàðàòíî-ïðîãðàìíèõ ðåñóðñ³â. Çà äîïîìîãîþ ñåðåäîâèùà ³ ÷èñåëüíèõ ìåòîä³â äîñë³äæóþòüñÿ ìîäåë³ ñêëàäíèõ äèíàì³÷íèõ ñèñòåì ç çîñåðåäæåíèìè ³ ðîçïîä³ëåíèìè ïàðàìåòðàìè. ßê ïðèêëàäè ïîäàíî ìîäåë³ ñèñòåì øàõòíî¿ âåíòèëÿö³¿ òà òåõíîëîã³÷íèõ ïðîöåñ³â ó â³äïîâ³äíèõ ïðîáëåìíî-îð³ºíòîâàíèõ ïàðàëåëüíèõ ìîäåëþþ÷èõ ñåðåäîâèùàõ.

Àííîòàöèÿ

    Ïàðàëëåëüíîå ìîäåëèðîâàíèå êàê àêòóàëüíîå íàó÷íîå íàïðàâëåíèå èññëåäóåòñÿ íà ïðîòÿæåíèè ðÿäà ïîñëåäíèõ ëåò â ðàìêàõ ñîòðóäíè÷åñòâà ó÷¸íûõ Øòóòãàðòñêîãî è Äîíåöêîãî íàöèîíàëüíîãî òåõíè÷åñêîãî óíèâåðñèòåòîâ. Ãëàâíîé ïðîáëåìîé ÿâëÿåòñÿ ðàçðàáîòêà âûñîêîïðîäóêòèâíîé è äðóæåñòâåííîé ê ïîëüçîâàòåëþ ìîäåëèðóþùåé ñðåäû ñ ýôôåêòèâíûì èñïîëüçîâàíèåì ïàðàëëåëüíûõ àïïàðàòíî-ïðîãðàììíûõ ðåñóðñîâ. Ñ ïîìîùüþ ñðåäû è ÷èñëåííûõ ìåòîäîâ èññëåäóþòñÿ ìîäåëè ñëîæíûõ äèíàìè÷åñêèõ ñèñòåì ñ ñîñðåäîòî÷åííûìè è ðàñïðåäåë¸ííûìè ïàðàìåòðàìè.  êà÷åñòâå ïðèìåðîâ ïðèâåäåíû ìîäåëè ñèñòåì øàõòíîé âåíòèëÿöèè è òåõíîëîãè÷åñêèõ ïðîöåññîâ â ñîîòâåòñòâóþùèõ ïðîáëåìíî îðèåíòèðîâàííûõ ïàðàëëåëüíûõ ìîäåëèðóþùèõ ñðåäàõ.

Kurzfassung

    Die parallele Simulationstechnik wird im Rahmen einer langjaehrigen Kooperation von Informatikern und Simulationstechnikern der Universitaet Stuttgart und der Nationalen Technischen Universitaet Donezk als ein aktuelles Forschungsthema untersucht. Im Mittelpunkt steht dabei die Entwicklung einer leistungsfaehigen und benutzerfreundlichen Simulationsumgebung mit einer effizienten Nutzung von parallelen Hardware- und Softwareressourcen. Mit dem entwickelten Simulationswerkzeug werden komplexe Modelle von dynamischen Systemen mit oertlich konzentrierten und mit verteilten Parametern numerisch geloest. Als Beispielprozess werden mathematische Modelle von Grubenbewetterungssystemen zusammen mit verschiedenen Automatisierungsfragestellungen betrachtet.

Abstract

    Parallel simulation engineering as an actual research direction is investigated in course of a long term cooperation between Universitaet Stuttgart and Donetsk National Technical University. The major research goal concerns the development of an high performance and user friendly simulation environment with an efficient use of parallel hardware and middleware resources. The simulation environment and advanced numerical methods allow to investigate complex models of dynamical systems with specially lumped and distributed parameters. As benchmark example, the mathematical model of mine ventilation systems together with related automation problems are investigated.

1. Einfuehrung

    Die Anwendungsgebiete der Simulationstechnik reichen sich von den "traditionellen" technischen dynamischen Systemen (DS) mit konzentrierten und mit verteilten Parametern (DSKP, DSVP) ueber biotechnologische und oekologische Prozesse bis hin zu den zu projektierenden und zu optimierenden Unternehmens-, Wirtschafts- und oeffentlichkeitsstrukturen. Die modellgestuetzte Entwicklung von komplexen technischen und nichttechnischen DS in allen Bereichen ist ein entscheidender Faktor zur Qualitaetssicherung und Konkurrenzfaehigkeit bei laufenden und zukuenftigen technischen und technologischen Projekten. Als Folge von steigenden Anforderungen an die Qualitaet, Sicherheit und Wirtschaftlichkeit der DS-Prozesse werden immer genauere und damit auch komplexere Simulationsmodelle benoetigt. Bei dieser Entwicklung ergibt sich in einer natuerlichen Weise eine Komplexitaetsschwelle fuer die Implementierung und Anwendung der Simulationsmodelle, die nur durch die Verwendung von neuen Simulationswerkzeugen ueberwunden werden kann. Hierzu gehoeren u.a. die parallelen Hoechstleistungsrechner der MIMD-Architektur mit eng (ueber gemeinsamen Adressraum von Shared Memory) und lose (mit dem autonom zugeordneten Adressraum) gekoppelten Prozessoren sowie mit einer hybriden Speicherorganisation. Die effiziente Nutzung von diesen Simulationswerkzeuge erfordert eine benutzerfreundliche system- und informationstechnische Organisation der parallelen Ressourcen sowie eine hoch entwickelte Simulationssoftware, die neue Ansaetze zur Modellerstellung und Simulationsdurchfuehrung zur Verfuegung stellt. Die hierbei zu loesenden theoretischen und praktischen simulationstechnischen Probleme gehoeren zum Fachgebiet der parallelen Simulationstechnik. Dieses Forschungsgebiet wird im Rahmen der langjaehrigen Kooperation von Informatikern und Simulationstechnikern der Universitaet Stuttgart und der Nationalen Technischen Universitaet Donezk (Ukraine) untersucht.

2. Dynamische Systeme als Objekte der Modellierung und Simulation

    Als dynamische werden die Objekte von Technik und Technologien bezeichnet, deren Betriebsart mit den Prozesse von Zustandsaenderungen zeitabhaengig charakterisiert wird. Diese Prozesse koennen von den Naturerscheinungen oder zielgerichteten Steuerungsaktionen fuer die ueberfuehrung der Objekte von gewissen Anfangszustand in bestimmten vordefinierten Zustand iniziirt werden. Jeder technischer Bereich, jede Technologie hat spezifischen dynamischen Objekte und Prozesse, die im Rahmen von verfahrenstechnischen Flissbilder sowie in der Integration mit den Automatisierungsmitteln folgende Eigenschaften von komplexen dynamischen Systemen (KDS) bekommen: grosse Anzahl und Mehrfachheit der Verbindungen von charakteristischen Parametern, die Nichtlinearitaet der statischen und dynamischen Charakteristiken der Komponenten, hierarchische Anordnung von Regelungsmitteln, die Abhaengigkeit der Prozesse von zeitlichen und oertlichen Koordinaten, die physikalische Vielfaeltigkeit der zusammenwirkenden Prozesse, eine Wechselung der Strukture abhaengig von Ablaeufen der dynamischen Prozesse, eine Vorhandenheit der Phasen und Bereiche von Parametern, die sicherheitskritische Zustaende der Systeme verursachen koennen u. a. Wissenschaftstechnisches Niveau der jetzigen Gegenstandsgebiete (GG, Abb. 1) von der Bergbautechnik, des Huettenwesens bis der Bioverfahrens- und Umweltschutztechnik wird in bedeutendem Ausmass durch erreichte Wissensebene der Prozesstheorie, des Verstaendnisses der Zusammenwirkungen und der Integration verschiedener dynamischen Prozesse sowie ihren praktischen Inbetriebnahmen von GG-Experten in KDS-Industrieprojekte bestimmt. KDS-Theorie vermittelt eine Annaeherung der Gegenstandsgebiete (Abb.1) bei der kompletten Loesung von technischen und technologischen Problemen.

Dynamische Systeme und Gegenstandsgebiete

Abb. 1. Dynamische Systeme und Gegenstandsgebiete

    Aus simulationstechnischen Gruenden werden zwischen dynamischen Systeme mit konzentrierten (DSKP) und oertlich verteilten (DSVP) Parametern unterscheidet. Traditionell gehoeren die Theorie und Simulationsverfahren von DSKP und DSVP zu den selbsstaendigen wissenschaftlichen Disziplinen. Forschungs- und Entwicklungspraktiken zeigen aber, dass die DSKP und DSVP oft als dieselben Objekte untersucht werden: ueblicherweise wird ein Objekt erst als VP-Objekt analysiert, dann werden die weitere Untersuchungen durch eine Approximierung mit der gewissen Menge der KP-Objekte und der Behaltung von entsprechenden Approximationsbedingungen fortgesetzt.

    Eine Analyse zeigt, dass trotzt breite physikalische DS-Vielfaeltigkeit der verschiedenen Gegenstansgebiete ihre Topologien mit der in Abb.1 illustrierten relativ begrenzten Menge von Darstellungsmitteln beschrieben werden: das sind die verfahrenstechnische Fliessbilder (VTF), Strukturschemata der Automatisierungssysteme (SSA), durch den Graphen dargestellten dynamischen Netzobjekte (DNO) und die waehrend der DSVP-Approximierung entstehenden sekundaeren Topologien (ST). Hauptziel der Topologiebeschreibung besteht in eindeutlichen Darstellung der DS-Struktur, der Bestandteile und ihrer Verbindungen sowie in der Integration mit der mathematischen Beschreibung in der Form, die als Voraussetzung fuer automatische Generierung der grossdimensionalen Prozessgleichungssysteme dienen konnte. Die Bestandteile der obiegen Topologien koennen DSKP und DSVP sein. Die Herleitung der Prozessgleichungen gehoert in alle Gegenstandsgebiete zur Forschungsproblematik, welche die mathematischen Modelle als neue Wissen liefert. In der Abb.1 sind die Gleichungsarten gezeigt: die DSKP werden mit den algebraischen und gewoehnlichen Differentialgleichungssysteme waehrend die DSVP mit den partiellen Differentialgleichungssysteme beschrieben.

3. Etappen der parallelen DSKP-, DSVP-Modellierung

    Definition 1: Das Modell des komplexen dynamischen Systems ist eine formale KDS-Beschreibung, die notwendige Topologiedarstellung und entsprechende Gleichungssysteme der physikalischen Prozesse beinhaltet und durch die gemeinsamen Vektor-Matrix-Ausdruecke und -Operationen diese Mittel vereinigt (Abb. 1).

    Definition 2: Das Simulationsmodell des komplexen dynamischen Systems mit konzentrierten Parametrn ist das umgewandelte DSKP-Modell zur Form, die Anwendung von numerischen Loesungsverfahren erlaubt.

    Definition 3: Das Simulationsmodell des komplexen dynamischen Systems mit verteilten Parametrn wird als oertlich diskretisiertes und zur von numerischen Verfahren geforderten impliziten Form umgewandeltes DSVP-Modell definiert.

    Wegen der oertlichen Diskretisierung des DSVP ensteht eine sekundaere Topologie, die in der Modellumwandlung eine wichtige Rolle spielt. Die partielle Differentialgleichungssysteme werden durch die gewoehnliche Differentialgleichungssysteme (GDGLS) approximiert. In den DSKP- und DSVP-Simulationsmodellen werden die GDGLS bezueglich der Vektoren von Ableitungen ausgeloest. Die vorhandenen algebraischen Gleichungssysteme werden bezueglich der Vektoren der gesuchten Variablen ausgeloest.

    In Abb.2 werden die Etappen der Entwicklung von Modellen der DSKP, DSVP aller genannten Topologien bis zur Umwandlung in den Simulationsmodelle dargestellt [1, 6, 11]. Wegen der DS-Komplexitaet spielt bei der DSKP- und DSVP-Modellierung die rechnergestuetzte Erstellung der Topologien, Generierung der Gleichungssysteme sowie ihre Umwandlung in Simulationsmodelle als allgemeines und gegenstandsgebietspezifisches Problem der parallelen Simulationstechnik eine zunehmende Rolle. In Abb.2 wird das Vorhandensein von Mitteln fuer rechnergestuetzten Erfuellung entsprechenden Arbeiten vorausgesetzt. Erfahrung zeigt aber, dass diese Mittel in den mehreren Gegenstandsgebiete noch entwickelt werden sollen. Es geht um benutzerfreundlichen simulationsorientierten Bedienoberflaechen (BOF), Funktionsalgorithmen und Software der Topologieanalysatoren und Gleichungsgeneratoren.

    Die erhaltenen Simulationsmodelle dienen fuer weitere Schritte der parallelen Simulationstechnik, die mit folgenden Definitionen verbunden sind.

Etappen der rechnergestuetzten Entwicklung von DSKP-, DSVP-Modellen und  Simulationsmodellen

Abb. 2. Etappen der rechnergestuetzten Entwicklung von DSKP-, DSVP-Modellen und Simulationsmodellen

    Definition 4: Parallele Modellierung von dynamischen Systemen mit konzentrierten und verteilten Parametern ist ein Vorgang, der zielgerichtet zur Realisierung der obiegen DSKP-, DSVP-Simulationsmodelle auf dem vorgegebenen parallelen Rechnersystem fuehrt.

    Definition 5: Virtueller MIMD-Prozess ist ein relativ autonomes Programm, das den Loesungsalgorithmus des Gleichungssystemteils realisiert und mit den in der Loesung des Gesamtgleichungssystems beteiligten Prozessen kommuniziert.

    Die Koernigkeit des virtuellen Prozesses charakterisiert den Umfang der Berechnungs- und Hilfsoperationen, die im Prozess programmiert werden. Dieser Begriff ist mit der KDS-Dekomposition (Topologie und Modelle) sowie mit der oertlichen DSVP-Approximation verbunden, weil waehrend der Dekomposition bekommen wir die KDS-Einheiten, die in den weiter nicht zerlegbaren Elementen diskretisiert werden. Die DSVP-Ortsdiskretisierung fuehrt zur sekundaeren VTF-, SAS- und DNO-Topologien, deren Elemente mit entsprechendem System der gewoehnlichen Differenzialgleichungen (Differenzgleichungen bezueglich der Ortskoordinate) beschrieben werden. Die Koernigkeit der virtuellen Prozesse wird nach der Betrachtung der Gleichungssysteme aller nach der Dekomposition erhaltenen VTF-, SAS- und DNO-Komponenten und Approximationselementen definiert. Diese Einheiten haben folgende Eigenschaften, die wir fuer die weitere Parallelisierung in den Betracht nehmen sollen:

    Die erhaltenen Arten von Gleichungen, die die KDS-Komponente und ihre Elemente beschreiben, lassen uns die Koernigkeit von virtuellen Prozessen definieren. Dabei werden wir davon ausgehen, dass die parallelen Rechensysteme die fein- und grobkoernige formale Konstrukte parallel bearbeiten. Die feinkoernige Parallelitaetsebene wird durch die einzige Operationen praesentiert, die mit den Anweisungen der jeweiligen Programmiersprachen im SIMD-System mit Hilfe des HOST-Rechners und der Felder von Prozessorenelementen realisiert werden.

    Die grobkoernige Parallelelitaetsebene wird durch einige Mengen der Operationen praesentiert und dem Prinzip der MIMD-Parallelitaet entspricht. Dabei aendert sich die im Begriff „Prozess“ eingebettete Menge der Operationen sehr stark – von des Einanweisungsprogramms bis den recht komplexen Programmen. Wir werden aus unserer Erfahrung der Aufbau von SIMD- und MIMD-Gleichungsloesern ausgehen [2, 4, 6, 14] und die Perspektive der Realisierung von grobkoernigen Prozessen in den modernen ZRS [18, 19, 23] beruecksichtigen. Analyse des Caushy-Problems fuer gewoehnliche Differentialgleichungen zeigt, dass es nicht zweckmaessig waere, parallel durch Prozesse die Glieder von rechten Seiten der Gleichungen zu berechnen. Als versprechend fuer weitere Untersuchungen sieht ein Prozess aus, der fuer die Berechnung der gesuchten Variablen zustaendig waere.

    Definition 6 : Die minimalkoernigen virtuellen Prozesse beschraenken sich mit den Loesungsoperationen fuer die Gleichungen, die nach der Dekomposition und der Diskretisierung der VTF-, SAS- und DNO-Komponenten entstanden sind.

    Die vorgeschlagene minimale Koernigkeit von Prozessen werden wir fuer die Erstellung der virtuellen parallelen Simulationsmodelle benutzen.

    Definition 7: Virtuelles paralleles DSKP/DSVP-Simulationsmodell (VPSM) ist eine Abstraktion, die aus dem bezueglich den Ableitungsvektoren und den Vektoren der gesuchten algebraischen Unbekannten ausgeloesten Gleichungssystem und der nach einem Parallelisierungsansatz entwickelten Struktur der virtuellen MIMD-Prozesse fuer parallele Loesung der Gleichungssystemteile besteht.

    Minimaler Gleichungssystemteil ist eine gewoehnliche Differentialgleichung (oder eine algebraische Gleichung), fuer deren Loesung ein minimalkoernigen MIMD-Prozess zustaendig ist.

    Fuer die Realisierung der oben definierten virtuellen Prozesse waehlen wir die numerische Verfahren, die in den konventionellen Simulationssprachen Simulink, ACSL u.a. verwendet werden. Fuer die Untersuchung sind auch die blockartige Verfahren mit interner Parallelitaet von Interesse [7, 9, 17].

    Die Berechnungen der Vektorelementen nach entsprechenden numerischen Verfahren bedingen den Arbeitsaufwand (den Last) von virtuellen Prozessen. Die VTF-, SAS- und DNO-Gleichungsgeneratoren beruecksichtigen die ausgewaehlte Verfahren und generieren die diskrete virtuelle parallele Simulationsmodelle (DVPSM) der DSKP, DSVP als Berechnungsformeln fuer gesuchten Variablen der minimalkoernigen Prozesse.

    Definition 8: Virtuelles Verbindungsnetzwerk ist ein abstrakte Schaltautomat, der die logische Verbindungen zwischen den virtuellen MIMD-Prozessen widerspiegelt.

    Definition 9: Die virtuelle parallele Rechnerarchitektur ist eine ueber virtuellen Verbindungsnetzwerk gekoppelte, nach MIMD-Prinzip funktionierte nicht beschraenkte Menge der vollfunktionellen Prozessoren, die gemeinsam unter Beruecksichtigung des algorithmisch bedingten Datenaustausches das Loesen des Simulationsproblems durchfuehren.

    Definition 10: Das Zielrechnersystem (ZRS) ist die dem Modellentwickler zur Verfuegung stehende lose oder/und eng gekoppelte, nach MIMD-Prinzip funktionierte, vorgegebene Menge der installierten vollfunktionellen Prozessoren mit lokalem oder/und gemeinsamem Speicher und verfuegbarem vordefiniertem programmgesteuertem Verbindungsnetzwerk.

    Definition 11: Paralleler DSKP,-DSVP-Simulator ist vorgegebenes Ziel der parallelen Modellierung und wird als eine Hardware/Software-Systemorganisation definiert, die den Modellierungsvorgang und diskretes virtuelles paralleles Simulationsmodell auf dem Zielrechnersystem sofwaretechnisch effizient realisiert und den Modellentwicklern sowie den Modellanwendern benutzerfreundliche Kommunikation mit den Modellierungs- und Simulationsressourcen erlaubt.

    Definition 12: Eine Devirtualisierung des diskreten virtuellen parallelen Simulationsmodells ist eine Umwandlung, die zur Simulatorrealisierung auf gegebenen ZRS eindeutig fuehrt und aus folgenden Grundfunktionen besteht: Apriori-Analyse des DVPSM; Darstellung der vorhandenen ZRS-Ressourcen; Zuordnung “virtuelle Prozesse  — reale Prozessoren”, “virtuelles Verbindungsnetzwerk (Kommunikationsgraph)  — reales ZRS-Verbindungsnetzwerk” mit der Beruecksichtigung von Kriterien der Lastbalancierung, Netzwerkanpassung, Minimierung des Datenaustauschaufwandes; Formierung der Spezifikation von MIMD-Prozessen, die den Prozessoren zugeordnet werden; Formierung des Auftrages fuer paralleler Code-Generator.

    Es wird vorgeschlagen, die parallelen Simulatoren von komplexen DSKP, DSVP entsprechend den in Abb. 3 dargestellten Etappen und Vorgehen der parallelen Modellierung zu entwickeln [15]. Ausgangspunkt der Entwicklung ist eine detaillierte Darstellung und Apriori-Analyse der parallelen virtuellen Simulationsmodelle.

Etappen der parallelen KDS-Modellierung und rechnergestuetzten Entwicklung von parallelen SIMULATOREN

Abb.3. Etappen der parallelen KDS-Modellierung und rechnergestuetzten Entwicklung von parallelen SIMULATOREN

    Die Ziele der Apriori-Analyse sind: ausgehend von minimalkoernigen Prozessen moegliche Ansaetze zur Parallelisierung und die strukturelle Darstellungen der DSKP-, DSVP- Parallelitaetsebenen zu betrachten; die Parallelitaetsebene nach Kriterien Lastverteilung, Datenaustausch, Synchronisation der Prozesse, Rechenaufwand zu pruefen; die moeglichen alternativen Loesungen der Organisation von Parallelitaetsebenen vorzuschlagen und zu pruefen; Zusammenfassender Vergleich der Parallelitaetsebenen durchzufuehren und die Empfehlungen fuer die Implementierungsarbeiten auf moeglichen ZRS zu formulieren.

    Die Parallelisierungsansaetze werden im Zusammenhang mit der Approximation der DSVP bezueglich der Ortskoordinaten und der Dekomposition von VTF-, SAS- und DNO-Simulationsobjekten auf den weiter nicht zerlegbaren Elemente. Die erhaltene VPSM mit minimalkoernigen Prozessen werden wir als paralleles Simulationsmodell der ersten Parallelitaetsebene betrachten. Diese Ebene (Abb.3) beinhaltet maximal moegliche Menge der Einheiten „Gleichung - Prozess“ und dient fuer die Untersuchungen der potentiellen Parallelitaet von VTF-, SAS-, DNO- und sekundaeren Topologien. Die Komposition der zerlegten Objekte und eine Gruppierung der minimalkoernigen Prozesse fuehren zur Betrachtung der hoeheren Parallelitaetsebenen mit der groesseren Prozesskoernigkeit und entsprechenden Varianten der Prozess-Prozessor-Zuordnung. Die Apriori-Analyse soll bezueglich aller moeglichen Parallelitaetsebene vollstaendig durchgefuehrt werden und in der Betrachtung folgenden Fragen ihrer Funktionierung bestehen:

    Weitere Schritte in Abb.3 werden als der Devirtualisierungsvorgang betrachtet [15].

4. Anforderungen an die Simulationsmitteln

    Dynamische Systeme mit konzentrierten und mit verteilten Parametern stellen die folgenden Anforderungen an die Simulationsmitteln [1, 3, 5, 6, 8, 12, 18, 20, 24]:

5. Konzeption der verteilten parallelen Simulationsumgebung

    Zur Bearbeitung komplexer DSKP-, DSVP-Simulationsaufgaben wird eine verteilte parallele Simulationsumgebung (VPSU) vorgeschlagen, entwickelt und implementiert [1, 2, 4, 12, 14].

    Definition13: Die VPSU (Abb.4) definieren wir als eine benutzerfreundliche simulationstechnische Systemorganisation der Hardware, der architekturrelevanten Systemsoftware, der speziell zielgerichtet entwickelten Simulationssoftware sowie der modellierungs-, simulations- und systemtechnischbedingten Subsysteme, mit denen alle Etappen der parallelen Modellierung und Simulation von DSKP, DSVP mit der moeglichst vollen Beruecksichtigung der obiegen Anforderungen unterstuetzt werden.

    Die VPSU-Entwicklung wird als zentrales Problem der parallelen Simulationstechnik angesehen und von den beteiligten Institutionen nach der folgenden Konzeption durchgefuehrt:

Systemorganisation der VPSU

Abb.4. Systemorganisation der VPSU

    Definition 14: Ein VPSU-Subsystem ist eine Teilkomponente der Hardware, Systemsoftware und Simulationssoftware, die benutzerfreundlich eine gewisse Gruppe von inhaltlich nahen Funktionen auf entsprechenden DSKP/DSVP-Modellierungs- und Simulationsetappen erfuellt.

    Unsere Realisierungserfahrung der SIMD- und MIMD-Komponenten von VPSU bestaetigt die Produktivitaet und Entwicklungsperspektive vorgeschlagener Konzeption. Es wurden die Struktur der VPSU mit SIMD-HARDWARE MasPar sowie der DSKP- und DSVP-Simulationssoftware mit parallelen Programmiersprache PARALLAXIS vorgeschlagen, begruendet und erprobt [2, 4, 6]. Fuer DSKP wurden in konventionellen Simulationssprachen vorhandene Algorithmen parallelisiert und in Richtung der Topologieanalyse und Gleichungsgenerierung weiterentwickelt. In [4] ist die Analyse der DSKP-SIMD-Algorithmen dargestellt. Es wurde die Benutzeroberflaeche mit der verschiedenen Ansaetze zur Modellerstellung sowie problemorientierte SIMD-VPSU [6] untersucht. Die SIMD-Erfahrung wird mit den Anwendungsperspektiven von CUDA-Ansaetze [21] aktualisiert.

    Die vorgeschlagene VPSU wird von HLRS und FRTI nach Abb.5 realisiert, implementiert und experimentell untersucht [11, 13, 14, 15, 20].

Aktuelle  VPSU-Hardwarestruktur

Abb.5. Aktuelle VPSU-Hardwarestruktur

6. Problem der Entwicklung von VPSU-Simulationssoftware

    Die Hauptbestandteile der VPSU-Simulationssoftware sind in Abb.4 dargestellt . Die Funktionalitaet dieser zugrundeliegenden Komponente der Simulationsumgebung wird von in Abbildungen 2, 3 zusammengefassten Etappen der parallelen Modellierung und Simulation von komplexen dynamischen Systemen bedingt. Das Problem der vollfunktionellen Entwicklung der VPSU-Simulationssoftware wird mit Hilfe der Verteilung der gesamten Funktionalitaet zwischen folgenden Subsystemen geloest:

  1. Dialogsubsystem (DiSuS, die Benutzeroberflaeche  — BOF)  — eine Praesentation der VPSU; Schulung von Benutzern; aktives Dialog der Modellentwickler mit alle Ressourcen des verteilten Rechnersystems; Integration mit alle anderen Subsystemen; Anpassung an die Simulationsaufgaben der Gegenstandsgebiete; Planung und Fuehrung der Simulationsexperimente.
  2. Topologieanalysesubsystem (TASuS)  — verbale und grafische Darstellung sowie geeignete Kodierung von urspruenglichen VTF-, SAS-, DNO-Topologien; Dekomposition und Aproximierung, Erstellung der sekundaeren Topologien; Formierung der topologierelevanten Vektoren und Matrizen; Umwandlung der urspruenglichen Kodierungstabellen in die Zwischenformen; Darstellung der topologischen Informationseinheiten in der fuer die Gleichungsgenerierung geeigneten Form; eine Ausgabe der Topologieanalyseergebnissen.
  3. Subsysten der Gleichungsgenerierung (SuGG)  — Kommunikation mit dem TASuS; Darstellung der urspruenglichen Gleichungen (Modelle) in Vektormatrixform; formale Vektor-Matrix-Operationen der Umwandlung „DSKP-Modell  — Simulationsmodell“; Darstellung der approximierten DSVP-Gleichungen (1D-, 2D-, 3D-ortsdiskretisierten Modelle) in der Multivektor-Matrix-Form; die formale Umwandlung „DSVP-Modell  — Simulationsmodell“; die Generierung von diskreten DSKP-, DSVP-Simulationsmodelle fuer gegebenes numerisches Loesungsverfahren; die Visualisierung der Modelle und Simulationsmodelle.
  4. Subsystem der virtuellen parallelen Simulationsmodelle (VPSMSu)  — interaktive Darstellung der Hierarchie von virtuellen parallelen Simulationsmodelle abhaengig von moeglichen Parallelisierungsansaetze; TASuS-gestuetzte Erstellung der Topologien entsprechend den VPSM-Ebenen; SuGG-unterstuetzte Formierung der VPSM-Ebene-Gleichungssysteme; Apriori-Analyse der diskreten VPSM aller Ebenen; interaktive Bereitstellung von implementierungsfaehigen diskreten VPSM.
  5. Subsystem von parallelen Gleichungsloesern (SuPaGL)  — Kommunikation mit dem TASuS und VPSMSu, die Eingabe der implementierungsfaehigen diskreten VPSM; die Loesung von algebraischen, gewoehnlichen und partiellen Differentialgleichungssysteme mit Hilfe der in den DSKP-, DSVP-Bibliotheken zusammengefassten parallelen numerischen Verfahren; die Analyse der Konvergenz, Stabilitaet und Genauigkeit der Loesungen, Optimierung der varriirten Parametern; Abschaetzung und Optimierung der Effizienzmerkmalen von parallelen Loesungen in Vergleich mit den sequentiellen Verfahren; Formierung der Loesungsergebnisse fuer die anschaulichen Praesentation.
  6. Datenaustauschsubsystem (DASu)  — die vollfunktionelle Liste der angemeldeten VPSU-Teilnehmern und vorhandenen VPSU-Ressourcen, die ein Datenaustausch nach gemeinsame Initiative durchfuehren sollen; eine Hierarchiedarstellung von Datenstroeme fuer ausgewaehlten ZRS; Testsystem fuer die Ermittlung der realen Parametern von Austauschoperationen im ZRS-Verbindungsnetzwerk; Optimierung der parallelen Programme bezueglich der Datenaustauschoperationen; Zusammenstellung der in der Apriori-Analyse und im ZRS erhaltene Wirkung der DA-Operationen auf die Werte der Effizienz von Parallelisierungsansaetzen.
  7. Lastbalancierungssubsystem (LaBSu)  — Abschaetzung der Lasthoehe von virtuellen Prozessen in VPSM-Ebenen, statische Lastbalancierung der VPSM aller Ebenen; Spezifikation der Auftraege auf VPSU-Ressorcen von implementierten VPSM; eine Ermittlung der Lastverteilung zwischen Prozessen und zwischen ZRS-Prozessoren; Vergleichsanalyse der Parallelisierungsansaetze nach Kriterium der gleichmaessigen Lastverteilung.
  8. Visualisierungssubsystem (ViSuS)  — in Integration mit BOF und Subsystem von Gleichungsloesern eine Vorbereitung und Strukturierung der Simulationsergebnissen zu den Formen, die fuer grafischen 1D-, 2D- und 3D-Visualisierung geeignet sind; interaktive Erstellung von Grafiken waehrend und nach der Durchfuehrung von Simulationsexperimenten.
  9. Datenbanksubsystem (DaBSu)  — in der Integration mit allen anderen Subsystemen: Daten ueber VPSU-Hardware und Systemsoftware; Benutzerdaten; urspruengliche und umgewandelte Daten der modellierten VTF-, SAS- und SNO-KDS; Archivierung der lauffaehigen parallelen und sequentiellen Programme; Daten der Testaufgaben, Plaene der Simulationsexperimenten, Archivierung der Simulationsergebnissen.
  10. Subsystem der IT-Unterstuetzung (SuIT)  — Betriebsorganisation von verteilten Rechen-, Kommunikations- und Simulationsressourcen durch die Technologien der modernen Netzwerke; entfernter WEB-basierter Ansatz zur parallelen Modellierung und Simulation; Funktionierung der Ketten „WEB-Client (Modellentwickler) – WEB-Server – PARSIMULATOR“ und „WEB-Client (Modellentwickler) – WEB-Server – DATABASE-Server“; Integration mit anderen Subsystemen.

    Die vollfunktionelle DSVP-Simulationssoftware soll die in Abb.6 gezeigten Module beinhalten. Sie entsprechen den Etappen der parallelen DSVP-Modellierung und Simulation (Abb.2, 3) und der obigen Anforderungen an die Modellierungs- und Simulationsmitteln. DSVP-Bibliothek stellt dem Benutzer die parallelen numerischen Loesungsverfahren der partiellen Differentialgleichungen der genanten Typen zur Verfuegung. Die DSKP-Simulationssoftware besitzt eine aehnliche Struktur. Die parallele numerische Verfahren fuer Loesung der gewoehnlichen Differentialgleichungen werden in DSKP-Bibliothek zusammengefasst und mit DSVP-Bibliothek integriert, weil die Dekomposition und Ortsdiskretisierung von DSVP zu den grossdimensionalen Systeme der gewoehnlichen und algebraischen Gleichungen fuehrt.

Struktur der MIMD-Simulationssoftware fuer dynamische Systeme mit verteilten Parametern

Abb.6. Struktur der MIMD-Simulationssoftware fuer dynamische Systeme mit verteilten Parametern

    Die in obigen Bibliotheken eingebetteten parallelen Gleichungsloesern werden nach folgenden Ansaetzen entwickelt:

  1. Eine Parallelisierung der numerischen Verfahren, die in den benutzerfreundlichen konventionellen Simulationssprachen erfolgreich verwendet werden (Euler, Adams-Bashforth, Runge-Kutta u.a. Verfahren). Diskrete Form der minimalkoernigen Prozesse und virtuellen parallelen Simulationsmodelle ist durch die Berechnungsformeln dieser Verfahren definiert.
  2. Entwicklung der neuen parallelen Loesungsverfahren [6].

    Fuer die gewoehnlichen Differentialgleichungssysteme entwickeln wir die blockartigen Verfahren, welche fuer einen Block von k Punkten berechnen die neue k Funktionswerte gleichzeitig. Diese Verfahrenseigenschaft passt gut zur parallele Rechnerarchitekturen und erlaubt die Berechnungen von Koeffizienten der Differenzformeln vor der Integrierung, schon waehrend der Entwicklung des Verfahrens und erhoeht die Effizienz des Rechnens. Betrachten wir die Loesung des Caushy-Problems

mit Hilfe des blockartigen k-Punktverfahrens (Abb. 7). Zerlegen wir dabei die Knotenmenge Ì des homogenen Gitters {tm}, m = 1,2,…, M mit dem Schritt auf Bloecke, die je k Punkte beinhalten, kN>M. Numerieren wir in jedem Block die Punkte i = 0,1,…, k und bezeichnen als tn,i den Punkt i des n-ten Blocks. Die Punkte tn,0 und tn,k sind entsprechend der Anfang und das Ende des Blocks n . Daraus folgt, dass tn,k = tn + tn,0 , dabei wird der Anfangspunkt dem Block nicht gehoeren.

Schema der Zerlegung auf die Bloecke

Abb.7. Schema der Zerlegung auf die Bloecke

    Wir werden zwischen den blockartigen Einschritts- und Mehrschrittsverfahren unterscheiden (Abb. 8, 9).

Berechnungsschema beim blockartigen Einschrittsverfahren

Abb.8. Berechnungsschema beim blockartigen Einschrittsverfahren

Berechnungsschema beim blockartigen Mehrschrittsverfahren

Abb.9. Berechnungsschema beim blockartigen Mehrschrittsverfahren

    Im allgemeinen Fall haben die Gleichungen fuer das m-schrittliche k-punktliche blockartige Verfahren folgende Form:

    Es wurden die ausfuehrlichen theoretischen Untersuchungen der blockartigen Ein- und Mehrschrittsverfahren bezueglich der Konfergenz- und Stabilitaetanalyse, der Fehlerabschaetzungen durchgefuehrt [7, 9, 17]. Es wurde festgestellt, dass die zweischrittlichen zweipunktlichen und vierschrittlichen vierpunktlichen blockartigen Verfahren À(a)  — stabil bei beliebigem a nicht koennen sein. Deshalb sind diese Vefahren fuer die Loesung der staufen Gleichungssysteme nicht geeignet. Es wurde das parallele blockartige eingebettete und extrapolierende Verfahren aufgrund der impliziten Einschrittverfahren fuer die beschleunigte Loesung der staufen Gleichungen vorgeschlagen und begruendet. Die hergeleiteten analytischen Ausdruecke fuer die Abschaetzung der Beschleunigung, Effizienz und Skalierbarkeit der parallelen blockartigen Ein- und Mehrschrittsverfahren wurden auf Testaufgaben erprobt. Diese Ergebnisse stellen zuverllaessiger Grund fuer die weiteren Entwicklung und Realisierung paralleler Gleichungsloesern dar.

7. Problemorientierten parallelen Simulationsumgebungen

    Entwicklung der problemorientierten VPSU bleibt als aktuelle Herausforderung in verschiedenen Gegenstandsgebiete [1, 5, 6, 8, 11, 14]. Wissenschaftliche und praktische Bedeutung haben folgende Aufgabenloesungen: die Spezifikationssprachen der DSKP, DSVP auf technologischer Ebene; die formale Beschreibung von Topologien und physikalischen Prozessen, Algorithmen der Topologieanalyse und der Gleichungsgenerierung; die Ansaetze zur Parallelisierung, Entwicklung der virtuellen parallelen Simulationsmodelle und ihre theoretische Analyse; Devirtualisierung und Prozessezuordnung auf ZRS, Anpassung der numerischen Verfahren und Aufbau von parallelen Gleichungsloesern; Entwicklung der effektiven Subsysteme; Effizienzanalyse und Optimierung der parallelen Simulatoren; Integration mit der gegenstandgebietspezifischen CASE-Werkzeuge, modellgestuetzte Projektierung und Prozessfuehrung; benutzerfreundliche Systemorganisation der Anwendung von parallelen Ressourcen.

7.1. Simulationsumgebung fuer dynamische Netzobjekte (DNO-Topologie)

    Die dynamische technische und verfahrenstechnische Netze sind in mehreren Gegenstandsgebiete die Objekte der Untersuchung, Projektierung, Automatisierung, ueberwachung, Qualitaetssicherung, optimalen Prozessfuehrung, Sicherheitsanalyse und -vorhersage, Vermeidung der sicherheitskritischen Betriebzustaende und der Havarieliquidierung. Die Netzobjekte gehoeren zu den komplizierten (oft sicherheitskritischen) dynamischen Systemen. Nichtlinearitaet der prozessbeschreibenden Funktionen, raeumliche Verteilung von Prozessparametern, grosse, im Laufe des Objektbetriebs sich entwickelnde Dimensionen der Netze (Kantenmenge m>100, Knotenmenge n>50), ebenso mehrere aktive Elemente mit nichtlinearen stromabhaengigen Charakteristiken, wesentliches mehrfaches und hierarchisches Zusammenwirken der regelbaren Prozessparametern, sowie gleichzeitige Einfluesse von deterministischen und stochastischen Stoerungen sind die Hauptmerkmale dieser Komplexitaet. Nur wenige, sehr vereinfachte Aufgaben der dynamischen Netzobjekte kann man jedoch analytisch loesen. Deshalb haben die Methoden und Mittel der Modellierung und Simulation dieser Objektklasse sowohl bei der Projektierung als auch waehrend des Betriebes eine zunehmende theoretische und praktische Bedeutung. In Abb. 10 werden die Dekomposition des Grubenbewetterungsnetzes und Diskretisierung der Luftwege (Kanten des Netzgraphen) erlaeutert.

Dekomposition und Diskretisierung des dynamischen Netzobjektes

Abb. 10. Dekomposition und Diskretisierung des dynamischen Netzobjektes

    Die minimalkoernige Prozesse (4) entstehen aus der nach Linienverfahren approximierten partiellen Differentialgleichungen (3), die den Luftstrom Qj und Druck Pj im j-Graphenkante beschreiben:

generiert. Hier sind PU = (PU1,PU2,…,PUn-1)T – Druckvektor der Knoten, G – diagonale Matrix der Parametern g der den Knoten inzidenten Kanten.

    Die Parallelisierungsansaetze geben vier moeglichen Parallelitaetsebenen des virtuellen parallelen Simulationsmodells (Abb.11).

    Es wurde paralleler DNOVP-Simulator (Abb.12) [10, 11, 13]entwickelt, implementiert und im Simulations- und Servicezentrum fuer die Kohleindustrie [12] experimentell untersucht.

7.2 Verfahrenstechnisch orintierte parallele Simulationsumgebung

    Basierend auf der Entwicklungserfahrung von universellen und problemorientierten parallelen Simulationsumgebungen fuer dynamische Systeme mit konzentrierten und verteilten Parametern [1, 2, 4, 6, 11, 14], der Entwicklung und Realisierung der Modellierungs-systematik von verfahrenstechnischen Prozesse und Anlagen (VTPA) in dem Simulationssystem DIVA und im Werkzeug PROMOT [1, 5], einer Analyse der Simulationsstrategien und modularen Simulationsansaetze in der Verfahrenstechnik [1, 5] wird eine verteilte verfahrenstechnisch orientierte parallele Simulationsumgebung (VTOPSU) vorgeschlagen.

    VTOPSU entspricht der Definition 13 und wichtige Eigenschaften der Verfahrenstechnik als des Gegenstandsgebietes beruecksichtigt. Abb. 13 zeigt die Strukturdarstellung der VTOPSU. Zur Zeit ist eine Versuchsversion der Umgebung realisiert und am Beispiel der Modellierung und Simulation der Essigsaeureproduktion erprobt [16].

Die virtuellen Parallelitaetsebenen des parallelen DNOVP-Simulationsmodells

Abb.11. Die virtuellen Parallelitaetsebenen des parallelen DNOVP-Simulationsmodells

Struktur des DNO-Simulators

Abb.12. Struktur des DNO-Simulators

Strukturdarstellung der VTOPSU

Abb.13. Strukturdarstellung der VTOPSU

    Die vorgesehene VTOPSU-Funktionalitaet umfasst die rechnergestuetzte dialogbasierte Loesung folgenden Aufgabenbloecke bei der parallelen Modellierung und Simulation von verfahrenstechnischen Prozessen und Anlagen:

8. Problem der Entwicklung von parallelen Simulationssprachen

    Die Benutzerfreundlichkeit der parallelen Rechnersysteme ist in ersten Reihe mit den vorhandenen Programmiermodelle und Mitteln fuer Realisierung der parallelen Loesungsalgorithmen verbunden. Die Systeme der 90-zigen Jahren verfuegten ueber parallele SIMD- und MIMD-Programmiersprachen, die aufgrund von Fortran, C, C++, Modula-2 u. a. Sprachen gebaut wurden [2]. Intensive Entwicklung der MIMD-Systeme und objektorientierten Ansaetze hat die Standartisierung der Technologien der parallelen und verteilten Programmierung stimuliert. So haben die ANSI, ISO C++-Standard mit den MPI-, PVM- und Pthreads-Bibliotheken eingefuehrt. Trotz gewisse Fortschritt soll Gegenstandsexperte (Modellentwickler) heute wie frueher mit der Programmiersprache die parallele Modelle realisieren und damit auf dem Niveau der ehemaligen konventionellen Simulationssysteme der zweiten und dritten Generation [3] bleiben. Diese Tatsache beschraenkt wesentlich eine Nutzung der parallelen Ressourcen von Fachleute, die mit den block- (BO), gleichungs- (GO) und objektorientierten (OO) Simulationssprachen [3, 10] dynamische Systeme modellieren und simulieren. Um VPSU zu den Simulationsmitteln etwa der fuenften Generation [3] einzunaeheren, sollen wir die parallele Simulationssoftware in Richtung parallelen Simulationssprachen weiter zu entwickeln. Diese Sprachen sollen eindeutige Verbindung zwischen den Gegenstandsgebiete der verfahrenstechnischen Ebene und den formalen Beschreibung von dynamischen Systemen (Abb.1) mit Hilfe der Modellspezifikation benutzerfreundlich widerspiegeln und in den lauffaehigen parallelen Simulatoren umwandeln (Abb.2 ,3). Analyse zeigt, dass die VTF-, SAS- und DNO-Topologien allgemein in Graphendarstellung umgewandelt werden koennen. Die entwickelten und experimentell untersuchten Paare „Topologieanalysatoren  — Gleichungsgeneratoren“ geben die Simulationsmodelle, die direkte Anwendung der BO- und GO-Prinzipien der Gleichungsloesung erlauben, ohne die diskrete Simulationsmodelle zu generieren. Dabei sind die folgenden Ideen der BO- und GO-Ansaetze zu beachten.

    BO-Loesungsprinzip entspricht der MIMD-Parallelitaet und kann als eine virtuelle Zuordnung „Funktionsblock – Prozess“ betrachtet werden. Dem minimalkoernigen Prozess soll eine Funktionsblockkette zugeordnet werden, die eine Differentialgleichung der ersten Ordnung loest. Diesen Ketten werden vom Generator des BO-Loesers nach entwickelten Algorithmen erstellt. So entsteht die von dem BO-Loesungsprinzip bedingte virtuelle Blockschaltung, die das virtuelle parallele Simulationsmodell der ersten Parallelitaetsebene (PE-1) mit minimal koernigen Prozessen (MKP) „realisiert“. Das virtuelle Verbindungsnetzwerk (VNW) hat zwei Ebene: innere MKP-Verbindungen sowie aeussere, die alle MKP entsprechend der Approximationschema verbinden. Der Devirtualisierungsvorgang wird vom vorgeschlagenen in der VPSU-Simulationssoftware (Abb.3) eingebauten BO-Devirtualisator durchgefuehrt. Als Randbedingungen hat er PE-1 und ZRS. Die optimale Zuordnung dem ZRS wird mit der Beruecksichtigung der hoeheren Parallelitaetsebenen etwa PE-2 – PE-4 und der Abbildung ihren virtuellen VNW-2 – VNW-4 in dem ZRS-Verbindungsnetwerk realisiert. Diese Zuordnung benutzt Code-Generator, der ein lauffaehiges MPI-Programm produziert.

    GO-Loesungsprinzip basiert sich auf der Darstellung der Simulationsmodelle in Form von Funktionsoperatoren, die als feinkoernige Prozesse betrachtet werden koennen. Es gibt auch die komplexen Operatoren, die fuer die Loesung der Differentialgleichungen der 1.Ordnung zustaendig sind und dem oben eingefuehrten minimalkoernigen MIMD-Prozess entsprechen. GO-Ansatz braucht deshalb eine zusaetzliche Funktion in den obigen Gleichungsgeneratoren (Abb.3): „Umwandlung des Simulationsmodells in GO-Form“. Als Ergebnis wird virtuelles paralleles GO-Simulationsmodell PE-1 sein. Virtuelles Verbindungsnetzwerk ist mit obigen aeusseren BO-Variant aehnlich und realisiert die Verbindungen zwischen den GO-Operatoren-MPK entsprechend der DSVP-Approximation. Wie im BO-Ansatz sollen hier der GO-Devirtualisator und der Code-Generator entwickelt und eingebaut werden.

    Objektorientierter Ansatz ist aufgrund der vorhandenen OO-Simulationssprachen [10] mit der Beruecksichtigung von obigen beiden Ansaetzen realisierbar.

9. Zusammenfassung und Ausblick

    Die vorgestellten Ergebnisse liefern einen Beitrag zum aktuellen Forschungsthema der parallelen Simulationstechnik fuer die Untersuchung komplexer Modelle von oertlich konzentrierten und verteilten Systemen (DSKP und DSVP). Dabei wurden die folgenden Probleme schwerpunktmaessig untersucht:

    Die weiteren Forschungsarbeiten zur parallelen Simulationstechnik konzentrieren sich auf parallele Simulationsalgorithmen, objektorientierte Ansaetze, problemorientierte Umgebungen sowie auf industrielle und universitaere Anwendungen.

Literatur

  1. Zeitz, M.: Simulationstechnik.Chemie-Ingenieur-Technik 59 (1987), 464-469
  2. Anoprienko A.J., Svjatnyj V.A., Braeunl T., Reuter A., Zeitz M.: Massiv parallele Simulationsumgebung fuer dynamische Systeme mit konzentrierten und verteilten Parametern. Tagungsband 9. Symposium ASIM’94, Vieweg, 1994, 183-188.
  3. Schmidt B.: Simulationssysteme der 5. Generation. SiP, Heft 1, 1994, 5-6.
  4. Feldmann L.P., Lapko V.V., Svjatnyj V.A., Trub I. I., Braeunl T., Reuter A., Zeitz M.: Algorithmen einer massiv parallelen Simulationsumgebung fuer dynamische Systeme mit verteilten Parametern. Tagungsband 10. Symposium ASIM’96, Vieweg, 1996, 519-524.
  5. Gilles, E.-D.: Modellierungssystematik fuer verfahrenstechnische Prozesse. In: Abschlussbericht "Methoden zur Modellierung und Berechnung der Dynamik verfahrenstechnischer Prozesse" der DFG-Forschergruppe Universitaet Stuttgart, 1996, 7-22.
  6. Feldmann L.P. Svjatnyj V.A., Braeunl T., Reuter A., Zeitz M.: Implementierung und Effizienzanalyse der parallelen Simulationsalgorithmen fuer dynamische Systeme mit verteilten Parametern (Plenarvortrag). Tagungsband 11. Symposium ASIM’97, Vieweg, 1997, 38-47.
  7. Feldmann L.P. Implementierung und Effizienzanalyse von parallelen blockartigen Simulationsalgorithmen fuer dynamische Systeme mit konzentrierten Parametern. Tagungsband 14. ASIM-Symposium Simulationstechnik, Hamburg 2000, SCS-Europe BVBA, Ghent/Belgium 2000, 241-246
  8. Borchard J.: Newton-type decomposition methods in large-scale dynamic process simulation. In: Computers and Chemical Engineering, 25 (2001), 951-961.
  9. Feldmann L.P., Dmitrieva O.A., Gerber S.. Abbildung der blockartigen Algorithmen auf Parallelrechnerarchitekture. Tagungsband 15. ASIM-Symposium Simulationstechnik, Rostock 2002, SCS-Europe BVBA, Ghent/Belgium 2002, 359-364.
  10. Modelica – A Unified Object-Oriented Language for Physical Systems Modeling. Language Specification. Version 2.0, 2002.
  11. Svjatnyj V.A., Moldovanova O.V., Cheptsov O.O., Rothermel K., Zeitz M. Generierung und parallele Loesung von Simulationsmodellen fuer Netzobjekte mit verteilten Parametern. Tagungsband 17. ASIM-Symposium Simulationstechnik, Magdeburg 2003, SCS 2003, 193-198.
  12. Svjatnyj V.A., Moldovanova O.V., Feldmann L.P.: Parallele Simulationsumgebung fuer dynamische Netzobjekte mit verteilten Parametern. Tagungsband 18. ASIM-Symposium Simulationstechnik, Erlangen 2005, SCS 2005, 416-421.
  13. Svjatnyj V., Beljaev O., Lapko V., Tschepzov O., Hohmann R.: Zur Entwicklungsorganisation des Simulations- und Servicezentrums fuer die Kohleindustrie. Tagungsband 18. ASIM-Symposium Simulationstechnik, Erlangen 2005, SCS 2005, 554-559.
  14. Moldovanova O.V., Svjatnyj V.A., Feldmann L., Resch M., Kuester U.: Problemorientierte parallele Simulationsumgebung. In: DonNTU, FRTI-Werke, Reihe “Informatik, Kybernetik und Rechentechnik”, Band 93. – Donezk 2005, 145–150.
  15. Svjatnyj V., Moldovanova O., Smagin A., Resch M., Keller R., Rabenseifner R.: Virtuelle Simulationsmodelle und ein Devirtualisierungsvorgang fuer die Entwicklung der parallelen Simulatoren von komplexen dynamischen Systemen. In: DonNTU, FRTI-Werke, Reihe “Probleme der Modellierung und rechnergestuetzten Projektierung von dynamischen Systemen”, Band 5(116). – Donezk 2006, 36–43.
  16. Bondareva, K., Svjatnyj, V.: Verfahrenstechnisch orientierte parallele Simulationsumgebung. In: DonNTU, FRTI-Werke, Reihe “Probleme der Modellierung und rechnergestuetzten Projektierung von dynamischen Systemen”, Band 5(116). – Donezk 2006, 28–35.
  17. Feldmann, L.P., Nasarova, I.A.: Parallele Algorithmen der numerischen Loesung von Caushy-Aufgabe fuer gewoehnlichen Differentialgleichungssysteme. In: Mathematische Modellierung, Band 18, N6, 2006, S. 17-31. (Russisch)
  18. Michael M. Resch and Uwe Kuester: Future Challenges in Supercomputing. In: PIK Praxis der Informationsverarbeitung und Kommunikation, PIK 29 (2006), 214 – 220.
  19. Edgar Gabriel, Feng Sheng, Rainer Keller, and Michael Resch: A Framework for Comparative Performance Analysis of MPI Applications. In: The 2006 International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA’06), Las Vegas/USA, 2006.
  20. Boenisch Th., Alessandrini V.: DEISA overview: projekt status, strategies and perspectives. In: Sixth DEISA Training Session, HLRS, Stuttgart, 2008, 1-49.
  21. Nickols, J., Buck, I., Gerland, M. Scalable Parallel Programming with CUDA. ACM Queue,6, 2, 2008, 40-53
  22. W. E. Nagel, D. B. Kroener, M. Resch (Eds.), High Performance Computing in Science and Engineering 08, Transactions of the High Performance Computing Center Stuttgart, Springer, Berlin – Heidelberg - New York, 2008.
  23. S.R. Tiyyagura, P. Adamidis, R. Rabenseifner, P. Lammers, S. Borowski, F. Lippold, F. Svensson, O. Marxen, S. Haberhauer, A.P. Seitsonen, J. Furthmueller, K. Benkert, M. Galle, T. Boenisch, U. Kuester, M.M. Resch: Teraflops - Sustained Performance with Real World Applications. In: International Journal of High Performance Computing Applications, Volume 22 (2), 131 – 148, 2008.
  24. Edgar Gabriel, Katharina Benkert, Michael M. Resch: Towards Performance and portability through Runtime Adaption for High Performance Computing Applications. In: ISC‘2008, Dresden/Germany, 2008.