IT-организация работы подсистем распределенной параллельной моделирующей среды

Введение

Модельная поддержка разработки сложных динамических систем различных предметных областей требует создания новых средств моделирования. Актуальным направлением современных технологий моделирования является построение и системная организация распределённых параллельных моделирующих сред (РПМС)[1].

Создание такого сложного программно-аппаратного продукта как распределенная параллельная моделирующая среда, требует совместной работы коллектива разработчиков. Для систематизации работ над этим проектом, имеет смысл применять компонентно-ориентированный подход к разработке. В [1] предложено разделение распределенной параллельной моделирующей среды на следующие подсистемы (компоненты): 1) подсистема диалога; 2) подсистема топологического анализа; 3) подсистема генерации уравнений; 4) подсистема виртуальных параллельных моделей симуляции; 5) подсистема параллельных решателей уравнений; 6) подсистема обмена данными; 7) подсистема балансирования загрузки; 8) подсистема визуализации; 9) подсистема баз данных; 10) подсистема IT-поддержки.

Цели и задачи работы

Целью данной магистерской работы является поиск оптимальной декомпозиции на подсистемы и разработка подсистемы IT-поддержки распределенной параллельной моделирующей среды, ориентированной на представление в web-пространстве.

IT-организация работы подсистем распределенной параллельной моделирующей среды подразумевает разработку такой программно-аппаратной структуры РПМС, в которой была бы реализована декомпозиция всей РПМС на подсистемы с учетом работы в web-пространстве.

Реализация проекта подразумевает решение следующих задач:

• анализ работ в области параллельного моделирования распределенных задач
• изучение модульного подхода к программированию
• анализ архитектуры классической распределенной параллельной моделирующей среды
• разработка прототипа среды
• декомпозиция распределенной параллельной моделирующей среды на модули – подсистемы, с учетом web-представления
• реализация подсистемы IT-поддержки

Актуальность работы. Обзор исследований и разработок по теме

При системной организации взаимодействия подсистем и предоставления ресурсов РПМС экспертам предметных областей (разработчикам параллельных моделей и симуляторов) представляется необходимым использовать новый подход к организации вычислительных сервисов – облачные вычисления (англ. cloud computing) [2]. Его неоспоримыми преимуществами являются возможность быстрого внедрения в практику моделирования и отсутствие необходимости в разработке и поддержке сложного проблемно-ориентированного программного обеспечения. В то же время имеется задача разработки такого облачного сервиса – распределённой моделирующей среды, – который бы удовлетворил потребности предметных областей. Проблема разработки РПМС, в том числе как облачного сервиса, мало изучена.

Изучением подходов к разработке, разработкой и исследованием распределенной параллельной моделирующей среды на мировом уровне занимаются профессора В.А. Святный (ДонНТУ), Л.П. Фельдман (ДонНТУ), M. Resch (Uni-Stuttgart), M. Zeitz (Uni-Stuttgart). Среди работ выпускников и магистров ДонНТУ можно привести работы Стародубцева Д.Н., Меренокова А.В.. Больше ссылок, включая ссылки на страницы магистров, которые занимаются работой в этом направлении, приведено в разделе «Ссылки».

Декомпозиция на подсистемы удовлетворяет как обособленной РПМС, так и её облачной реализации. При этом следует внести уточнения в описание взаимодействия подсистем и их функциональное назначение.

Предполагаемая научная новизна

Новизной работы является реализация web-ориентированной распределенной параллельной моделирующей среды с возможностями, как удаленного доступа, так и взаимодействия с различными высокопроизводительными вычислительными ресурсами (HPC-ресурсами), что позволит удобно для конечного пользователя использовать параллельные вычисления.

Собственные результаты

На рис. 1 приведена схема взаимодействия подсистем при решении задачи – от момента подключения пользователя до получения им готового решения. На рисунке: внизу – распределенная моделирующая среда, сама система как декомпозиция и кластер, вверху – машина пользователя и удалённый кластер, который используется в случае, если ресурсов собственного кластера недостаточно.

В случае «облачной» реализации пользователь имеет возможность получить доступ к распределенной моделирующей среде без использования специальных программных продуктов – через браузер. Кроме удобства для пользователя также решается проблема разработчиков – обновление программного обеспечения, его модернизация и исправление возможных ошибок не потребует рассылки обновлений всем пользователям – нужно лишь обновить программное обеспечение на сервере; также упрощается механизм контроля доступа.

Для облачно-ориентированной распределенной параллельной моделирующей среды имеет смысл перераспределение функций подсистем, предложенных в [1], с учетом Интернет-ориентации разрабатываемой системы. Все функции коммуникации с внешним миром будут осуществляться через глобальную сеть, поэтому их выполняет подсистема IT-поддержки; сюда входят все взаимодействия с пользователями и удалёнными параллельными кластерами. На подсистему диалога возлагаются функции контроля работы других подсистем, включая обеспечение взаимодействия между подсистемами, планирование вычислительных задач, управление задачами. Все взаимодействия подсистем реализуются через подсистему диалога, исключениями могут быть лишь связи, обеспечивающие ускорение работы системы, при этом следует учитывать принципы сохранения целостности данных. Так, все подсистемы получают или принимают данные от подсистемы баз данных только через подсистему диалога, прямое обращение к базе данных допустимо для авторизации пользователя и представления информации о состоянии задач пользователя, для записи информации о текущем состоянии кластера. Для некоторых подсистем может понадобиться запуск их программных модулей непосредственно на кластере.

Рисунок 1. Схема взаимодействия подсистем как компонентов «облачной» РПМС (JS-анимация)

Взаимодействие подсистем проиллюстрировано анимацией (рис. 1) на примере обработке запроса пользователя:
(смена слайдов выполняется щелчком по ссылкам ниже)

0. начало;
1. пользователь (клиентское ПО) осуществляет запрос к РПМС;
2. выполняется авторизация для текущего запроса на основе информации из БД;
3. в случае успеха запрос передается на обработку в подсистему диалога
4. подсистема диалога регистрирует заявку в БД;
5. подсистема диалога вызывает подсистему топологического анализа;
6. подсистема диалога вызывает подсистему генерации уравнений;
7. подсистема диалога вызывает подсистему виртуальных параллельных simulation моделей
8. подсистема диалога вызывает подсистему параллельных решателей уравнений;
9. подсистема диалога передаёт задачу для параллельной симуляции подсистеме балансирования загрузки;
10. подсистема балансирования загрузки через подсистему обмена данными ставит задачу на исполнение на локальном кластере;
11. возможна постановка задачи на удаленный (облачный) кластер через подсистему IT-поддержки;
12. по завершении симуляции задачи подсистема обмена данными передаёт результат подсистеме диалога;
13. подсистема диалога вызывает подсистему визуализации, передавая ей результаты симуляции;
14. подсистема визуализации сохраняет визуализированные результаты в БД;
15. по инициативе пользователя или РПМС результат из подсистемы визуализации передается клиентскому ПО;
16. подсистемы балансирования загрузки и обмена данными в процессе работы сохраняют информацию о текущем состоянии кластера в БД.

Современные тенденции реализации веб-приложений предполагают отсутствие необходимости для пользователя устанавливать какие-либо дополнительные приложения, доступ ко всем сервисам осуществляется через браузер[2]. Вопреки сложившимся мнениям о сложности или невозможности реализации качественного интерфейса пользователя в браузере, новый стандарт HTML5 позволяет выполнить качественную визуализацию, а средства скриптовых языков, включая технологию AJAX, позволяют реализовать дружественный к пользователю интерфейс.

Следует рассмотреть и интеграцию авторизации пользователей в РПМС со Студенческим порталом факультета КНТ. Это позволит обеспечить простой доступ студентов и преподавателей к РПМС с использованием единой учетной записи, единого логина и пароля.

Для демонстрации возможностей разрабатываемой системы, набора функции и возможного внешнего вида выполнен прототип распределенной параллельной моделирующей среды.

Прототип представляет собой web-приложение, которое имеет следующие функции:

• авторизация пользователя
• получение состояния высокопроизводительного вычислительного ресурса
• отображение состояния высокопроизводительного вычислительного ресурса
• выбор пользователем одной из доступных задач для симуляции
• указание пользователем параметров выбранной задачи
• подготовка задачи к запуску на высокопроизводительном вычислительном ресурсе
• запуск задачи симуляции на высокопроизводительном вычислительном ресурсе
• мониторинг статуса запущенной задачи симуляции
• получение результатов симуляции с высокопроизводительного вычислительного ресурса
• визуализация результатов
• хранение результатов всех запусков задачи
• отображение результатов любого запуска пользователю
• разделение доступа пользователей к результатам симуляции
• возможность добавления новых задач симуляции различных типов

Особенностью разработанного прототипа является отсутствие модульности, при его разработке была поставлена цель только внешнего соответствия проектируемой распределенной параллельно модулирующей среде.

Прототипная распределенная моделирующая среда выполняет подключение к высокопроизводительному вычислительному ресурсу по протоколу SSH (Secure SHell), в качестве высокопроизводительного вычислительного ресурса используется кластер NeClus (http://neclus.donntu.ru). В зависимости от выбора пользователя реализовывается соответствующий алгоритм. Исходные коды задач симуляции хранятся на сервере, обслуживающем прототипную среду, перед запуском задачи на высокопроизводительном вычислительном ресурсе выполняется их загрузка на ресурс и компиляция. Для каждой задачи заданы: исходный код, параметры компиляции, список входных параметров, пример входных параметров, требования к ресурсам (диапазон значений требуемого числа узлов), действия после симуляции, перечень файлов с результатами, модуль визуализации.

Планируемые практические результаты

Предполагается реализация web-ориентированной распределенной параллельной моделирующей среды. Реализованный прототип следует использовать для оценки удобства внешнего представления системы для конечного пользователя, для выявления необходимого пользователю набора функций.

Реализовываемая распределенная параллельная моделирующая среда в качестве высокопроизводительного вычислительного ресурса должна использовать как кластер NeClus, так и иметь возможность взаимодействия с другими высокопроизводительными вычислительными ресурсами.

Заключение

Декомпозиция распределенной параллельной моделирующей среды на подсистемы позволяет организовать параллельную разработку Simulations Software при условии четкой координации взаимодействия подсистем. Предложенный подход к реализации подсистем соответствует современным тенденциям в параллельных технологиях моделирования и распределённых вычислений.

Уже реализованный прототип системы позволяет оценить возможности и удобство для конечного пользователя разрабатываемой системы.

Список использованной литературы

1. Feldmann L. P., Svjatnyj V. A., Resch M., Zeitz M. FORSCHUNGSGEBIET: PARALLELE SIMULATIONSTECHNIK. / Сайт национальной библиотеки им. В.И. Вернадского / Интернет ресурс. — Режим доступа: http://www.nbuv.gov.ua/portal/natural/Npdntu/Pm/2008/08flpfps.pdf, см. также «Проблеми моделювання та автоматизації проектування», наукові праці ДонНТУ, вип. 7(150), 2008, с. 9-39.
2. Облачные вычисления / Википедия / Интернет ресурс. — Режим доступа: http://ru.wikipedia.org/wiki/Облачные_вычисления
3. Святний В.А. Проблемы паралельного моделювання складних динамiчних систем.- Науковi працi ДонДТУ, серiя IКОТ, вип. 6, Донецьк, 1999, С. 6-14.
4. Feldmann L.P., Svjatnyj V.A., Lapko V.V., Gilles E.-D., Zeitz M., Reuter A., Rothermel K.: Parallele Simulationstechnik. Problems of Simulation and Computer Aided Design of Dynamic Systems. Collected Volume of Scientific Papers. Donetsk State Technical University. Donetsk, 1999, p. 9-19.
5. Аноприенко А.Я., Святный В.А. Высокопроизводительные информационно-моделирующие среды для исследования, разработки и сопровождения сложных динамических систем.- Наукові праці ДонДТУ. Серія “Проблеми моделювання та автоматизації проектування динамічних систем”. Випуск 29:-Донецьк, ДонДТУ, 2001. – С.346 – 367.
6. Святний В.А., Солонін О.М., Надєєв Д.В., Степанов І., Ротермель К., Цайтц М. Розподілене паралельне моделююче середовище.- Наукові праці ДонДТУ. Серія “Проблеми моделювання та автоматизації проектування динамічних систем”. Випуск 29:-Донецьк, ДонДТУ, 2001. – С.229 – 234.
7. Anoprienko A.J., Svjatnyj V.A., Braunl T., Reuter A., Zeitz M.: Massiv parallele Simulationsumgebung fur dynamische Systeme mit konzentrierten und verteilten Parametern. 9. Simposium ASIM’94, Tagungsband, Vieweg, 1994, S. 183-188.
8. Чеботарев Н.Ю. К разработке подсистемы диалога MIMD – компоненты массивно параллельной моделирующей среды.- Наукові праці ДонДТУ. Серія “Інформатіка, кібернетика та обчислювальна техніка”. Випуск 6:-Донецьк, ДонДТУ, 1999. – С.62 – 66.
9. Корнеев В.В.Параллельные вычислительные системы.М.–Нолидж.1999 312 с.
10. Святный В.А., Баженов Л.А. Принципы построения подсистемы диалога массивно параллельной моделирующей среды, Сборник трудов факультета вычислительной техники -Донецьк, ДонДТУ, 1996. – С.24 – 31.