Магистр ДонНТУ Усачёв Алексей Александрович

Усачёв Алексей Александрович
Факультет вычислительной техники и информатики
Кафедра электронных вычислительных машин
Тема выпускной работы:

"Разработка и исследование программных средств для имитационного моделирования в GRID среде."


Научный руководитель: Вороной С.М.
ENG UKR ДонНТУ Портал магистров 
  О себе
  Библиотека
  Ссылки
  Отчёт о поиске
  Инд. раздел

Реферат по теме выпускной работы

Актуальность работы

Несмотря на уже существующие средства создания Грид инфраструктур, существует ряд важных научных задач, без решения которых невозможно полномасштабное использование Грид технологий в науке. Одной из таких является эффективное управление ресурсами в распределённой среде. Отсутствие минимальных по затратам алгоритмов моделирования во времени при имитации модели значительно снижает эффективность использования Грид инфраструктуры. И поэтому, сегодня актуальной задачей является исследование алгоритмов в этой области.

Цель работы

Целью работы является создание программных средств системы распределенного имитационного моделирования в грид сети, реализующих распределение заданий между клиентами системы моделирования, управление моделированием на основе обработки событий, исследование и анализ эффективности работы системы. Разработка системы распределенного имитационного моделирования, с помощью которой клиенты могут применять многовариантное моделирование, где одна и та же модель использует разные входные данные.

Научная новизна

Предложены новые алгоритмы распределенного управления процессом моделирования в Грид среде, которые сокращают общее время имитационного моделирования сложных систем.


Вычислительный Грид

Грид представляет собой инфраструктуру, построенную на основе Интернет, которая обеспечивает масштабируемые, безопасные, быстродействующие механизмы для обнаружения и доступа к удаленным вычислительным и информационным ресурсам (возможно различной архитектуры). Появлению Грид технологий предшествовало, с одной стороны, создание сверхскоростных компьютерных сетей, которые используют открытые универсальные интерфейсы и протоколы, а с другой стороны, решение задач компьютерной безопасности, таких как аутентификация, авторизация ресурсов и контроль доступа к ресурсам

В данный момент активно развивается двухуровневая организация ресурсов Грид, т.е. Грид построенный из находящихся в различных точках сети кластерных узлов, в которые объединены большое количество вычислительных ресурсов. При этом вычислительные ресурсы полностью выделяются в Грид и не могут использоваться владельцами (отчуждаемые ресурсы). При такой организации вычислительные ресурсы объединяются в кластеры и находятся под управлением локального менеджера.

Основное задание Грид вне зависимости от реализации – координирование коллекций ресурсов. Использование агентных систем для планирования задач в Грид даст возможность развязать две основные проблемы – масштабируемости и адаптивности. Агенты предоставляют ресурсы и совершают поиск определенного ресурса. Агент устанавливается на исполнительных компьютерах, владельцы которых хотят предоставить свои ресурсы в Грид [1].

Выполнение заданий в системе Грид

Получил общее признание способ организации программного обеспечения грид основанный на открытой архитектуре служб OGSA, в соответствие с какой грид квалифицируется как программная система, которая состоит из распределенных компонентов – служб, которые взаимодействуют между собой с помощью стандартных, открытых и универсальных протоколов и интерфейсов. Имея в виду главным образом грид вычислительного типа, можно рассматривать его функционирование как процесс обслуживания стандартизированных запросов на выполнение вычислений, оформленных в виде заданий для общераспространенных операционных систем, причем выполнение этих заданий производится на ресурсах, которые выбираются из общего пула. Перечислим основные этапы обработки задания (рисунок 1):

  • Планирование ресурсов. Специальная компонента программного обеспечения – планировщик выделяет из общего пула исполнительные ресурсы - те, на которых задание будет выполняться.
  • Доставка выполняемых файлов и входных файлов на исполнительные ресурсы.
  • Выполнение задания.
  • По окончании задания доставка результирующих файлов на серверы хранения (в частности, на рабочее место пользователя).

Рис. 1 Схема обработки запросов и виртуализации ресурсов

Представление времени при имитационном моделировании.

Основной задачей имитационного моделирования является правильное отображение порядка и временных отношений между процессами в моделируемой системе в порядок выполнения событий при моделировании.

В имитационном моделировании имеются три понятия времени: физическое, модельное и процессорное.[4] Физическое время относится к моделируемой системе. Модельное время - воспроизведение физического времени в модели. Под процессорным временем подразумевают время выполнения имитационной модели на компьютере.

При моделировании любой системы мы опираемся на события, которые происходят в данной системе. Если не рассматривать "одновременные" события, т.е. выполняющиеся в один и тот же момент модельного времени, то это требование правильного отображения порядка изменений в моделируемой системе означает, что события в модели должны выполняться в хронологическом порядке в модельном времени.

Моделирование сложных систем может потребовать значительных затрат процессорного времени. Поэтому другой задачей имитационного моделирования является уменьшение процессорного времени. Это может быть достигнуто путём использования многопроцессорных или распределенных систем.[8] Имитационное моделирование может выполняться путем последовательной и параллельной обработки событий.

Управление временем при распределённом имитационном моделировании.

Распределённое имитационное моделирование имеет три источника своего развития: моделирование, требующее большого количества вычислительных ресурсов, военные приложения и компьютерные игры с использованием Интернет. Под распределённым имитационном моделированием понимается распределённое выполнение единой программы имитационной модели на мультипроцессорной или мультикомпьютерной системе.

При распределённом моделировании в отличие от последовательного моделирования первичной единицей является не объект, а так называемый логический процесс. Логический процесс - это последовательная подмодель.[6] Каждый логический процесс имеет собственный набор объектов и собственную управляющую программу. Логический процесс имеет собственный локальный список событий и собственные часы локального модельного времени. Логические процессы взаимодействуют исключительно с помощью передачи сообщений.

Передача сообщений может осуществляться логическими процессами непосредственно с помощью средств операционной системы. Но более перспективна схема, приведенная на рисунке 2.


Рис. 2 Схема выполнения распределённой модели

Описание алгоритмов управления временем.

Целью механизма синхронизации модельного времени является выполнение каждым логическим процессом событий в порядке неубывания их временных меток. Это требование известно как локальное ограничение причинной связи, т.к. оно обеспечивает имитацию естественного порядка. Алгоритмы синхронизации модельного времени делятся на два основных класса: консервативные и оптимистические. Задачей консервативных алгоритмов является предотвращение парадоксов времени[11]. Распределённое моделирование не накладывает никаких требований на систему передачи сообщений. Предполагается лишь, что получатель должен получать сообщения в том же порядке, в котором их посылает отправитель, и что отправитель выполняет свой поиск событий в порядке неубывания их временных меток.

К настоящему времени известно большое количество консервативных алгоритмов и их модификаций, используемых при моделировании определённых классов реальных систем. Критерием использования того или иного консервативного алгоритма для моделирования конкретных систем является отношение накладных расходов этого алгоритма к выигрышу, получаемому при параллельном исполнении[12].

Если консервативные алгоритмы исключают даже потенциальную возможность возникновения парадокса времени, то оптимистические алгоритмы "надеются", что при параллельном исполнении логических процессов потенциальная возможность возникновения парадокса времени не станет реальностью. В случае возникновения парадокса времени оптимистические алгоритмы реализуют "откат" логического процесса до значения модельного времени, в который ему было послано сообщение, вызвавшее парадокс времени[12]. Откат включает в себя ликвидацию последствий некорректного исполнения логического процесса с учётом сообщения, вызвавшего парадокс времени. Этот механизм получил название "деформации времени".

Для оценки эффективности применения различных подходов к управлению временем разработана модель системы распределённого моделирования с библиотекой реализующей консервативные и оптимистические алгоритмы. На основе экспериментальных оценок с помощью этой модели будут выбраны алгоритмы подлежащие реализации в системе ГРИД моделирования.

Механизм работы предлагаемой системы моделировани

Разрабатываемая система моделирования состоит из двух клиентов и сервера, который управляет процессом имитации. На рис. 3 представлена общая схема системы. Системой управляет сервер, все операции системы контролируются сервером. Имеется два клиентских интерфейса – www-оболочку и оболочку windows, разработанную на Visual C++ MFC: для связи с сервером системы моделирования и управления процессом моделирования на стороне клиента.


Рисунок 3. Общая схема работы Грид сети (7 кадров, 5 повторений, 30кб)


Применение Грид систем позволяет значительно повысить скорость и качество вычислений, особенно в случае использования слабосвязанных гетерогенных вычислительных комплексов. В данной работе описана система работы Грид сети. Приведены предварительные сведения об алгоритмах управления временем при имитационном моделировании.


При написании данного автореферата магистерская работа еще не завершена. Окончательное завершение: декабрь 2009 г. Полный текст работы и материалы могут быть получены у автора или его руководителя после указанной даты.


Ссылки на Интернет-ресурсы, связанные с Грид технологиями, поддержанные Европейской комиссией.

ASP-BP Разработка единой концепции решения для 6 проектов, использующих ASP технологии.
AVO Виртуальная астрофизическая лаборатория.
BioGRID Интеграция различных программных пакетов по квантовой химии и молекулярной динамике в Грид среду. Разработка интерфейсов к биомолекулярным приложениям и базам данных, использующих инфраструктуру UNICORE. Создание программных средств и пользовательских интерфейсов для симуляции и визуализации биомолекул.
COG Демонстрация применимости Грид технологий в промышленности.
CROSSGRID Европейский исследовательский проект, который охватывает весь спектр традиционных для Грид задач - организация объемных вычислений для конкретных научных областей, создание новый инструментов и сервисов и т.д.
DAMIEN Адаптация и расширение возможности использования некоторых коммерческих программных пакетов, используемых в промышленности, для Грид.
DATAGRID Проект, продолжением которого стал проект EGEE и целью которого было построение тестовой инфраструктуры вычислений и обмена данными для европейского научного сообщества. Одним из достижений EDG стало создание комплекса программного обеспечения грид (платформа EU DataGrid), которое способно управлять огромными объемами распределенных данных и вычислительных ресурсов, обслуживая тысячи одновременно работающих пользователей из многих исследовательских институтов.
DATATAG Создание крупномасштабной межконтинентальной испытательной сети, в которой можно было бы отслеживать различные сетевые проблемы, решать вопросы совместимости межконтинентальных сетевых доменов, расширять их возможности и, таким образом, способствовать реализации всемирной программы развития Грид технологий.
EGSO Европейский проект, работающий в сотрудничестве с NASA, своей целью ставит создание виртуальной солнечной обсерватории, данные в которой будут собираться из наземных и космический наблюдательных пунктов. Собранные данные будут каталогизироваться и визуализироваться для удобного просмотра.
EUROGRID Европейская исследовательская сеть по тестированию использования Грид в различных областях. Отрабатывались технологии организации распределенных вычислений, решались задачи молекулярного моделирования, прогнозирования погоды, аэродинамики.
FLOWGRID Flow Simulations On-demand Using Grid Computing. Симуляция и визуализация «по-запросу» задач численного моделирования газодинамики и гидродинамики с использованием Грид компьютинга.
GRACE Разработка распределённой системы поиска и каталогизации ресурсов, используемая для гибкого и оперативного выделения вычислительных ресурсов и ресурсов памяти в Грид среде.
GRIA Разработка промежуточного программного обеспечения Грид для коммерческого использования. Особое внимание уделяется простоте установки, снижению затрат на поддержку и удобству для конечных пользователей.
GRIDLAB Цель проекта - разработка ряда ориентированных на приложения сервисов Грид, а также инструментальных средств, которые будут использоваться для динамического посредничества при разработке ресурсов, мониторинге, управлении данными, обеспечении безопасности, предоставлении адаптивных услуг и т.д. Услугами можно будет воспользоваться с помощью комплекта инструментальных средств для разработки приложений (GAT- Grid Application Toolkit).
GRIDSTART Цель проекта - консолидация усилий ряда Европейских Грид проектов, содействие взаимодействию между аналогичными проектами в Европе и во всём мире, стимулирование внедрения и распространения Грид приложений в различных областях промышленности и научных исследований. Основная его задача - убедить компании в необходимости и взаимной выгоде обмена программным обеспечением и базами данных и создать общеевропейскую систему распространения технологий.
GRIP GRID Interoperability Project. Реализация взаимодействия между Globus и UNICORE - двумя лидирующими программными пакетами GRID middleware.
ASG Вычислительные сети с адаптивными сервисами. Разработка открытой платформы для обнаружения, создания, составления и проигрывания (enactment) адаптивных служб.
eLeGI European Learning Grid Infrastructure. Разработка программного обеспечения и построение инфраструктуры для применения Грид технологий в процессах обучения.
HPC4U Разработка универсального программного обеспечения для повышения отказоустойчивости Грид систем. Целью проекта HPC4U является расширение потенциала использования Грид систем для решения сложных задач путем разработки компонентов программного обеспечения, реализующих надежную и достоверную среду выполнения Грид приложений, и увязки этого с соглашениями сервисного уровня (Service Level Agreements - SLA) и с промышленными кластерами, обеспечивающими качество услуг (Quality of Service).
InteliGrid Построение архитектуры и программного обеспечения для онтологических Грид систем. Взаимодействие Виртуальных Организаций (ВО) внутри сложных семантических Грид систем.

Список литературы:

  1. Березовский П.С., Коваленко В.Н. Состав и функции системы диспетчеризации заданий в гриде с некластеризованными ресурсами, ИПМ им. М.В.Келдыша РАН, Москва, 2007.
    http://www.keldysh.ru/papers/2007/prep67/prep2007_67.html
  2. Шелестов Ю.А., Скакун С.В., Куссуль О.М. Агентный подход к реализации модели поведения пользователей GRID-систем, Институт космических исследований НАНУ-НКАУ, Москва, 2004.
    http://nbuv.gov.ua/portal/natural/Npdntu/2008/ikot/08saypgs.pdf
  3. Гороховський С.С., Римарчук В.К. Технологiя сiтки (GRID) i використання агентних платформ для задач планування // Наукові записки НаУКМА. Комп'ютерні науки.- 2005.
    http://www.library.ukma.kiev.ua/e-lib/NZ/NZV36_2005/04_gorokhovsky_ss.pdf
  4. Фостер Я., Кессельман К., Тьюке С. Анатомия Грид. Создание Масштабируемых Виртуальных Организаций, перевод с англ.: Карягин Д.А., ИПМ им. М.В.Келдыша РАН, Москва 2004.
    http://gridclub.ru/library/publication.2004-11-29.7104738919/publ_file/
  5. Коваленко В.Н., Корягин Д.А. Организация ресурсов грид, ИПМ им. М.В.Келдыша РАН, Москва 2004.
    http://www.keldysh.ru/papers/2004/prep63/prep2004_63.html
  6. Коваленко В.Н., Коваленко Е.И., Шорин О.Н. Разработка диспетчера заданий грид, основанного на опережающем планировании, ИПМ им. М.В.Келдыша РАН, Москва 2005.
    http://www.keldysh.ru/papers/2005/prep133/prep2005_133.html
  7. А.Е. Дорошенко, А.П. Розенблат, К.А. Рухлис, Ю.М. Тырчак МОДЕЛИ И СРЕДСТВА ПРОГРАММИРОВАНИЯ Грид-СИСТЕМ, Институт программных систем НАН Украины, Киев, 2005.
    http://usachov1987.narod.ru/Doroshenko_1.doc
  8. Аветисян А.И., Гайсарян С.С., Грушин Д.А., Кузюрин Н.Н., Шокуров А.В. Эвристики распределения задач для брокера ресурсов Grid, Институт системного программирования РАН, Москва, 2004.
    http://www.citforum.ru/nets/digest/grid/index.shtml
  9. Фостер Я. Разные оттенки ГРИД. Еженедельник "Computerworld", #13, 2005 год // Издательство "Открытые системы".
    http://www.osp.ru/cw/2005/13/038_1.htm
  10. David W. Emerging Distributed Computing Technologies, Department of Computer Science, Cardiff University, Cardiff, 2004.
    http://www.cs.cf.ac.uk/User/David.W.Walker/IGDS/GridCourse.doc
  11. Дал О.И. Нигард К. Симула - язык для программирования и описания систем с дискретными событиями // Алгоритмы и алгоритмические языки. Вып. 2. М.: ВЦ АН СССР, 1967
    www.gpss.ru/paper/okoln_2.pdf
  12. Шеннон Р. Имитационное моделирование систем - искусство и наука. М.: Мир 1978
    www.twirpx.com/file/21030/

Усачёв Алексей Александрович