Жевжик Сергей Евгеньевич

Введение

Современные высокопроизводительные вычислительные ресурсы позволяют проводить множество экспериментов по моделированию сложных технологических процессов и при этом этом показывать хорошие результаты [7]. На рисунке 1 показана процентная статистика использования вычислительного потенциала суперкомпьютеров в различных проектах и отраслях промышленности. Некоторые из современных исследований, которые проводятся с использованием высокопроизводительных ресурсов, будут играть важную роль в будущем всего человечества, например, анализ и моделирование процессов глобального потепления, изучение процессов, которые происходят во время землетрясений, изучение озоновых дыр и др. Также разрабатываются новые технологии для улучшения жизни человечества, например, разработка мощной антенны для мобильных телефонов, изучение электрических свойств наноматериалов. На сегодняшний день наиболее широко суперкомпьютеры используются в аэрокосмической отрасли (например, разработка нового поколения сверхзвуковых самолетов).

Рисунок 1  — Статистика использования суперкомпьютеров для различных отраслей [9].

Ученые и инженеры, которые используют вычислительные ресурсы для сложных расчетов, испытывают трудности в оформлении задач для выполнения в среде Grid. Это связано с серьезными различиями между современными высокопроизводительными платформами (например, в способах доступа и процедурах аутентификации, различия в серверной архитектуре) [6]. Для преодоления данного ограничения используются системы автоматизации моделирования в среде Grid. В будущем данные системы позволят повсеместно использовать распределённые высокопроизводительные вычислительные системы. Эффективность и корректность выполнения операций обмена данными в сетях Grid, являются одними из главных показателей правильного комплексного функционирования самой сети. Для получения оценочной информации по функционированию различных компонент Grid систем используются программы-бенчмарки. Результаты данных программ очень часто являются критерием для выбора оборудования того или иного производителя. Успешное прохождение ряда бенчмарков может являться свидетельством стабильности системы [3]. В данной магистерской работе будет разработана подсистема тестирования и оптимизации, которая позволит выявлять большинство дефектов в передаче данных и поиска возможностей для улучшения сетевого обмена в распределенных высокoпроизводительных вычислительных системах. Данная подсистема разрабатывается для систем автоматизации выполнения моделирования (например, Science Experimental Grid Laboratory) в условиях виртуальной организации, которая обладает высокопроизводительными вычислительными ресурсами [7,8].

Цели и задачи работы

Одной из основных задач разработки подсистемы тестирования механизмов обмена является получение ответа на вопрос «Действительно ли все необходимые данные для запущенных задач передаются так быстро, как это позволяет данная распределенная высокопроизводительная вычислительная система?». Оценка эффективности передачи данных в распределенных вычислительных системах, на специально созданной для этой задачи подсистеме, также имеет цель дать прогноз относительно возможностей исследуемых механизмов обмена данными при решении заданного класса задач [1]. Кроме того разрабатываемая подсистема в значительной мере позволяет фиксировать характер и основные особенности решаемых задач. В дальнейшем это может позволить проводить различного рода улучшения при построении распределенных высокопроизводительных вычислительных систем, на основе выявленных процессов и закономерностях.

Целью данной магистерской работы является разработка универсальной подсистемы тестирования механизмов передачи данных в распределенных высокопроизводительных вычислительных системах, которая позволит проводить комплексное тестирование для сбора основной статистической информации для последующего улучшения коммуникации между узлами Grid. Информацию о функционировании сетевого обмена сможет получать не только работник, который занимается обслуживанием сети Grid, но и пользователь.

Для достижения всех поставленных целей необходимо решить ряд задач:

1. Проверка доступности узлов сети для обменов типа «каждый с каждым».
2. Проверка корректности и эффективности используемых механизмов обмена.
3. Организация нагрузочного тестирования с целью определения предельных нагрузок на систему. Реализация данной задачи позволит выявить не только недостатки коммуникационной сети, но и выделить участки, по которым информация может передаваться с большой скоростью.
4. Организация сравнительного тестирования с целью определения используемых механизмов обмена. Исследование преимуществ и недостатков различных механизмов обмена данными позволит в дальнейшем выбрать наилучший из них.

Кроме решения поставленных задач необходимо исследовать все возможные варианты оптимизации рассматриваемых механизмов обмена. Для этого будет проводиться анализ влияния основных параметров механизма обмена на эффективность функционирования коммуникационной сети Grid. Таким образом, одним из результатов функционирования подсистемы является оптимальный набор параметров для настройки механизма обмена. Однако, изменение настроек функционирования коммутационной сети в большинстве случаев требует человеческого вмешательства, поэтому также необходимо провести исследование возможностей автоматической оптимизации рассматриваемых механизмов обмена.

Актуальность и мотивация темы работы

Вычисления с помощью Grid возникли как новая и важная область, отличающаяся от традиционного распределённого компьютинга своей нацеленностью на инновационные приложения, как правило, связанные с необходимостью разделения крупномасштабных ресурсов и для предоставления возможности высокопроизводительной обработки данных. Проведение сложных вычислений в виртуальных организациях (объединениях отдельных пользователей, институтов и ресурсов) является относительно новой и быстроразвивающейся технологией и требует постоянного контроля [2].

Значимость проводимого тестирования значительно возросла в последнее время, так как многие сложные системы строятся из готовых компонентов, в том числе и высокоскоростные коммутационные сети. Основой успеха является осуществление правильного выбора компонентов таких систем на основе комплексного оценочного тестирования [1].

Обзор исследований по теме

Первый грид-узел в Украине появился в Национальном научном центре «Харьковский физико-технический институт». Данный проект перерос в Украинский Академический Грид, к которому подключилось большое количество учебных заведений Украины [11]. Подключение новых грид-узлов продолжается. Грид-технологии открывают новые возможности организации научных исследований не только в масштабах отдельно взятой страны, но и повышение эффективности международного сотрудничества в различных сферах человеческой деятельности. В ДонНТУ имеются магистерские работы, в которых проводится обзор, разработка и исследования средств для моделирования в среде Grid.

Для того, чтобы предпринять необходимые меры при возникновении аварийных ситуаций (снижение пропускной способности сети, отключение питания, выход из строя большого сегмента сети и т.п.), требуется постоянно следить за состоянием такой сети. Имеется несколько прототипов решений по мониторингу, например, GridView [14], GridICE [13], GOCDB, Gstat, MonaLisa [15], Nagios, которые уже используются на конкретных кластерах. Системы мониторинга кластеров типа Nagios, Ganglia, Quattor используются на большинстве кластеров для вычислений в области физики [12].

Предполагаемая научная новизна

Выделение фунционала тестирования и оптимизации в подсистему позволит по новому взглянуть на дисциплину тестирования распределенных высокопроизводительных систем в целом. Данная подсистема будет проводить комплексный анализ эффективности используемого механизма обмена данными, что позволит в дальнейшем проводить автоматическую его настройку. При добавлении новых ресурсов в сеть Grid они будут «подхватываться» автоматически и становиться в очередь на тестирование.

Планируемые практические результаты

Конечной целью магистерской работы является создание подсистемы тестирования и оптимизации механизмов обмена для распределенных высокопроизводительной вычислительной системы. Подсистема будет реализована на языке программирования Java как компонента проекта SEGL Штуттгартского университета. Интеграция в данный проект позволит провести основную отладку и системный анализ полученных результатов для реальной высокопроизводительной вычислительной системы.

Science Experimental Grid Laboratory (SEGL)

Описание SEGL

В Штуттгартском университете разрабатывается система автоматизации выполнения научных экспериментов в условиях виртуальной организации, обладающей высокопроизводительными вычислительными ресурсами (рисунок 2),  — Science Experimental Grid Laboratory (SEGL) [4]. Ресурсами для данной системы могут быть кластера и суперкомпьютеры. Система SEGL создана для того, чтобы избавить обыкновенного пользователя от необходимости работать с ресурсами напрямую, снизить трудоемкость разработки сложных экспериментов, автоматизировать управление ими, уменьшить затраты времени на исполнение экспериментов [5].

Рисунок 2  — Обобщенная физическая архитектура Science Experimental Grid Laboratory.

Топология SEGL

Основными элементами топологии системы (рисунок 3) являются сервер, агент и клиент.

Центральным элементом системы является сервер. Его основными функциями является обработка удаленных запросов от клиентов и координированное взаимодействие с агентами (отправка и получение данных экспериментов и команд для выполнения задач на ресурсах). Сервер работает в связке с реляционной СУБД, храня в базе данных основную информацию необходимую для правильного функционирования системы.

Агент — сервис, который представляет отдельный ресурс и отвечает за получение входных данных от сервера и их подготовку, запуск задач на ресурсе, контролирование выполнения задачи и передачу результатов выполнения эксперимента на серевер. Агент является важной составляющей частью системы. В случае возникновения какой-либо неисправности на высокопроизводительном вычислительном ресурсе и последующей деактивации агента, система будет продолжать функционировать, но использовать данный ресурс станет невозможным. Поэтому одним из основных требований к системе является постоянный контроль работоспособности агента на стороне сервера и принятие действий, направленных на восстановление нормального функционирования системы при выходе агента из строя.

Клиент – запускаемое на стороне пользователя графическое приложение, которое позволяет запускать эксперименты, анализировать полученные результаты исполнения эксперимента.

Рисунок 3  — Обобщенная структура взаимодействий объектов в представлении SEGL (Анимация состоит из 7 кадров с задержкой 700 мс между кадрами; количество циклов воспроизведения ограничено 7-ю, размер 650*581, 116 кБ, создано в MP GIF Animator).

Выводы

Современные распределенные высокопроизводительные вычислительные системы трудно оптимизировать под эффективное выполнения разного рода задач. Не является исключением по разного рода оптимизациям и система коммутации в Grid, например, сетевая производительность может ухудшиться с физическим или логическим расстоянием между узлами. В результате чего сложно определить оптимальные свойства, а следовательно и как-то улучшить механизм передачи данных. Подсистема тестирования, разрабатываемая в данной магистерской работе, позволит автоматизировать процесс тестирования и оптимизации используемых механизмов обмена для распределенных высокопроизводительных вычислительных систем, позволяя преодолеть некоторые их ограничения.

Список литературы

1. Эйсымонт Л.К. Оценочное тестирование высокопроизводительных систем: цели, методы, результаты и выводы / Центр независимого межведомственного тестирования суперкомпьютерных систем.
   [ Электронный источник: www.nicevt.ru/Repository/file/article-03.pdf ]
2. Фостер Ян, Кессельман Карл, Тьюке Стив. АНАТОМИЯ ГРИД.
   [ Электронный источник: www.gridclub.ru/library/publication.2004-11-29.7104738919/publ_file/ ]
3. Benchmark (computing) / Wikipedia, the free encyclopedia.
   [ Электронный источник: www.en.wikipedia.org/wiki/Benchmark_(computing) ]
4. Currle-Linde N., Kuster U., Resch M., Risio B. Science Experimental Grid Laboratory (SEGL) Dynamical Parameter Study in Distributed Systems / Parallel Computing: Current & Future Issues of High-End Computing, John von Neumann Institute for Computing, 2006, Julich
   [ Электронный источник: www.fz-juelich.de/nic-series/volume33/049.pdf ]
5. Currle-Linde N. , Resch M., Kielmann T., Wrzesinska G. REDESIGNING THE SEGL PROBLEM SOLVING ENVIRONMENT: A CASE STUDY OF USING MEDIATOR COMPONENTS.
   [ Электронный источник: www.cs.vu.nl/~kielmann/papers/segl.pdf ]
6. Интернет-портал по грид технологиям. Платформа UNICORE
   [ Электронный источник: www.gridclub.ru/software/unicore.html ]
7. SEGL  — Science Experimental Grid Laboratory. Grid Management System
   [ Электронный источник: www.segl.hlrs.de/ ]
8. Коваленко В.Н., Корягин Д.А. Организация ресурсов грид, ИПМ им. М.В.Келдыша РАН, Москва 2004.
   [ Электронный источник: www.keldysh.ru/papers/2004/prep63/prep2004_63.html ]
9. Сайт компании NEC.
   [ Электронный источник: www.nec.com]
10. Vraalsen Fredrik, Aydt Ruth A., Mendes Celso L., Reed Daniel A. Performance Contracts: Predicting and Monitoring Grid Application Behavior
    [ Электронный источник: www.springerlink.com/content/yx4pmjr9wxf91hpt/ ]
11. Украинский Академический Грид
    [ Электронный источник: www.uag.bitp.kiev.ua/index.php ]
12. Шевель Андрей. Кластеры для ядерщиков
    [ Электронный источник: www.osp.ru/os/2007/08/4485809/ ]
13. INFN Grid — Middleware Development
    [ Электронный источник: www.grid.infn.it/modules/wfchannel/index.php?pagenum=9 ]
14. GridView
    [ Электронный источник: www.twiki.cern.ch/twiki/bin/view/LCG/GridView ]
15. MonALISA
    [ Электронный источник: http://monalisa.cacr.caltech.edu/monalisa.htm ]