Жевжик Сергій Євгенович

Вступ

Сучасні надпотужні обчислювальні ресурси дозволяють проводити безліч експериментів з моделювання складних технологічних процесів і при цьому показувати гарні результати [7]. На рисунку 1 показана процентна статистика використання обчислювального потенціалу суперкомп'ютерів у різних проектах і галузях промисловості. Деякі з сучасних досліджень, які проводяться з використанням високопродуктивних ресурсів, будуть відігравати важливу роль у майбутньому всього людства, наприклад, аналіз та моделювання процесів глобального потепління, вивчення процесів, які відбуваються під час землетрусів, вивчення озонових дір та інші. Також розробляються нові технології для поліпшення життя людства, наприклад, розробка потужної антени для мобільних телефонів, вивчення електричних властивостей наноматеріалів. На сьогоднішній день найбільш широко суперкомп'ютери використовуються в аерокосмічній галузі (наприклад, розробка нового покоління надзвукових літаків).

Рисунок 1  — Статистика використання суперкомп'ютерів у різних галузях [9].

Вчені та інженери, які використовують обчислювальні ресурси для складних розрахунків, натикаються на труднощі при оформленні завдань для виконання в середовищі Grid. Це пов'язано з серйозними розходженнями між сучасними надпродуктивними обчислювальними платформами (наприклад, в способах доступу та процедурах аутентифікації, відмінності в серверній архітектурі) [6]. Для подолання даного обмеження використовуються системи автоматизації моделювання в середовищі Grid. У майбутньому ці системи дозволять широко використовувати розподілені надпотужні обчислювальні системи. Ефективність та коректність виконання операцій обміну даними в мережах Grid є одними з головних показників правильного функціонування самої мережі. Для отримання оціночної інформації з фунціонування різних компонент Grid систем використовуються програми-бенчмарки. Результати даних програм дуже часто є критерієм для вибору обладнання того чи іншого виробника. Успішне проходження ряду бенчмарків свідчить про стабільність системи [3]. У цій магістерській роботі буде розроблена підсистема тестування та оптимізації, яка дозволить виявити більшість дефектів в передачі даних і пошуку можливостей для поліпшення мережевого обміну в розподілених надпотужних обчислювальних системах. Ця підсистема буде використовуватись у системах автоматизації виконання моделювання (наприклад, Science Experimental Grid Laboratory) в умовах віртуальної організації, яка володіє надпотужними обчислювальними ресурсами [7,8].

Мета та задачі роботи

Однією з основних задач під час розробки підсистеми тестування механізмів обміну є отримання відповіді на запитання «Чи дійсно всі необхідні дані для виконуємих завдань передаються так швидко, як це дозволяє дана розподілена надпотужна обчислювальна система?». Оцінка ефективності передачі даних у розподілених обчислювальних системах, на спеціально створеній для цього завдання підсистемі, також має на меті дати прогноз щодо можливостей досліджуваних механізмів обміну даними при вирішенні заданого класу задач [1]. Окрім цього підсистема значною мірою дозволяє фіксувати характер та основні особливості виконуємих завдань. Надалі, це може дозволити проводити різного роду поліпшення при побудові розподілених надпотужних обчислювальних систем на основі виявлених процесів і закономірностей.

Метою даної магістерської роботи є розробка універсальної підсистеми тестування механізмів передачі даних в розподілених надпотужних обчислювальних системах, яка дозволить проводити комплексне тестування для збору основної статистичної інформації для подальшого покращення комунікації між вузлами Grid. Інформація про функціонування мережевого обміну буде доступна не тільки працівнику, який займається обслуговуванням мережі Grid, але і користувачу.

Для досягнення всіх поставлених цілей необхідно вирішити ряд завдань:

1. Перевірка доступності вузлів Grid для обмінів типу «кожний з кожним».
2. Перевірка коректності та ефективності механізмів обміну.
3. Організація навантажувального тестування з метою визначення граничних навантажень на систему. Реалізація даної задачі дозволить виявити не тільки недоліки комунікаційної мережі, але і виділити ділянки, де якими інформація може передаватися з великою швидкістю.
4. Організація порівняльного тестування для різних механізмів обміну. Дослідження переваг і недоліків різних механізмів обміну даними дозволить надалі обрати найкращий з них.

Окрім вирішення поставлених завдань необхідно досліджувати всі можливі варіанти оптимізації розглянутих механізмів обміну. Для цього буде проводитися аналіз впливу основних параметрів механізму обміну на ефективність функціонування комунікаційної мережі Grid. Таким чином, одним з результатів функціонування підсистеми є оптимальний набір параметрів для налаштування механізму обміну. Однак, зміна налаштувань функціонування комутаційної мережі в більшості випадків вимагає людського втручання, тому необхідно провести дослідження можливостей автоматичної оптимізації розглянутих механізмів обміну.

Актуальність і мотивація теми роботи

Обчислення за допомогою Grid виникли як нова і важлива область, яка відрізняється від традиційного розподіленого комп'ютингу своєї націленістю на інноваційні програми, як правило, пов'язані з необхідністю поділу великомасштабних ресурсів і для надання можливості надпродуктивної обробки даних. Проведення складних обчислень у віртуальних організаціях (об'єднаннях окремих користувачів, інститутів і ресурсів) є відносно новою технологією, що швидко розвивається і вимагає постійного контролю [2].

Значимість тестування значно зросла останнім часом, тому що більшість складних систем будуються з готових компонентів, в тому числі і високошвидкісні комутаційні мережі. Основою успіху є здійснення правильного вибору компонентів таких систем на основі комплексного оціночного тестування [1].

Огляд досліджень за темою

Перший грід-вузол на Україні з'явився в Національному науковому центрі «Харківський фізико-технічний інститут». Цей проект переріс в Український Академічний Грід, до якого підключилася велика кількість навчальних закладів України [11]. У подальшому планується підключення нових грід-вузлів. Грід-технології відкривають нові можливості організації наукових досліджень не тільки для окремо взятої країни, а й підвищення ефективності міжнародного співробітництва в різних сферах людської діяльності. У ДонНТУ є магістерські роботи, в яких проводиться огляд, розробка і дослідження засобів для моделювання в середовищі Grid.

Для того, щоб була можливість вчасно вжити необхідних заходів у разі виникнення аварійних ситуацій (зниження пропускної здатності мережі, вихід з ладу сегмента мережі тощо), потрібно постійно стежити за станом такої мережі. Є кілька прототипів рішень з моніторингу системи, наприклад, GridView [14], GridICE [13], GOCDB, Gstat, MonaLisa [15], Nagios, які вже використовуються на конкретних кластерах. Системи моніторингу кластерів типу Nagios, Ganglia, Quattor використовуються на більшості кластерів для обчислень в галузі фізики [12].

Передбачувана наукова новизна

Виділення фунціонала тестування та оптимізації в підсистему дозволить по новому поглянути на дисципліну тестування розподілених надпродуктивних систем в цілому. Ця підсистема буде проводити комплексний аналіз ефективності механізму обміну даними, що використовується, та дозволить надалі проводити автоматичне його налаштування. При додаванні нових ресурсів в мережу Grid вони будуть «підхоплюватися» автоматично і ставати в чергу на тестування.

Заплановані практичні результати

Кінцевою метою магістерської роботи є створення підсистеми тестування та оптимізації механізмів обміну для розподілених надпродуктивних обчислювальних систем. Підсистема буде реалізована на мові програмування Java як компонента проекту SEGL Штуттгартського університету. Інтеграція в даний проект дозволить провести налагодження і системний аналіз отриманих результатів для реальної надпродуктивної обчислювальної системи.

Science Experimental Grid Laboratory (SEGL)

Опис SEGL

У Штуттгартському університеті розробляється система автоматизації виконання наукових експериментів в умовах віртуальної організації, що володіє надпродуктивними обчислювальними ресурсами (рисунок 2),  — Science Experimental Grid Laboratory (SEGL) [4]. Ресурсами для даної системи можуть бути кластера та суперкомп'ютери. Система SEGL створена для того, щоб позбавити звичайного користувача від необхідності працювати з ресурсами безпосередньо, знизити трудомісткість розробки складних експериментів, автоматизувати керування ними, зменшити витрати часу на виконання експериментів [5].

Рисунок 2  — Узагальнена фізична архітектура Science Experimental Grid Laboratory.

Топологія SEGL

Основними елементами топології системи (рисунок 3) є сервер, агент і клієнт.

Центральним елементом системи є сервер. Його основними функціями є обробка запитів від клієнтів і координована взаємодія з агентами (відправлення і отримання результатів експериментів і команд для виконання завдань на ресурсах). Сервер працює разом з реляційною СУБД, зберігаючи в базі даних основну інформацію, необхідну для правильного функціонування системи.

Агент — сервіс, який є окремим ресурсом і відповідає за отримання вхідніх даних від сервера, їх підготовку, запуск завдань на ресурсі, контроль виконання завдання і передачу результатів виконання експериментів на сервер. Агент є важливою складовою частиною системи. У випадках виникнення будь-яких несправностей у надпотужних обчислювальних ресурсах і подальшої деактівації агента, система буде й надалі функціонуваті, але використання цього ресурсу буде неможливе. Тому одним з основних вимог до системи є постійний контроль працездатності агента на стороні сервера і прийняття дій, спрямованих на відновлення нормального функціонування системи при виході агента з ладу.

Клієнт - це програма з графічним інтерфейсом, що запускається на стороні користувача та дозволяє запускати експерименти, аналізувати отримані результати виконання експерименту.

Рисунок 3  — Узагальнена структура взаємодій об'єктів у SEGL (Анімація складається з 7 кадрів з затримкою 700 мс між кадрами; кількість циклів відтворення обмежено 7-а, розмір 650*581, 116 кБ, створено в MP GIF Animator).

Висновок

Сучасні розподілені надпотужні обчислювальні системи важко оптимізувати під ефективне виконання різного роду завдань. Не є винятком з різного роду оптимізацій і система комутації в Grid, наприклад, мережева продуктивність може погіршитися з фізичною або логічною відстанню між вузлами. У результаті чого складно визначити оптимальні властивості, а отже і якось поліпшити механізм передачі даних. Підсистема тестування, що розробляється в цiй магістерській роботі, дозволить автоматизувати процес тестування та оптимізації механізмів обміну для розподілених надпотужних обчислювальних систем, дозволяючи подолати деякі їх обмеження.

Список літератури

1. Эйсымонт Л.К. Оценочное тестирование высокопроизводительных систем: цели, методы, результаты и выводы / Центр независимого межведомственного тестирования суперкомпьютерных систем.
   [ Електронне джерело: www.nicevt.ru/Repository/file/article-03.pdf ]
2. Фостер Ян, Кессельман Карл, Тьюке Стив. АНАТОМИЯ ГРИД.
   [ Електронне джерело: www.gridclub.ru/library/publication.2004-11-29.7104738919/publ_file/ ]
3. Benchmark (computing) / Wikipedia, the free encyclopedia.
   [ Електронне джерело: www.en.wikipedia.org/wiki/Benchmark_(computing) ]
4. Currle-Linde N., Kuster U., Resch M., Risio B. Science Experimental Grid Laboratory (SEGL) Dynamical Parameter Study in Distributed Systems / Parallel Computing: Current & Future Issues of High-End Computing, John von Neumann Institute for Computing, 2006, Julich
   [ Електронне джерело: www.fz-juelich.de/nic-series/volume33/049.pdf ]
5. Currle-Linde N. , Resch M., Kielmann T., Wrzesinska G. REDESIGNING THE SEGL PROBLEM SOLVING ENVIRONMENT: A CASE STUDY OF USING MEDIATOR COMPONENTS.
   [ Електронне джерело: www.cs.vu.nl/~kielmann/papers/segl.pdf ]
6. Интернет-портал по грид технологиям. Платформа UNICORE
   [ Електронне джерело: www.gridclub.ru/software/unicore.html ]
7. SEGL  — Science Experimental Grid Laboratory. Grid Management System
   [ Електронне джерело: www.segl.hlrs.de ]
8. Коваленко В.Н., Корягин Д.А. Организация ресурсов грид, ИПМ им. М.В.Келдыша РАН, Москва 2004.
   [ Електронне джерело: www.keldysh.ru/papers/2004/prep63/prep2004_63.html ]
9. Сайт компании NEC.
   [ Електронне джерело: www.nec.com]
10. Vraalsen Fredrik, Aydt Ruth A., Mendes Celso L., Reed Daniel A. Performance Contracts: Predicting and Monitoring Grid Application Behavior
    [ Електронне джерело: www.springerlink.com/content/yx4pmjr9wxf91hpt/ ]
11. Украинский Академический Грид
    [ Електронне джерело: www.uag.bitp.kiev.ua/index.php ]
12. Шевель Андрей. Кластеры для ядерщиков
    [ Електронне джерело: www.osp.ru/os/2007/08/4485809/ ]
13. INFN Grid — Middleware Development
    [ Електронне джерело: www.grid.infn.it/modules/wfchannel/index.php?pagenum=9 ]
14. GridView
    [ Електронне джерело: www.twiki.cern.ch/twiki/bin/view/LCG/GridView ]
15. MonALISA
    [ Електронне джерело: http://monalisa.cacr.caltech.edu/monalisa.htm ]