Автор: Аноприенко А.Я., Святный В.А.
Источник: Электронный архив Донецкого национального технического университета
Svjatnyj V., Anopriyenko A. High-performance simulation environments for research, development and support of complex dynamic systems. The current stale and evolution of components for design and development of highly effective simulation environments, including supercomputers and distributed systems, are analyzed.
В 2001 году исполняется 10 лет с момента первой публикации авторов, посвященной разработке моделирующих сред с использованием параллельных ЭВМ [1]. Данную работу во многих отношениях можно считать этапной для научного направления «компьютерное моделирование» в ДонГТУ:
Во-первых, в ней впервые были изложены и обобщены результаты по практическому созданию завершенной моделирующей среды, ориентированной на использование распределенных и параллельных вычислительных средств как новой парадигмы в области вычислений, что в последующем стало одним из наиболее приоритетных направлений исследований и разработок в области компьютерного моделирования на факультете вычислительной техники и информатики ДонГТУ.
Во-вторых, данная работа явилась практически первой (в рамках данной научной школы) совместной публикацией с немецкими коллегами. При этом важно отметить, что описанные в ней результаты стали возможны лишь благодаря начавшемуся в конце 80-х годов интенсивному международному сотрудничеству кафедры ЭВМ ДонГТУ с рядом институтов Штуттгартского университета (Германия) В частности, в качестве прототипа для реализации описанной в работе [1] моделирующей среды была выбрана разработанная под руководством профессора М. Цайтца в Институте системной динамики и управляющей техники (ISR) Штутгартского университета блочно-ориентированная моделирующая система ISRSIM. Основная часть работы была выполнена в Институте параллельных и распределенных суперЭВМ (IPVR), в связи с чем авторы сочли необходимым выразить в статье свою признательность директору IPVR профессору А. Ройтеру за предоставленное оборудование и оказанное содействие. В 90-х годах такого рода работы и публикации стали традиционными, о чем, в частности, свидетельствуют публикации [2-7] и материалы данного сборника.
В-третьих, в статье [1] был описан фактически первый опыт реинжиниринга достаточно сложной моделирующей системы, заключающийся в сохранении и существенном развитии ее функциональных возможностей при переносе в принципиально новую операционную среду. Этот опыт в дальнейшем оказался весьма полезным при выполнении целого ряда последующих исследований и разработок (см , например, работы [9-12]).
В-четвертых, в работе [1] впервые была сделана попытка прогноза развития моделирующих сред в предстоящее десятилетие, которую сейчас, с высоты прошедшего десятилетия можно считать вполне успешной. В опубликованной ровно через 5 лет работе [4], посвященной анализу основных концепций и путей развития моделирующих сред, такого рода прогноз был представлен в более развернутой и конкретной форме. Основные гипотезы и положения статьи [4] также выдержали проверку временем.
В связи с этим авторы сочли возможным и целесообразным в данной публикации продолжить традицию и на основе детального анализа состояния компьютерных средств и технологий, влияющих на развитие моделирующих сред, не только подвести своего рода итог десятилетних работ в данном направлении, но и наметить основные пути развития исследований и разработок в следующем десятилетии. Это тем более актуально, что рубеж между этими временными промежутками является также и рубежом эпох – факт, всегда побуждающий к более широкому взгляду на текущее состояние дел и перспективы их развития.
Самым примечательным явлением в области компьютерных систем, существенно изменившим ситуацию за 5 лет, прошедших с момента написания статьи [4], явилось интенсивное развитие технологий Интернет, в связи с чем авторы в данной работе вместо понятия моделирующие среды сочли целесообразным использовать определение информационно-моделирующие среды, что предполагает тесную интеграцию модельного и информационного сопровождения исследований и разработок на базе современных и перспективных возможностей Интернет.
В настоящее время есть все основания утверждать, что в новое столетие инженерный мир входит с практически сформировавшейся традицией обязательного модельного обеспечения всех сколь-нибудь сложных технических разработок и научных исследований. Причем, на современном этапе речь должна идти уже не просто о тех или иных отдельных компьютерных моделях, а о различных вариантах интегрированных моделирующих сред. При этом особый интерес в качестве наиболее ресурсоемких и актуальных объектов моделирования представляют сложные динамические системы (СДС), т.е. системы различной физической природы, с изменяющимися во времени параметрами, отличающиеся большим числом структурных элементов и/или связей между ними, нетривиальным математическим описанием и/или поведением и/или большим числом параметров. К СДС в таком понимании могут быть отнесены как различные естественные процессы окружающего мира, так и разнообразные технические системы: управляемые механизмы и машины, технологические установки, производства и процессы в них, транспортные объекты, энергетические установки и системы, гидравлические, пневматические, электрические, газораспределительные и вентиляционные сети и др.
Интегрированная информационно-моделирующая среда (ИМС) в контексте данной статьи может быть определена как комплекс аппаратных, программных и информационных средств, который обеспечивает дружественную к пользователю поддержку всех этапов разработки, отладки и исследования моделей динамических систем реальной сложности.
При написании статьи кроме собственных материалов авторов в виде архива публикаций, материалов конференций, семинаров и т.п. использовались также монографии [13-16]. При этом следует отметить, что абсолютное большинство монографий по данной тематике издается на английском языке, и в Украине такие издания весьма труднодоступны. На русском и украинском языках литературы по высокопроизводительным вычислениям издается чрезвычайно мало (что можно признать естественным, учитывая уровень распространения соответствующих технологий в СНГ). За последние 5 лет можно выделить только работы [16] и [17].
Однако, следует отметить, что развитие компьютерных технологий за предыдущее пятилетие позволяет отныне принципиально по новому подходить к проблеме источников. К рубежу десятилетий информационная насыщенность инфраструктуры Интернет достигла такого уровня, что можно говорить о качественном скачке в решении проблемы информационного обеспечения исследований и разработок. Суть этого скачка заключается в том. что Всемирная сеть отныне не только существенно обгоняет печатные источники по темпам роста и качеству (актуальности, полноте и т п.) предоставляемой информации, но и предоставляет принципиально новые инструменты для ее распространения, поиска и анализа.
В частности, одним из основных источников при написании данной статьи стал сайт Лаборатории Параллельных Информационных Технологий Научно-исследовательского вычислительного центра (НИВЦ) МГУ (http://parallel.ru). Это на текущий момент лучший русскоязычный сайт, посвященный проблемам параллельных вычислений, информация на котором систематически пополняется и обновляется Кроме этого, на сегодня имеется практически неограниченный доступ к электронным версиям периодических изданий по данной тематике и чрезвычайно большому числу аналогичных англоязычных и немецкоязычных сайтов.
Опыт создания и функционирования сайта parallel.ru убедительно показывает, что назрело время говорить именно об интегрированных информационно-моделирующих средах и ставить задачу создания в ДонГТУ научно-методического информационно- моделирующего центра, организующим ядром которого может и должен стать соответствующий информационный сайт (портал) в Интернет.
В работе [4] авторами в первой половине 96-го года была сформулирована концепция универсальных моделирующих сред, логическим продолжением которой является рассматриваемая в данной публикации концепция информационно-моделирующих сред. Следует отметить, что общее стремление к универсализации средств моделирования за последние 5 лет нашло наиболее яркое воплощение в следующих 2-х явлениях:
1. Постепенной конвергенции функциональных возможностей наиболее распространенных систем моделирования типа Matlab, MathCAD, Mathematica в процессе их эволюции.
2. Появлении универсального языка моделирования UML, версия 0.9 которого была опубликована в июне 1996 года (официальная версия 1.0 появилась в январе 1997 г.). Язык UML явился ответом на «вавилонское столпотворение» языков моделирования и «войну методов» в начале 90-х годов и представляет собой по сути первый объектно- ориентированный общецелевой язык визуального моделирования для спецификации, визуализации, проектирования и документирования сложных систем самого различного целевого назначения, от традиционных динамических систем до программного обеспечения [18-20]. Разработка спецификаций языка выполнена консорциумом OMG (Object Management Group), образованного еще в 1989 году с целью разработки предложений по стандартизации объектных и компонентных технологий CORBA.
В основу построения языка положено несколько фундаментальных принципов организации моделей сложных систем, например, принцип многомодельности, согласно которому утверждается, что никакая сложная модель не может с достаточной степенью адекватности описывать различные аспекты сложной системы. Исходя из этого в UML реализуется концепция интегрированной модели сложной системы. В связи с тем, что в обозримом будущем язык UML может стать своего международным «эсперанто», на котором смогут общаться математики, физики, программисты, экономисты и специалисты других областей, представляя свои знания в унифицированном виде, в программном инструментарии в ближайшие годы можно ожидать своего рода методологической революции, которая приведет к смене многих устоявшихся понятий и подходов. Это обусловило то, что в данной статье большее внимание уделяется более стабильно и предсказуемо развивающимся аппаратным средствам и лишь бегло затрагиваются вопросы текущего состояния и перспектив развития программных средств.
Однако в предстоящие годы безусловно следует уделить первостепенное внимание практическому освоению технологий UML и CORBA с целью ускоренной переориентации на их использование в учебном процессе, а также – в выполнении основных исследований и разработок.
Неординарная ресурсоемкость задач моделирования сложных динамических систем является причиной того, что такие приложения традиционно занимают первые места в списке «больших вызовов», мотивирующих создание все более мощных суперЭВМ. Наиболее полную и актуальную информацию о современных суперкомпьютерах можно найти в регулярно обновляемом списке Top500 (www.top500.org), который содержит информацию о 500-х наиболее мощных суперкомпьютерах мира, расположенных по убыванию их производительности на тестах Unpack parallel. В числе лидеров Top500 по состоянию на конец 2000 года находились системы, разработанные в рамках инициативы американского правительства ASCI. Возглавила список ASCI White фирмы IBM с производительностью почти 5 TFLOPS. Второй стоит система ASCI Red фирмы Intel, являвшаяся в 1999 году самой быстрой ЭВМ для численного моделирования. Заветную границу 1 TFLOPS перешагнули (или вплотную к ней приблизились) также суперкомпьютеры SP Power3 фирмы IBM, SR8000 японской фирмы Hitachi и Cray ТЗЕ-1200 фирмы SG1, реализованной на более чем тысяче процессоров Alpha с тактовой частотой 600 МГц. Замыкали Top500 уже в 1999 году 40-процессорные системы Sun НРС 10000 с пиковой производительностью 20,5 GFLOPS.
Суперкомпьютеры, установленные в России, единственной из стран СНГ, обладающей системами такого класса, в списке Тор500 по-прежнему пока не представлены. Более того, самые мощные из имеющихся в России суперкомпьютеров пока еще многократно отстают от систем, замыкающих список Тор500.
Среди организаций СНГ, располагающих наиболее мощными суперкомпьютерными ресурсами, можно выделить следующие:
• МСЦ – межведомственный суперкомпьютерный центр Миннауки РФ и РАН (Москва);
• ИВВиБД – Институт Высокопроизводительных Вычислений и Баз Данных Миннауки РФ (Санкт-Петебург);
• ИПМ – Институт Прикладной Математики РАН (Москва),
• ИММ – Институт Математического Моделирования РАН (Москва);
• ИПХФ – Институт Прикладной Химии и Физики РАН (Москва),
• ОИЯИ – Объединенный Институт Ядерных Исследований (Дубна),
• ИФВЭ – Институт Физики Высоких Энергий Минатома РФ (Протвино).
Аппаратные средства: кластерные системы.
Однако в настоящее время обладание суперЭВМ уже не является практически безальтернативным вариантом создания высокопроизводительных моделирующих сред, т.к. развитие сетевых технологий позволяет уже сегодня с меньшими на порядок затратами концентрировать вычислительные мощности в виде кластеров.
Если говорить кратко, то вычислительный кластер — это совокупность компьютеров, объединенных в рамках некоторой сети для решения одной задачи. В качестве вычислительных узлов обычно используются доступные на рынке однопроцессорные компьютеры, двух- или четырехпроцессорные SMP-серверы. Каждый узел работает под управлением своей копии операционной системы, в качестве которой чаще всего используются стандартные операционные системы: Linux, NT, Solaris и т.п. Состав и мощность узлов может меняться даже в рамках одного кластера, давая возможность создавать неоднородные системы. Выбор конкретной коммуникационной среды определяется многими факторами: особенностями класса решаемых задач, доступным финансированием, необходимостью последующего расширения кластера и т.п. Возможно включение в конфигурацию специализированных компьютеров, например, файл- сервера, и, как правило, предоставлена возможность удаленного доступа на кластер через Internet. Простор для творчества при проектировании кластеров огромен: кластером можно считать как пару ПК, связанных локальной 10-мегабитной сетью Ethernet, так и вычислительную систему, создаваемую в рамках проекта Cplant в Национальной лаборатории Sandia: 1400 рабочих станций на базе процессоров Alpha, связанных высокоскоростной сетью Myrinet.
Начальный период развития кластерных технологий. В отличие от МРР и SMP, идея кластеризации – отнюдь не нова. Еще в начале 80-х компания Digital Equipment представила VAXCluster с операционной системой OpenVMS. Кластеризации Unix-машин началась несколько позже, когда компании начали использовать Unix для критически важных приложений, что поставило на повестку дня необходимость высокой готовности, а следовательно, кластеризации. Интенсивное развитие кластерных технологий началось в 90-х годах. Одной из первых фирма DEC в 1993 году начала разработку коммерческих продуктов в области кластеризации, выпустив основанный на Unix пакет DECAdvantage. В том же году IBM для собственной разновидности Unix – AIX разработала систему High-Availability Cluster MultiProcessing (HACMP). В последующем системы для организации кластеров из Unix-машин начали предлагать около десятка компаний, и в их числе Data General, Hewlett-Packard, Pyramid Technology, Sequent Computer Systems, Sun Microsystems.
В числе наиболее интересных проектов кластеризации, опыт реализации которых может быть весьма полезен при создании информационно-моделирующих сред, необходимо отметить следующие:
Проект Beowulf (www.beowulf.org), название которого превратилось в имя нарицательное для всех последующих кластерных систем такого рода (Beowulf-кластеры), был реализован летом 1994 гола в научно-космическом центре NASA -Goddard Space Flight Center (GSFCJ, а точнее в созданном на его основе центре CESDI5 (Center of Excellence in Space Data and Information Sciences). Первоначальный кластер, который и был назван "Beowulf", создавался как вычислительный ресурс проекта Earth and Space Sciences Project (ESS) и состоял из 16-ти узлов на процессорах 486DX4/100MHz с 16MB памяти и 3-мя сетевыми адаптерами на каждом узле, обеспечивающими связь через 3 параллельных Ethernet-кабеля по 10 Mbit. В последующие годы в GSFC и других подразделениях NASA были собраны аналогичные, но существенно более мощные кластеры. Например, кластер theHIVE (Highly-parallel Integrated Virtual Environment), содержащий 64 узла по 2 процессора Pentium Pro/200MHz и 4GB памяти в каждом, 5 коммутаторов Fast Ethernet. Общая стоимость этого кластера составила примерно $210 тыс. В рамках проекта Beowulf был разработан ряд высокопроизводительных и специализированных сетевых драйверов (в частности, драйвер для использования нескольких Ethernet-каналов одновременно).
Проект Berkeley NOW (Network Of Workstations) – технология, очень похожая на Beowulf, разработана в университете шт. Калифорния в Беркли. В 1997 году на кластере из 100 рабочих станций на базе UltraSPARC была достигнута производительность в 10 GFLOPS по LINPACK, что позволило ему войти в 200 самых мощных компьютеров мира. Проект официально завершен в мае 1998 года. Через Интернет доступно разработанное в рамках проекта ПО, в том числе ОС GLUnix (специализированная версия UNIX), система передачи сообщений Active Messages, реализация MPI и др.
Проект Avalon: суперкомпьютер на базе Linux. В 1998 году в Лос-Аламосской национальной лаборатории для группы теоретической астрофизики был сформирован «суперкомпьютер» Avalon, который представлял из себя Linux-кластер на базе процессоров DEC Alpha/533 MHz и первоначально состоял из 68 процессоров (затем был расширен до 140). В каждом узле имелось 256 MB оперативной памяти, EIDE-жесткий диск на 3.2 GB и сетевой адаптер, узлы соединялись с помощью 4-х 36-портовых коммутаторов Fast Ethernet и расположенного в центре 12-портового коммутатора Gigabit Ethernet. Общая стоимость проекта Avalon составила $313 тыс., а его производительность по LINPACK (47.7 GFLOPS) позволила ему занять 114 место в 12-й редакции списка Top500 (рядом с 152-процессорной системой IBM SP2). 70-процессорная конфигурация Avalon по многим тестам показала такую же производительность, как 64-процессорная система SGI Origin2000/195 MHz стоимость которой превышает S1 млн.
В настоящее время Avalon активно используется в астрофизических, молекулярных и других научных вычислениях. На конференции SC'98 создатели Avalon представили доклад, озаглавленный “Avalon: An Alpha/Linux Cluster Achieves 10 Gflops for $150k" и заслужили премию по показателю цена/производительность ("1998 Gordon Bell Price/Performance Prize"). Проект Lots of Boxes on Shelfes (LoBoS, http://imma.lobos.nih.gov) реализован в Национальном Институте здоровья США в апреле 1997 года и интересен использованием в качестве коммуникационной среды технологии Gigabit Ethernet. Сначала кластер состоял из 47 узлов с двумя процессорами Pentium Pro/200 МГц, 128 Мбайт оперативной памяти и диском на 1,2 Гбайт на каждом узле. В 1998 году был реализован следующий этап проекта – LoBoS2, в ходе которого узлы были преобразованы в настольные компьютеры с сохранением объединения в кластер. Сейчас LoBoS2 состоит из 100 вычислительных узлов, содержащих по два процессора Pentium II/450 МГц, 256 Мбайт оперативной и 9 Гбайт дисковой памяти. Дополнительно к кластеру подключены 4 управляющих компьютера с общим RAID-массивом емкостью 1,2 Тбайт.
Проект Chiba City, реализованный в Аргоннской Национальной лаборатории, отличается весьма интересной идеей разбиения большого кластера на ряд специализированных разделов. Главный раздел содержит 256 вычислительных узлов, на каждом из которых установлено два процессора Pentium III/500 МГц, 512 Мбайт оперативной памяти и локальный диск емкостью 9 Гбайт. Кроме вычислительного раздела в систему входят раздел визуализации (32 персональных компьютера IBM Intellistation с графическими платами Matrox Millenium G400, 512 Мбайт оперативной памяти и дисками 300 Гбайт), раздел хранения данных (8 серверов IBM Netfinity 7000 с процессорами Хеоn/500 МГц и дисками по 300 Гбайт) и управляющий раздел (12 компьютеров IBM Netfinity 500). Все они объединены сетью Myrinet, которая используется для поддержки параллельных приложений, а также сетями Gigabit Ethernet и Fast Ethernet для управляющих и служебных целей. Все разделы делятся на «города» (town) по 32 компьютера. Каждый из них имеет своего «мэра», который локально обслуживает свой «город», снижая нагрузку на служебную сеть и обеспечивая быстрый доступ к локальным ресурсам.
Проект Condor (High Throughput Computing) разрабатывается в университете шт Висконсин (Madison) и отличается тем, что реализует довольно перспективную идею распределения независимых подзадачи по существующей в организации сети рабочих станций, заставляя компьютеры работать в свободное время (то есть в то время, когда они простаивали бы без своих пользователей). Программное обеспечение системы Condor доступно бесплатно. В настоящее время поддерживаются платформы SGI, Solaris, Linux, HP-UX, и Digital Unix, однако планируется также поддержка Windows NT
Анализ существующих кластерных систем показывает, что, во-первых, для их создания вполне могут использоваться исключительно общедоступные и достаточно экономичные компоненты. Фактически используются только 2 аппаратных платформы (Alpha и Pentium) и 2 программных ( MS Windows NT/2000 и Unix/Linux). Во-вторых, разрыв в производительности суперЭВМ и кластерных систем стремительно сокращается. В-третьих, разница в производительности наиболее мощных кластерных СНГ и ведущих компьютерных стран мира относительно невелика и вполне преодолима.
В целом может быть сделан следующий вывод: Ввиду чрезвычайной дороговизны коммерческих суперкомпьютеров (SMP, МРР и параллельно-векторных в ценовом диапазоне от 100 тыс. до 100 млн. $) наиболее целесообразным и перспективным способом концентрации необходимых ресурсов для организации высокопроизводительных информационно-моделирующих сред следует признать создание параллельных и/или распределенных вычислительных систем (кластеров) из общедоступных компьютеров на базе платформы Intel и недорогих Ethernet-сетей. При этом в качестве операционной среды кластерных систем наиболее рациональным вариантом является использование ОС Linux – бесплатно распространяемой версии UNIX. При этом могут использоваться бесплатно распространяемые коммуникационные библиотеки PVM или MPI. На многих классах задач (при достаточном числе узлов) такие системы способны обеспечить в ценовом диапазоне от 10 до 100 тыс. $ производительность, сравнимую с суперкомпьютерной. Учитывая все вышесказанное, следует признать, что кластерные системы во всех их проявлениях являются наиболее перспективным вариантом развития высокопроизводительных вычислений. В связи с чем в ведущих странах мира предпринимаются специальные усилия по развитию работ в данном направлении.
В США, например, летом 2000 года Корнелльским университетом был основан Консорциум по кластерным технологиям (Advanced Cluster Computing Consortium -АСЗ), основная цель которого – координация работ в области кластерных технологий и помощь в осуществлении разработок в данной области. Ведущими компаниями, обеспечивающими инфраструктуру консорциума, стали Dell, Intel и Microsoft. Среди других членов можно назвать Аргоннскую национальную лабораторию. Нью-Йоркский, Корнелльский и Колумбийский университеты, компании Compaq, Giganet, IBM и другие.
В России благодаря Федеральной целевой программе «Интеграция» в ближайшее время ожидается существенное увеличение числа высокопроизводительных кластеров в российских образовательных и научно-исследовательских организациях, т.к. инициаторы программы справедливо считают, что использование высокопроизводительных вычислительных ресурсов жизненно необходимо для получения качественно новых результатов и поддержания выполняемых фундаментальных научных исследований на мировом уровне.
В Украине пока достаточно широко известен только кластер Киевского Национального Университета им. Тараса Шевченко, установленный и развиваемый при участии корпорации Интел в рамках программы по поддержке высших учебных заведений. Каких-либо достаточно авторитетных организационных структур или исследовательско-информационных центров, подобных Лаборатории Параллельных Информационных Технологий МГУ, в Украине пока нет. В связи с этим актуальной представляется задача организации в ДонГТУ такого центра, ориентированного на исследования и разработки в области высокопроизводительных информационно-моделирующих сред. Ориентация на целенаправленное развитие кластерных технологий позволила бы уже через год-два выйти на вычислительные мощности порядка 10 GFLOPS (таблица 9), к 2005 году – порядка 100 GFLOPS, а к 2010 году иметь минимум 1-10 TFLOPS.
Реальная динамика роста производительности вычислительных систем за прошедшее 5-летие заметно превзошла достаточно оптимистичные прогнозы, сделанные в работе [4]. Произошло это в основном за счет ускоренного развития конвеерно-векторных и параллельных архитектур уже на уровне внутренней архитектуры современных микропроцессоров. В связи с этим есть все основания экстраполировать ранее сделанные прогнозы еще на 5 лет, приняв во внимание достаточно стабильную динамику роста параметров современных микропроцессоров, а также скорректировав эти прогнозы в сторону более высоких оценок ожидаемой производительности. Ускоренное развитие кластерных систем может привести к достижению ими примерно к 2010 году предельного уровня производительности, соизмеримого с суперЭВМ.
Следует отметить, что в последующем десятилетии следует также ожидать ускоренного развития не только сосредоточенных, но и распределенных кластерных систем, развитие которых будет основано на существенном увеличении пропускной способности базовой инфраструктуры Интернет. Так как в состав распределенных кластерных систем смогут быть включены не только отдельные ЭВМ и/или сосредоточенные кластеры, но и суперЭВМ с массовым параллелелизмом, то можно прогнозировать появление суперкластеров (или мегакластеров), суммарная производительность которых сможет существенно превзойти показатели для отдельных суперЭВМ уже примерно к 2010 году. Как частный случай реализации информационно-моделирующей среды на базе мегакластера можно рассматривать концепцию массивно-параллельной моделирующей среды [2, 7, 8], развиваемую в ДонГТУ начиная с середины 90-х годов в рамках научного сотрудничества со Штуттгартским университетом.
1. Узлы кластера. Наиболее целесообразным выбором для построения узлов кластера в каждый текущий момент являются наиболее мощные массовые системы из средней части ценового диапазона на базе процессоров Intel (в 2001 году это примерно Pentium III 1000 МГц). При этом могут использоваться или однопроцессорные ПК, или SMP-сервера с небольшим числом процессоров (2-4). В настоящее время оптимальным считается построение кластеров на базе двухпроцессорных систем (главным образом благодаря доступности относительно недорогих материнских плат для 2-х процессоров Pentium Ш), несмотря на то, что в этом случае настройка кластера будет несколько сложнее. Объем оперативной памяти на каждом узле должен составлять 128-256 МВ (для двухпроцессорных систем 256-512 МВ). Одну из машин, как правило, выделяют в качестве центральной (головной) куда следует установить достаточно большой жесткий диск и существенно больше оперативной памяти, чем на остальные (рабочие) узлы. Необходимо также обеспечить защищенную связь этой машины с внешним миром с целью наращивания возможностей кластера за счета внешних ресурсов и расширения доступа к нему.
Если эти узлы не планируется одновременно использовать в качестве пользовательских рабочих мест, то нет необходимости устанавливать на них жесткие диски, видеокарты и мониторы. При этом возможна установка узлов в стойки (rackmounting), что позволит уменьшить место, занимаемое ими, но такой вариант будет стоить несколько дороже. В условиях университета наиболее целесообразной является организация кластеров на базе уже существующих сетей рабочих станций. В этом случае днем рабочие станции могут использоваться как отдельные рабочие места пользователей, а в качестве узлов кластера служить вечером, ночью и в выходные дни. Системы такого типа иногда называют COW (Cluster of Workstations).
Количество узлов выбирается исходя из необходимых вычислительных ресурсов и доступных финансовых средств. При этом приходится учитывать, что для большого числа узлов придется также устанавливать более сложное и дорогое сетевое оборудование. Жесткая ограниченность финансовых ресурсов и продолжающееся действие закона Мура (практически линейное улучшение показателей компьютерных систем в среднем в 2 раза каждые 18 месяцев) целесообразна реализации стратегии эволюционирующих кластеров, суть которой заключается в постепенном помодульном наращивании мощности кластера каждые один-два года на фоне поэтапного вывода из состава кластера компьютеров, возраст которых превышает 3-5 лет.
2. Сеть. В простейшем случае для получения достаточно хорошей производительности межпроцессорных обменов может использоваться полнодуплексный Fast Ethernet (100 Mbit/sec). При этом для уменьшения числа коллизий м.б. установлено несколько параллельных сегментов Ethernet или реализовано соединение узлов кластера через коммутатор (switch).
Более дорогостоящими, но существенно более производительными вариантами являются коммутаторы типа Myrinet (1.28 Gbit/sec, полный дуплекс) и технология Scalable Coherent Interface (SCI) [16]. Максимальная скорость передачи для технологий Fast Ethernet и SCI составляет 10 Мбайт/с и 80 Мбайт/с соответственно.
В ближайшее время ожидается также широкое распространение относительно экономичной технологии Gigabit Ethernet. Компания 3Com, например, уже в 2000 году приступила к массовому выпуску сетевых адаптеров, поддерживающих технологию Gigabit Ethernet. Однако при разработке кластеров необходимо иметь ввиду, что скорость передачи данных по сети, например, в рамках технологий Fast Ethernet и SCI существенно зависит от длины сообщения. Для Fast Ethernet характерна большая величина начальной задержки при посылке сообщений, составляющей примерно 160-180 мкс, в то время как для SCI это значение не превышает 5-6 мкс, что особенно важно при передаче большого числа коротких сообщений.
3. Операционная система. Хотя простейшим вариантом программной организации кластера является использование программного обеспечения фирмы Microsoft, в силу целого ряда обстоятельств наиболее целесообразным вариантом следует признать ориентацию на бесплатно распространяемую ОС Linux (в ближайшие годы с усовершенствованным ядром версий от 2.2.* до 2.4.*). Оптимальным представляется использование русифицированного дистрибутива ASP Linux, реализованного на базе RedHat Linux версий 6.2 и выше.
4. Компиляторы. Бесплатные компиляторы проекта GNU – GCC/G77, распространяемые вместе с Linux, к сожалению, не обеспечивают приемлемого уровня оптимизации программ. Поэтому имеет смысл использовать коммерческие компиляторы Fortran/C/C++, например, входящие в пакет PGI Workstation 3.0 компании Portland Group (PGI). Эти компиляторы адаптированы к платформе Intel и обеспечивают очень высокий уровень оптимизации для процессоров Pentium (именно они используются на суперкомпьютере ASCI Red), они также поддерживают популярный интерфейс ОреnМР для распараллеливания программ в модели общей памяти на SMP-компьютерах. В ближайшей перспективе в условиях развития распределенных вычислений существенно повысится роль таких относительно новых сетевых программных технологий как Java и С++ в сочетании с развитием объектно-ориентированных архитектур сетевого взаимодействия (CORBA и аналогичные) эти технологии имеют все шансы стать в будущем основой построения высокопроизводительных распределенных моделирующих сред.
5. Коммуникационные библиотеки. Наиболее распространенным на текущий момент интерфейсом параллельного программирования в модели передачи сообщений является MPI. Рекомендуемая бесплатная реализация MPI – пакет MPICH, разработанный в Аргоннской Национальной Лаборатории. Для кластеров на базе коммутатора Myrinet разработана система HPVM, куда также входит реализация MPI.
Для эффективной организации параллелизма внутри одной SMP-системы возможны два варианта:Для каждого процессора в SMP-машине порождается отдельный MPI-процесс. MPI-процессы внутри этой системы обмениваются сообщениями через разделяемую память (необходимо настроить MPICH соответствующим образом). На каждой машине запускается только один MPI-процесс. Внутри каждого MPI-процесса производится распараллеливание в модели «общей памяти», например с помощью директив ОрепМР. Однако следует помнить, что MPI, который является относительно низкоуровневым средством программирования, целесообразно использовать преимущественно для разработки соответствующего коммуникационного инструментария или коммуникационных библиотек, но не для конечных приложений
6. Выбор задач для реализации на высокопроизводительных моделирующих средах должен осуществляться исходя из возможности их модульной поэтапной реализации с тем, чтобы достаточно быстро можно было накапливать фонд завершенных программных систем и модулей в самых различных областях применения для их последующего учебного и научного использования.
7. Демонстрация производительной мощности кластеров и компьютеров с параллельной архитектурой должна быть по-возможности максимально наглядной и впечатляющей. Желательно (и вполне возможно), чтобы демонстрация вызывала помимо профессионального интереса и чисто познавательное любопытство, то есть была сделана достаточно продуманно и эффектно. Кроме того, целенаправленная реализация при этом принципов когнитивного моделирования [23] может существенно повысить эффективность проведения исследовательских работ и учебных занятий. В связи с этим особое внимание должно уделяться не только тщательному выбору задач, но и детальной проработке средств визуализации. Тем более, что визуализация – это одна из основных областей применения высопроизводительных вычислительных систем.
Таким образом, наиболее перспективным вариантом развития моделирующих сред на ближайшее десятилетие представляется разработка и реализация сосредоточенных и распределенных развивающихся кластерных систем и приложений. Накопление такого фонда моделей может и должно привести в последующем десятилетии к существенному синергетическому эффекту в области инженерного образования и моделирования. При этом следует иметь ввиду, что задача ускоренного развития кластерных технологий является актуальной не только для ДонГТУ [24], но и для развития международного научного сотрудничества в регионе в целом, предпосылки для чего уже вполне созрели. С учетом этого в начале 2001 года ДонГТУ и ДонНУ совместно с другими партнерами уже приступили к созданию региональной высокоскоростной научно-образовательной сети [25].
1. Святный В.А., Цайтц М., Аноприенко А.Я. Реализация системы моделирования динамических процессов на параллельной ЭВМ в среде сетевого графического интерфейса // Вопросы радиоэлектроники, серия «ЭВТ», вып. 2. – 1991 – С. 85-94
2. Anopriyenko A., Svjatnyj V., Braunl Т., Reuter A., Zeitz М. Massiv parallele Simulationsumgebung fur dynamische Systeme mil konzentrierten und verteilten Parametern // 9. Simposium in Stuttgart ''Simulationstechmk", Oktober 1994. Vieweg -1994. – S. 183-188.
3. Anopriyenko A., Feldmann L., Lapko V., Svjatnyj V., Braeunl Т., Reuter A., Zeitz M. Massive parallel models of net dynamic objects. Proceedings of the 1995 EUROSIM Conference, EUROSIM-95, Vienna, Austria, 11-15 September 1995, ELSEVIER. – 1995. P. 237-242.
4. Аноприенко А.Я., Святный В.А. Универсальные моделирующие среды // Сборник трудов факультета вычислительной техники и информатики. Вып.1. – Донецк: ДонГТУ. – 1996. С. 8-23.
5. Svjatnyj V., Feldmann L,, Lapko V., Anopriyenko A., Reuter A., Braunl Т., Zeitz M. Massive parallel simulation of dynamic systems //Zeszyty naukowe. -1997/1 – P. 207-229.
6. Аноприенко А. Я, Кинле А., Святный С. Н., Осипова Т. Ф. Моделирование реактора синтеза уксусной кислоты на базе моделирующей среды DIVA // Сборник научных трудов ДонГТУ. Серия "Информатика, кибернетика и вычислительная техника". Выпуск 1 (ИКВТ-97). – Донецк: ДонГТУ. – 1997. – С. 16-21.
7. Feldmann L.P., Svjatnyj V.A., Lapko V.V., Gilles E.-D., Zeitz M., Reuter A., Rothermel K. Parallele simulationstechnik // Problems of Simulation and Computer Aided Design of Dynamic Systems. Collected Volume of Scientific Papers. Donetsk State Technical University. Donetsk, 1999, p. 9-19.
8. Святний В.А. Проблеми паралельного моделювання складних динамічних систем // Наукові праці Донецького державного технічного університету. Серія: Інформатика, кібернетика та обчислювальна техніка: – Донецьк: ДонДТУ, 1999. – С. 6-14.
9. Aнonpiєнко О.Я., Єрмоленко I.O., Потапенко В.А. Розробка компактних програмних засобів блочно-орієнтованого розподіленого моделювання динамічних систем / Наукові праці Донецького державного технічного угаверситету. Серія "Проблеми моделювання та автоматизації проектування динамічних систем". Випуск 10: – Донецьк: ДонДТУ. – 1999, с. 119-128.
10. Аноприенко А.Я., Забровский С.В., Потапенко В.А. Современные тенденции развития тренажерных систем и их модельного обеспечения // Международный сборник научных трудов «Прогрессивные технологии и системы машиностроения». - Донецк: ДонГТУ. – 2000. – С. 3-7.
11. Аноприенко А.Я., Забровский С.В., Каневский А.Д. Опыт реинжиниринга системы моделирования сложных технологических процессов // Наукові npaui Донецького державного технічного університету. Серія: Обчислювальна техніка та автоматизація: – Донецьк: ДонДТУ, 2000. – С. 139-148.
12. Аноприенко А.Я., Святный В.А. Современные тенденции развития моделирующих сред и их влияние на качество подготовки инженерных кадров // Труды международной научно- методической конференции «Инженерное образование на рубеже столетий: традиции, проблемы, перспективы» 28-30 марта 2000 г. - Харьков: ХГПУ. – 2000. – С. 22-23.
13. Хокни Р., Джессхоуп К. Параллельные ЭВМ. Архитектура, программирование и алгоритмы. – М.: Радио и связь, 1986. – 392 с.
14. Дорфман В.Ф., Иванов Л.В. ЭВМ и ее элементы. Развитие и оптимизация. – М.: Радио и связь, 1988. – 240 с.
15. Высокоскоростные вычисления. Архитектура, производительность, прикладные алгоритмы и программы суперЭВМ. – М.: Радио и связь, 1988, 431 с.
16. Корнеев В.В. Параллельные вычислительные системы. – М.: "Нолидж", 1999. 399 с.
17. Бройнль Т. Паралельне програмування. – К.: Вища школа, 1999.
18. Боггс У., Боггс М. UML и Rational Rose. – М.: «ЛОРИ», 2000, – 582 с.
19. Буч Г., Рамбо Дж., Джекобсон А. Язык UML. Руководство пользователя. – М.: ДМК, 2000. – 432 с.
20. Леоненков А.В. Самоучитель UML. – СПб, 2001. – 304 с.
21. Андреев А., Воеводин В., Жуматий С. Кластеры и суперкомпьютеры – близнецы или братья? / Журнал «Открытые Системы», №05-06/2000.
22. Арапов Д. Можно ли превратить сеть в суперкомпьютер? / Журнал «Открытые Системы», №04/1997.
23. Аноприенко А.Я. От вычислений к пониманию: когнитивное компьютерное моделирование и опыт его практического применения на примере решения проблемы Фестского диска // Научные труды Донецкого государственного технического университета. Серия «Информатика, кибернетика и вычислительная техника» (ИКВТ-99) – Донецк: ДонГТУ. – 1999. – С. 36-47.
24. Аноприенко А.Я., Башков Е.А. Проект УРАН и перспективы развития Интернет в ДонГТУ // Донецкий политехник. – Ноябрь 1999.
25. Минаев А.А., Аноприенко А.Я. Сеть УРАН и перспективы компьютеризации высшего образования в Донбассе // Материалы научно-практической конференции «Стратегия управления социально-экономическим развитием региона на период до 2010 года» 28-29 сентября 1999 г. – Донецк. – 1999. Как правильно ссылаться на эту статью: Аноприенко А.Я., Святный В.А. Высокопроизводительные информационно- моделирующие среды для исследования, разработки и сопровождения сложных динамических систем // Научные труды Донецкого государственного технического университета. Выпуск 29. Серия «Проблемы моделирования и автоматизации проектирования динамических систем» – Севастополь: «Вебер». – 2001. С. 346-367.