Эффективным аппаратным решением для организации параллельных вычислений является вычислительный кластер.

Кластер представляет собой систему, состоящую из набора целостных компьютеров которые выступают в роли единого вычислительного ресурса.

Компьютеры в кластере могут выступать в роли:

• вычислительного узла, выполняющего функции вычисления;

• узла инфраструктуры (головные узлы, узлы управления и хранения данных).

Основными достоинствами кластерного подхода являются дешевизна и легкая расширяемость. Цены на системы кластерного типа стремительно падают, а некоторые конфигурации уже сейчас доступны для одиночных исследователей.

К недостаткам же можно отнести сложность создания эффективных параллельных программ для систем с разделенной памятью.

В настоящее время в списке TOP500 самых высокопроизводительных систем кластеры составляют большую часть – 294 установки.

Украина в рейтинге «Топ-50» самых мощных суперкомпьютеров СНГ на 22 сентября 2009 года представлена двумя кластерными системами:

Создан в январе 2007 года при поддержке президента Украины с целью развития информационной инфраструктуры образования и науки.

Участвует в моделировании в области квантовой химии, материаловедении, биоинформатики и ФВЭ.

Является активным участником украинского грид-сегмента.

Для получения доступа к кластеру пользователю необходимо подать заявку, получить доступ и установить клиентское программное обеспечение.

Структура кластера КПИ

Система 1:

• Узлы:
  – 44 с двумя четырех ядерными процессорами Intel Xeon E5440 @ 2.83ГГц и 8 Гб оперативной памяти в каждом
  – 68 с двумя двух ядерными процессорами Intel Xeon 5160 @ 3.00ГГц и 4 Гб оперативной памяти в каждом

• Сеть обмена данными: Infiniband

• Дисковое пространство: 6 Тб на базе распределенной файловой системы Lustrefs

• Производительность: пиковая 7 ТФЛОПС, linpack 5.7 ТФЛОПС

• ОС: Centos release 5.2

• MPI: openmpi 1.2.8

• Локальный менеджер ресурсов: Torque 2.3.6

• Компиляторы C++: intel 10.1, gcc 4.1.2

• Прикладное ПО: GROMACS 4.0.2, fftw 3.2, GAMESS

• Протокол доступа: SSH

Система 2:

• Узлы: 16 с двумя четырех ядерными процессорами Intel Xeon E5345 @ 2.33 ГГц, 8 Гб й памяти и диском емкостью 500 Гб в каждом

• Сеть обмена данными: Infiniband

• ОС: MS Windows Server 2008 HPC Edition

• MPI: MS MPI 2.0.1551

• Локальный менеджер ресурсов: HPC Job Manager

• Протокол доступа: RDP

Материнские платы узлов поддерживают интерфейс IPMI для отдаленного управления.

Система хранения данных включает следующие составляющие:

• 6ТбТБ + 6,5 Тб просторную на базе системы хранения Falconstor

• 20 Тб просторную в ленточном архиве

В 2004 г. в Институте кибернетики НАН Украины для решения задач, которые имеют большие и сверхбольшие вычислительные размеры и требуют ускоренной обработки больших массивов данных (задачи экономики, экологии, сейсмической разведки, моделирования) был разработан и введен в опытную эксплуатацию вычислительный комплекс из двух кластерных суперкомпьютеров для информационных технологий.

Характеристики СКИТ:

• Кластер СКИТ-1 – 32-процессорный 16-узловой кластер на микропроцессорах Intel Xeon 2,67 Ггц (имеет разрядность 32 бита и возможность выполнять вычисления с 64 и 128-битовыми данными).

• Кластер СКИТ-2 – 64-процессорный 32-узловой кластер на микропроцессорах Intel Itanium 2 1,4 Ггц (имеет разрядность 64 бита и возможность выполнять вычисления со 128 и 256-битовыми данными, а также систему хранения данных объемом 1 Тбайт).

Кластеры образуют: многопроцессорный вычислитель, управляющий сервер, файловый сервер и сервер доступа, соединенные через различные сетевые среды.

Характеристики кластера СКИТ - 3:

• 127-узловой кластер на многоядерных процессорах (75 узлов на двух ядерных процессорах Intel Xeon 5160 и 52 узла на четырех ядерных процессорах Xeon 5345).

• Пиковая производительность кластера 6500 Гфлопс, реальная подтвержденная производительность (на 125 узлах) 5317 Гфлопс

• Тип процессоров - двуядерный Intel Xeon 5160 и четырех ядерный Intel Xeon 5345 с архитектурой EM64T (тактовая частота соответственно - 3,0 ГГц и 2,2 ГГц, кэш - 4 Мбайт, потребляемая мощность 80 Вт, число процессоров в узле кластера - 2).

• Оперативная память узла - 2 ГБайта на ядро, соответственно, 8 и 16 ГБайт.

• Число ядер-процессоров в узле соответственно - 4 и 8.

Вычислительные средства кластера (вычислительные узлы и управляющий узел) представляют собой массив серверов, связанных между собой двумя ЛВС - высокоскоростной сетью InfiniBand (пропускная способность канала до 900 Мбайт/с) и сетью Gigabit Ethernet (пропускная способность канала до 1000 Мбит/с).

Сеть InfiniBand предназначена для высокоскоростного обмена между узлами в ходе вычислений. При обмене данными между двумя узлами по сети InfiniBand с использованием протоколов MPI может быть достигнута пропускная способность 850 Мбайт/с.

Сеть Gigabit Ethernet предназначена для соединения всех вычислительных узлов кластера с управляющим узлом и файл-сервером.

Высокопродуктивный кластер на базе процессоров Intel Core 2 Duo с поддержкой технологии EM64T, которая позволяет в полной мере реализовать все преимущества современных 64-разрядных систем.

В настоящее время кластер включает 12 компьютеров с процессорами Intel Core 2 Duo E6320, что основаны на ядре Conroe и работают на частоте 1. 86 GHz (частота системной шины 1066 MHz). Каждый узел содержит 1 Gb RAM и 200 Gb HDD.

Поддержка технологии EM64T (Intel Extended Memory 64 Technology) позволяет выполнять 64-разрядные дополнения на серверах, рабочих станциях и настольных платформах Intel.

Процессоры с технологией EM64T поддерживают 64-разрядные операционные системы Microsoft, Red Hat и SUSE, имея в то же время полную совместимость с существующими 32-разрядными дополнениями и операционными системами.

Как основное системное программное обеспечение, для кластера на текущем этапе выбрана операционная система Windows Compute Cluster Server 2003, что обеспечивает на сегодня более простое  и более эффективное (в частности наиболее эффективное по соотношению цена/производительность) решение для масштабируемых заданий в бизнесе, науке и инженерных дополнениях.

В этой топологии все узлы объединены сетью только общего доступа, по которой проходит весь сетевой трафик. На узлах кластера в рассматриваемой топологии необходимо наличие только одного сетевого адаптера. Обслуживание RIS-образов не поддерживается, т.е. каждый узел необходимо установить и активировать вручную.

Использование этой топологии гарантирует максимальные возможности для доступа между узлами кластера, но уступает другим по производительности.