ВВЕДЕНИЕ

При эксплуатации информационных телекоммуникационных сетей одной из основных проблем является неравномерность нагрузки, возникающая в разное время и на разных участках сети. В результате уменьшается экономическая эффективность использования недогруженных участков, а перегруженные участки ухудшают качество предоставляемых услуг. Проблема нивелируется внедрением дополнительных ресурсов, которые перекрывают чрезмерную нагрузку. Эти ресурсы можно находить двумя способами: статически устанавливать дополнительный запас или динамически перераспределять свободные ресурсы всей сети. Поскольку эта неравномерность нагрузки является процессом стохастическим по времени, то эффективно ее решить статическими методами невозможно [1].

Динамические системы перераспределения нагрузки можно найти в любой сфере современных телекоммуникационных сетей: распределитель нагрузки в современных центрах обработки данных; протоколы управления потоками [2] в IP / MPLS; концепция SON (Self-Organization Network), на базе которой лучше развертывать мобильные сети 4-го поколения [3]. Но все эти системы используют различные методы, алгоритмы и принципы организации для решения задачи балансировки нагрузки (перераспределения потоков).

Такие системы являются сложными. Их эффективность сильно зависит от использованных методов анализа входной нагрузки, систем мониторинга состояния работы различных участков сети, методов управления, скорости реакции на динамические изменения характера нагрузки и т.д. Недооценка любого из факторов может привести к ухудшению эффективности самой системы, т.е. к неоправданным затратам.

Поэтому есть смысл промоделировать и исследовать такие системы программными методами. Разработка программ для каждой из систем является очень долгосрочной задачей. Чтобы ускорить процесс решения этой задачи нужно разделить задачу на 2 структурные части: разработку универсальной модели (ядра программы, реализующей общие взаимодействия и методы всех систем) и адаптации ядра к различным системам.

Целью работы является повышение эффективности процесса исследования средств динамического перераспределения потоков в телекоммуникационных сетях за счет разработки специализированного программного пакета и по результатам исследований разработать алгоритм балансировки нагрузки.

Для реализации цели были поставлены следующие задачи:

–  анализ современных тенденций развития телекоммуникационной сферы и предоставляемых услуг;

–  анализ существующих методов балансировки нагрузки (распределение потоков) в различных системах;

–  разработка универсальной аналитической и программной модели для системы с распределителем нагрузки;

–  адаптация модели к исследованию алгоритмов управления распределения потоков в центрах обработки данных (ЦОД);

–  адаптация модели к исследованию балансировки нагрузки в самоорганизующихся сетях;

–  разработка собственного алгоритма балансировки нагрузки.

В работе впервые предложена универсальная модель для системы реализующей функции распределения потоков. На базе модели был создан программный продукт, позволящий анализировать и исследовать системы балансировки нагрузки в сотовых сетях 4-го поколения и в центрах обработки данных. Будет разработан собственный алгоритм балансировки нагрузки.

АНАЛИЗ ОБЪЕКТА ИССЛЕДОВАНИЯ

Анализ современных тенденций развития телекоммуникационной сферы

Проведем анализ статистики предоставления телекоммуникационных услуг, и тенденций их развития в Украине [4], и у лидера внедрение современных телекоммуникационных технологий - Швеции [5]. Анализируя статистические данные, приходим к выводу: рынок стационарной связи уменьшается [6], а мобильной (сотовой) возрастает. Так же растут темпы предоставления услуг Internet и широкополосного доступа к этой услуге. Эта тенденция подтверждается компанией МТС [7] и iKS-CONSTULTING [8].

Подтверждение этих тенденций можно отметить в статистике снижение использования стационарной голосовой связи (говорилось выше) и эфирного телевидения [9], а также в повышении спроса на услуги VoIP и росте видео-интернет трафика [10]. В частности в 2008 году доля прибыли VoIP в общей прибыли услуг связи в России не превышала 8%, а за 2009 год выросла почти вдвое - до 15%. Ожидается, что в конце 2012 г. доля трафика VoIP достигать 40% [11].

Отчет Morgan Stanley прогнозирует в мире 103%-й рост трафика VoIP к 2014 г. - показатель, уступающий лишь темпам роста видео-трафика. Важную роль в этом сыграла растущая популярность передачи данных в мобильных сетях с помощью смартфонов. С февраля 2009 по февраль 2010 года этот вид трафика вырос на 193% [12].

Можно подвести итог, что наиболее востребованной услугой будет широкополосный доступ в Internet, и в пределах этого доступа будут реализованы сервисы голосовой связи, телевидения, передачи данных.

Отметим новейшие технологии, которые акцентированы на предоставление услуг широкополосного доступа: мобильные сети 4-го поколения (LTE [3,13-17], WiMAX [18,19]), технологию предоставления мультисервисных услуг IP / MPLS [2,20,21] , маркетинговую концепцию Triple Play [22], сервисы распределенных вычислительных центров обработки данных [23-25].

Все системы применяются для предоставления услуг ШПД на разных участках телекоммуникационной сети. Их общее взаимодействие и взаимопроникновение можно отразить схемой - рисунок 1. Рассмотрим некоторые из этих систем подробно, отметив применения в них балансировки нагрузки.

Рисунок 1 - Сеть Triple Play построенная на новейших технологиях

Анализ системы распределения нагрузки в центрах обработки данных

Уже сейчас получили широкое распространение мультимедийные сайты, предоставляющие возможности получить одновременный доступ к любому виду контента: видео, текст, музыка, графика и т.д. Кроме того, эти сайты являются очень крупными и популярными, многие из них посещают миллионы ежедневно [26]. Для реализации такого сервиса необходимо иметь огромный кластер вычислительных систем, который хранит информацию и обрабатывает запросы поступают. Для оценки нагрузки, поступающей, приведем данные компании Twitter [27]:

–  около 600 запросов в секунду;

–  в среднем система поддерживает 200-300 соединений в секунду;

–   MySQL обрабатывает около 2400 запросов в секунду;

–  в среднем ответ на запрос к базе данных составляет 50-100 миллисекунд.

Для организации и согласование работы таких кластерных вычислительных центров применяется распределитель нагрузки, принимающий решение о дальнейшем движении каждого запроса. Алгоритмы, применяемые, можно разделить на статические и динамические. Повышенная интеллектуальность динамических алгоритмов влечет накладные расходы, связанные со сбором информации с хостов, но лучше адаптируется к изменениям трафика.

К статическим дисциплинам относят Random и Round Robbin. В Random сервер выбирается случайным образом с помощью равномерного распределения. Дисциплина Round Robbin реализует принцип циклического перебора.

Для любой динамической дисциплины возникает вопрос выбора управляющего параметра. Как критерий эффективности обычно принимают два показателя [23]:

–  время пребывания заявки на сервере;

–  замедление (slowdown), во сколько раз замедляется обслуживание запроса из-за наличия очереди.

Наиболее распространенными динамическими дисциплинами являются:

–  Least Loaded (LL) - выбор сервера по критерию наименьшей загрузки его ресурсов (процессора, памяти, диска, количества очередей сообщений);

–  Least Connected (LC) - выбор сервера по критерию наименьшего числа текущих открытых TCP / IP сессий;

–  Fast Response (FR) - выбор сервера по критерию самой быстрого ответа на тестовый запрос от распределителя нагрузки;

–  Weighted Round Robbin (WRR) - при циклическом переборе каждому серверу передается несколько запросов, в соответствии с весом сервера, пропорционально, например, его текущей загрузке [24];

–  MC-RR (Multi Class Round Robbin) - все возможные запросы разделены по ожидаемому влиянию на сеть, процессор и диск: с высокой нагрузкой на диск; с высокой нагрузкой на процессор, с высокой нагрузкой на диск и процессор. Запросы первого класса характерны для систем Web-публикаций, другие для обработки Web-транзакций и мультимедийных Web-приложений. Запросы одного типа (класса) обслуживаются согласно дисциплины RR на определенных для этого типа запросов серверах. С небольшими модификациями метод MC-RR известен также как CAP (Client-Aware Policy).

Универсальный подход, к использованию динамических дисциплин, был реализован в IBM Network Dispatcher [24,25]. Авторы ввели понятие индекса загрузки Load Metrics Index (LMI) и разделили показатели качества работы системы на три класса.

–  Input - вычисляются локально в распределителе. Например, количество соединений, установленных с сервером за последние t единиц времени.

–  Host - вычисляются на каждом сервере. Например, степень загрузки сервера.

–  Forward - вычисляются путем сетевого взаимодействия распределителя нагрузки с сервером. Эти характеристики доставляют специальные скрипты-агенты. Например, подача HTTP-запроса "GET /" и измерение времени ответа. Далее, по вектору LMI для каждого сервера вычисляются значения функции WCF (Weight Computation Function), и выбирается сервер с наибольшим ее значением.

Алгоритмы являются главной частью распределителя нагрузки, но кроме описания алгоритмов нужно имитировать работу серверов и генерировать поток входящих запросов.

Балансировка нагрузки в сети LTE-SON за счет использования свойств самоорганизации

Технология LTE и WiMAX созданы специально для предоставления на участке последней мили мобильного канала доступа к сети Internet, с уровнем скорости сопоставимым со стационарными каналами доступа [17]. Эти технологии основаны на модуляции сигнала OFDM и имеют очень высокую эффективность использования частотного ресурса (5-10 бит / с / Гц). Но в самих системах заложен еще один способ повышения эффективности использования ресурсов сети - построение сети на принципах самоорганизации. Self Organization Network (SON) легко интегрируется в LTE благодаря существующим интерфейсам, модулям и протоколам управления сетью [13-16].

Существуют три основные составные части концепции SON, которые критичны для создания сети [3].

–  Самоконфигурация - plug-and-play, автоматическое создание базовой станцией перечня соседних станций (АNR - Automated Neighbour Relation), автоматическое назначение CellID и настройка радиопараметров: используемые частоты, контроль интерференций, контроль мощности сигнала излучения и угла наклона антенны.

–  Самооптимизация - автоматическое определение параметров базовых станций, которые обеспечивают наивысшее возможное качество обслуживания абонентов (нахождение новых соседних станций и удаление неактивных соседей, координация уровней мощности для уменьшения интерференции между соседними базовыми станциями, оптимизация процессов хендовер и конфигурации QoS).

–  Самовосстановление – автоматическое определение отказов в работе оборудования и соответствующую реконфигурацию сети в случае отказа любой базовой станции.

При распределении мощностей в стандартах 2G/3G каждая БС имеет фиксированную зону покрытия. Однако абоненты распределены по территории неравномерно и постоянно передвигаются по площади - поэтому нагрузка на БС также распределены неравномерно. Некоторые современные системы позволяют частично перераспределить ресурсы с помощью так называемых «дышащих сот», но такое решение также не является совершенным, поскольку не учитывает режим работы соседних сот. Поэтому наиболее удачным и есть решение на базе концепции самоорганизующихся сетей.

Благодаря обмену информацией между соседними БС - каждая соседняя станция может согласовать с соседями мощность излучения своего приемопередающего устройства, таким образом может изменить свою зону покрытия. Это позволяет плавно перераспределить нагрузку (потоки) между всеми участками сети. Так же БС передают сообщения центральном ядру управление, которое может управлять изменениями сразу на нескольких участках и согласовать их между собой.

То есть в сети LTE-SON можно выделить несколько главных элементов: главное ядро, которое управляет сегментом сети, базовые и мобильные станции. Также важными параметрами являются пропускная способность БС и пропускная способность канала необходимая каждой МС. Изменение мощности БС приводит к перераспределению МС между БС с учетом критерия равномерности загрузки.

РАЗРАБОТКА УНИВЕРСАЛЬНОЙ МОДЕЛИ

Разработка аналитической универсальной модели для системы с распределителем потоков

Основной особенностью разрабатываемой модели является ее универсальность. Поэтому первоочередным этапом создания программного пакета - было создание аналитической модели, которая могла бы сочетать в себе решения для различных систем.

Рассмотрим систему распределения потоков LTE-SON. Главным ресурсом, который перераспределяется, является общая пропускная способность каждой БС. Этот ресурс перераспределяется, исходя из существующих тарифных планов, требований к качеству обслуживания, местоположения МС и другое. Приведем структурную схему, отображающий выше сказанное - рисунок 2.

Воспроизведем аналогичную обобщенную структурную схему ЦОД. Во время работы системы перераспределяются ресурсы процессора и памяти каждого сервера, входящего в кластер. Каждый запрос, принадлежащий входному потоку, имеет свой тип, цель, размер, время обслуживания - благодаря чему несет некий «вес» для ресурсов кластера на свою обработку. Каждый сервер исходя из скорости ответов, скорости обслуживания конкретного типа запроса, многопоточности и т.д. - имеет свой "вес" в кластере. Распределитель нагрузки в этом случае руководит потоками, исходя из свободных ресурсов машин кластера - рисунок 3.

Системы распределения и назначения этих систем совершенно разные, но структурно процесс балансирования одинаков для этих систем. Это позволяет сформулировать универсальную аналитическую модель, а на ее основе разработать универсальную программную модель.

Рисунок 2 - Структурная схема распределения потоков в LTE-SON

Рисунок 3 - Структурная схема распределения потоков в ЦОД

Разработка программной универсальной модели для системы с распределителем потоков

Общий скелет программной модели задает аналитическая модель, но кроме того нам потребуются и другие структуры. Это обусловлено тем, что программная модель (framework) должна не только описать процессы, происходящие, а еще дать гибкие механизмы для моделирования, исследования и управления самой моделью.

Типичным элементом во всех структурах является поток чего-либо: запросов, пакетов, мгновенных пропускных способностей. Поэтому первый выделенный объект - «Поток». Он представляет из себя многомерный массив. В столбце первое значение является некоторым уникальным ключом (отсчет времени для запросов, UID для мобильных станций). А другие значения - набор параметров, характеризующих конкретный элемент (тип запроса, адрес получателя, необходима минимальная и желательна пропускная способность и др.). Также в этом объекте актуально реализовать еще ряд методов определения статистических характеристик потока и тд.

Так же во всех структурах есть «Рабочий элемент». Это именно те элементы, которые вносят в систему понятие ограниченности ресурсов: базовые станции, сервер в кластере, полоса пропускной способности канала в IP / MPLS. Этот объект очень специфичен для каждой задачи. Но его можно описать в глобальном масштабе через такие параметры: рабочий ресурс (мощность процессора, выделенный диапазон частот и мощность излучения, максимально возможная пропускная способность), состояние (устоявшиеся рабочие параметры), изменение состояния (новая задача, поломка) и степень загрузки (процессора , частотного ресурса, канала связи и др.). У нас всегда есть группа «рабочих элементов», которые работают совместно - необходимо создать интегрирующий объект - «Система», который всегда будет описывать работу элементов в совокупности. Его параметрами будут: массив «рабочих элементов», состояние системы, изменение состояния системы, общесистемные и средние показатели загрузки.

Последний основной объект - «Распределитель» - объект осуществляющий через «потоки» взаимодействие между объектами «генератор начального потока» и «система», решая при этом поставленную задачу распределения потоков. Его параметрами есть целый ряд объектов, которые решают различные типовые задачи. Перечислим их ниже.

Для каждого случая поток нужно задавать согласно своим правилам. Например, для LTE / SON это будет набор всех мобильных станций в сегменте сети и пропускные способности, которые они потребуют, а для WEB-проекта - последовательность запросов и их тип за определенный промежуток времени. Поэтому необходимо создать объект - «Генератор начального потока». Он должен считывать необходимый поток из заданного источника, либо сам его генерировать.

Важнейшим объектом-параметром является объект «Управление», который решает задачи распределения входного (выходного) потока в «Распределитель» между исходными (входной) потоками. Учитывая, что управление во многих алгоритмах невозможно без методов оптимизации - выделяется объект-параметр «Оптимизация». Методы оптимизации могут накапливать информацию прошлых решений, исходных данных и уточнять принятые решения исходя из этого объема информации. За данную функцию отвечает объект-параметр - «Память». Применение прогностического контроля диктуют появление объекта-параметра «Прогноз». Все эти объекты описывают общие принципы взаимодействия модели с задачами прогноза, оптимизации и т.д., а реальные методы прогноза, оптимизации и т.д. задаются в унаследованных объектах, что позволяет легко изменять применяемый метод, не изменяя структуру всей модели.

Данная универсальная программная модель была реализована программными средствами динамической объектно-ориентированного языка программирования Ruby. Общий вид программной модели представлен ниже с помощью UML-диаграммы - рисунок 4.

Рисунок 4 - UML-диаграмма универсальной программной модели

ВЫВОДЫ

Актуальной является задача анализа, исследования и разработки систем распределения потоков. Были рассмотрены две разноплановые системы, где используются алгоритмы балансировки. Общий анализ таких систем помог разобраться в составляющих элементах систем, принципах организации методов балансировки, собрать материал для создания универсальной модели распределителя нагрузки (потоков).

Была разработана и реализована программная модель (framework) для исследования задач распределения потоков. Данная модель дает общий инструментарий для создания конкретных моделей исследования, облегчая:

–  использование одинаковых алгоритмов и структурных единиц в различных методах и системах;

–  описание взаимодействия между элементами;

–  акцентирование внимания на реализации математического аппарата, а не программных реализаций.

Далее, в процессе выполнения магистерской работы, будут рассмотрены адаптации модели к указанным системам распределения потоков. На основании этих адаптаций будут созданы программы для исследования поставленных ниже задач. Первая задача - исследование перераспределения нагрузки сети LTE-SON. Вторая задача - оценка эффективности различных алгоритмов балансировки нагрузки в кластерных сетях. Эти исследования выявят плюсы и минусы различных алгоритмов, что позволит учесть недостатки других алгоритмов при разработке собственного алгоритма балансировки нагрузки.

ПРИМЕЧАНИЕ:При написании данного автореферата квалификационная работа магистра еще не завершена. Дата окончательного завершения работы: 1 декабря 2011г. Полный текст работы и материалы по теме работы могут быть получены у автора или его научного руководителя после указанной даты.