Слабоструктурированнные базы данных в гибридной облачной инфраструктуре

Анотация: Статья посвящена исследованию вопросов построения и эффективности использования облачных технологий для построения информационных систем научно-образовательного назначения, работающих со слабоструктурированными базами данных. Определены основные принципы функционирования автоматизированных систем управления облачными ресурсами. Особенностями предложенной архитектуры является использование портальных технологий, автоматическое управление ресурсами и гибридная облачная инфраструктура. Для формирования системы управления рабочими потоками запросов к системе научно-образовательного содержания проведены экспериментальные исследования запросов к гибридной базе данных с XML-данными. Приведены результаты экспериментов, показывающие эффективность использования запросов к облачным сервисам. Показано, что для сложных запросов к слабоструктурированным данным время передачи данных из внешнего облака сравнимо с поиском на локальных серверах. На основе опыта разработки систем приведена технология формирования информационных систем, ориентированных на использование облачных сервисов.

Ключевые слова: гибридные облачные инфраструктуры, образовательные информационные системы,распределенные базы данных, облачные вычисления.

Постановка задачи

Под облачными вычислениями, как правило, понимают интернет-сервисы, предоставляемые специализированными центрами обработки данных в виде аппаратного и системного программного обеспечения [9]. В соответствии с [5] облачные вычисления – это распределенная вычислительная система, состоящая из набора взаимосвязанных виртуальных машин, позволяющая динамически предоставлять вычислительные ресурсы с определенным уровнем обслуживания.

Оба приведенных определения дают представление о современном направлении в информационных технологиях — облачных сервисах, дающих возможность размещать программные приложения и базы данных во внешних центрах обработки данных и делать их доступными через Интернет. Разделяют три вида облачных сервисов: инфраструктура как услуга (IaaS), платформа как услуга (PaaS) и программное обеспечение как услуга (SaaS). Для поддержки приложений Amazon, HP, IBM, Google развернули облачные центры обработки данных по всему миру.

Управление информационными системами на основе полноценного использования облачной инфраструктуры предлагает решение сложных задач [6-8]:

• гарантирование качества обслуживания (Quality of Service, QoS);
• оптимизация ресурсов (снижения энергозатрат, оптимизация стоимости и пр.);
• обеспечение безопасности (как гарантирование сохранения конфиденциальности, так и сохранность данных).

В целом мировые тенденции таковы, что облачные сервисы вытесняют «классические» архитектуры информационных систем, основанные на построении и сопровождении собственных дата-центров (в настоящее время обеспечение отказоустойчивости и критического восьмичасового времени восстановления требует вложения не одной сотни миллионов рублей в серверную плюс затраты на энергообеспечение и строительные работы; последние часто во многих зданиях вообще не осуществимы). Поэтому надо быть готовым к переносу существующих систем в облака. Особенно это актуально для вузов [3], использующих современные дистанционные технологии, и компаний, оказывающих услуги по Интернету для большой пространственно-распределенной группы потребителей [9].

В последнее время появилось значительное количество работ зарубежных авторов, посвященных разработке автоматизированных систем управления динамическим распределением облачных ресурсов. Автономные системы управления облачными ресурсами объединяют в себе свойства самоконтроля, самовосстановления и оптимизации, основанные на мониторинге собственных ресурсов и вычислении настройки собственной работы [6].

Статья посвящена разработке методологии построения информационных систем академического назначения, использующих технологию гибридных облаков, основанную на опыте Московского технологического института «ВТУ». Особенностью систем научного и образовательного назначения является значительное количество слабоструктурированных данных [4].

1. Архитектура управления облачными системами

В [6] определены основные принципы функционирования автоматизированных систем управления ресурсами. Применительно к задачам построения информационных систем в облачной инфраструктуре (компоненты архитектуры) они будут иметь вид, приведенный на рис. 1.

Рисунок 1 – Структура облачных сервисов с автоматическим управлением.

Основными компонентами архитектуры являются:

• применение SaaS-портала — позволяет реализовать персонификацию доступа к приложениям [2];
• автономная система автоматического управления и Framework — включает реализацию принципов автономного управления, включая модули оптимизации [8], при этом QoS-приложения и планировщик добавляются в качестве пользовательских плагинов [1];
• гибридные облака в IaaS — комплексное использование частных облаков компании и публичные облачные сервисы [3].

2. Структура экспериментального исследования запросов

Для формирования блока управления рабочими потоками запросов к системе научно-образовательного содержания проведены экспериментальные исследования, которые схематично можно представить в виде рис. 2. Для экспериментального исследования использовались базы данных, структура которых приведена на рис. 3а.

Рисунок 2 – Структура экспериментального построения системы управления потоками.

Рисунок 3 – Структуры данных. а) Схема данных локальной БД б) Схема данных Гибридного хранилища

В таблице Articles хранятся статьи, размер статьи от 100 Кб до 3 Мб. В таблице Authers содержатся данные авторов статей. Таблица AuthorOfArticles связывает автора со статьёй. У одной статьи может быть один главный автор и несколько соавторов. В тестовой загрузке может быть от 0 до 9 соавторов.

В локальной БД (articlesLocal) данные об авторах и статье хранятся в реляционной базе данных MS SQL Server. Занимаемая память на сервере БД (articlesLocal) 26667,25 МБ.

Структура гибридной БД приведена на рис. 2б. В гибридной БД (articlesHybrid) информация об авторах и статьях в локальной БД на MS SQL Server, а тело статьи — в облачном хранилище Azure Storage. Занимаемая память на сервере БД (articlesHybrid) 47,08 Мб, в облаке — приблизительно 27 Гб.

Произведены тестовые поисковые запросы. Результаты двух экспериментов приведены в табл. 1, 2 и на рис. 4, 5.

Таблица 1. Результаты эксперимента 1.

Таблица 2. Результаты эксперимента 2.

Рис. 4. Результаты эксперимента 1.

Рис. 5. Результаты эксперимента 2.

3. Технология построения облачных информационных систем

Проведенные исследования показали, что для больших баз данных со сложными запросами к слабоструктурированным данным имеет место отсутствие временных потерь на передачу данных в проведенном эксперименте.

Таким образом, для построения информационных систем научного и образовательного содержания со слабоструктурированными данными разработана технология, состоящая из четырех этапов.

1. Оценка общих параметров системы (максимальное количество пользователей для одновременной работы, возможность масштабирования сервисов, наличия персонифицированного доступа).
2. Оценка стоимости проекта (наличие собственных серверных мощностей, сравнение стоимости построения со стоимостью аренды сервисов).
3. Оценка времени доступа к данным, оценка производительности запросов для облачных инфраструктур.
4. Построение автоматической системы распределения ресурсов и направления запросов в распределенной базе данных.

Для решения первого этапа используются многокритериальные методы принятия решений, второй этап реализуется на основе экономико-математических методов оценки проектов; третий и четвертый - на основе методов оптимизации и эффективной оценки поисковых запросов.

Результаты использованы для построения систем в НОУ ВПО «Московский технологический институт «ВТУ».

Работа выполнена частично при финансовой поддержке РФФИ (грант № 11‑07‑00772‑а).

Рецензенты:

Ковшов Е.Е., д.т.н., профессор, зав. кафедрой управления в технических система МГТУ «СТАНКИН», г. Москва.

Барахнин В.Б., д.т.н., доцент, с.н.с. ИВТ СО РАН, г. Новосибирск.

Список источников