Матвиенко Илья Владимирович
Специальность: Телекоммуникационные сети и системы
Исследование и разработка сетевых средств предоставления доступа к библиотечной базе данных
Научный руководитель: Бойко Виталий Викторович
Исследование и разработка сетевых средств предоставления доступа к библиотечной базе данных
Введение
Актуальность
В связи с реализацией проекта библиотечного центра ДонНТУ, стала актуальной задача наиболее эффективного использования его услуг. Основным функциональным элементом библиотечного центра является его база данных. Одним из способов повышения эффективности работы центра является предоставление доступа к БД из любой части не только библиотечного центра, но и всех корпусов университета.
Практическая значимость
Более эффективный, удобный и быстрый доступ к базе знаний, хранящейся в БД, позволит повысить продуктивность работы преподавательского состава университета и предоставит студентам возможность эффективнее выполнять поиск в базе знаний университета.
Т.о. все учебные материалы будут всегда структурировано храниться в одном месте, доступ к которому может получить каждый в любое время, что даст существенный выигрыш во времени доступа к интересующей информации по сравнению с обычной схемой работы библиотеки.
Концепция проекта
Центральным элементом системы является база данных, доступ к которой позволяет осуществлять все сервисы в сети. Т.о. вся нагрузка сосредоточена в одном заранее известном направлении, что определяет дальнейший ход действий. А именно: организация доступа к БД, разделение пользователей системы на классы, решения связанные с проектированием транспортной сети, решения по оптимизации трафика сети с целью повышения ее эффективности.
Решаемые задачи
В рамках магистерской работы выполняется разработка и исследование сетевых средств предоставления доступа к библиотечной базе данных (БД).
Данную задачу можно разделить на следующие:
1) Анализ объекта и описание информационной модели
Анализ географии объекта
Объект расположен в Ворошиловском районе города Донецк. Занимаемая площадь составляет около 2 км2. Ниже на рисунке приведено схематическое расположение корпусов ДонНТУ с учетом находящегося в строительстве библиотечного информационного центра (БИЦ).
- Планирование сервисов вычислительной системы:
- Поиск всех видов медиа-данных хранящихся в БИЦ
- Загрузка найденных данных
- Аудио и видео по запросу
Все сервисы предоставляются через интерактивный Web-интерфейс расположенный на Web-сервере в БИЦ.
- Все абоненты распределяются на несколько классов:
- Администраторы
- Студенты
- Преподаватели
- Работники библиотеки
Каждый класс абонентов характеризуется своими параметрами трафика и параметрами системы безопасности.
Таблица 1 – ожидаемые объемы использования услуг системы классами абонентов
Класс абонетов | Запросы к БД | Передача видео | Передача аудио | Передача графических данных | Передача текстовых данных |
Администраторы | 2% | 1% | 1% | 1% | 1% |
Студенты | 48% | 65% | 65% | 65% | 65% |
Преподователи | 45% | 20% | 14% | 14% | 14% |
Работники библиотеки | 5% | 14% | 20% | 20% | 20% |
100% | 100% | 100% | 100% | 100% |
Таблица 2 – распределение прав доступа среди абонентов разных классов
Класс абонетов | Непосредственный доступ к БД | Работа с Web-интерфейсом | Непосредственный доступ к файловому храналищу |
Администраторы | + | + | + |
Студенты | - | + | - |
Преподователи | - | + | - |
Работники библиотеки | - | + | + |
Общий вид информационной модели объекта приведен на рисунке 2.
Вывод по разделу: центральным элементом объекта является база данных БИЦ, именно к ней направлены все запросы на обеспечение остальных сервисов системы. Соответственно при дальнейшей разработке необходимо учитывать, что важнейшей задачей является предоставление надежного и качественного доступа к БД.
2) Эскизное проектирование транспортной сети (курсовая работа)
Данная задача решена в рамках курсового проекта по проектированию телекоммуникационных сетей.
Исходя из выводов пункта 1, становится очевидным, что ключевым элементом в обеспечении надежного и качественного доступа к БД является транспортный уровень системы. Уровень доступа является некритичным с точки зрения пропускной способности.
Обзор типовых решений
Обзор типовых решений для проектирования сетей данного типа приведен в статье «Проектирование кампусных сетей» [1]. Данная сеть является типичной кампусной сетью, построенной по технологии Gigabit Ethernet. Полученная топология приведена на рисунке 3.
Используется топология смешанного типа с обеспечением отказоустойчивости. В нижней части схемы использована топология кольцо, которая обеспечивает отказоустойчивость при выходе из строя одного из магистральных каналов т.к. имеет резервные каналы. Для остальных участков сети в качестве резервных каналов выступают арендованные каналы глобальной сети Internet с построением на их основе защищенных приватных сетей (VPN–тоннели).
Анализ трафика в сети
По условиям проектирования всем абонентам предоставляется определенная «идеальная» пропускная способность для предоставления сервисов системы.
Сначала необходимо определиться с масштабами сети по количеству абонентов.
Ожидаемое число абонентов и их территориальное распределение приведены в таблице 3.
Таблица 3 – ожидаемое количество и распределение абонентов на объекте проектирования
Корпус | Служебные ПК | Рабочие ПК | Количество этажей | Количество пользователей Wi-Fi на этаже | Всего |
1 | 30 | - | 4 | 20 | 110 |
2 | 25 | - | 3 | 15 | 70 |
3 северная часть | 30 | - | 6 | 10 | 90 |
3 южная часть | 30 | - | 3 | 30 | 120 |
4 | 30 | 75 | 3 | 15 | 150 |
5 | 20 | - | 4 | 15 | 80 |
6 | 15 | - | 4 | 15 | 75 |
7 | 30 | - | 7 | 18 | 156 |
8 | 80 | 90 | 8 | 18 | 314 |
9 | 30 | - | 4 | 20 | 110 |
11 | 30 | - | 4 | 20 | 110 |
БИЦ | - | 124 | 1 | 20 | 144 |
Всего | 1529 | ||||
Служебные ПК – ПК находящиеся в распоряжении сотрудников университета.
Рабочие ПК – ПК общего пользования в корпусах университета.
Пользователи Wi-Fi на этаже – пользователи мобильных пк имеющие беспроводный доступ к сети в корпусах университета.
Анализ трафика на одного абонента
Трафик расчитывается отдельно для каждого вида услуги на каждом сетевом узле по формуле (1).
yi (k) = Bср(k)·Nаб(k)·Tс(k)·fвиклi (k) (1)
где k – номер сетевой услуги;
i – номер узла;
yi (k) – математическое ожидание трафика, который генерируется k-й услугой на і-м узле;
Bср(k) – скорость передачи данных (в битах либо пакетах в секунду) – средняя пропускная способность канала связи, которой достаточно для качественной передачи трафика k-й услги;
Nаб(k) – количество абонентов на і-м узле, которые пользуются k-й услугой;
Tс(k) – средняя длительность сеанса связи для k-й услуги;
fвиклi (k) – среднее количество вызовов в час наибольшей нагрузки(ЧНН) для пользоватлей i-го узла, которые используют k-ю услугу.
Скорость передачи данных Bср(k) находится по формуле (2):
Bср(k) = Bmax(k) / P (k) (2)
где Bmax(k) – максиалмьная пропускная способность канала связи;
P (k) – пачечность на одного абонента. Суммарный трафик на і-м узле равен:
y ∑i = ∑k=1Nk ( yi (k) ) (3)
Вся нагрузка, генерируемая узлом идет в направлении БИЦ.
Таблиця 4 – параметры трафика в расчете на 1-го абонента
Сервис | Максимальная скорость, мбит/с | Пачечность | Длительность сеанса связи Тс, с | Количество вызовов в ЧНН, Fвыз | Входная нагрузка в ЧНН (Эрл) | МО трафика услуги, Кбит/с |
Запросы к БД | 0,064 | 10 | 1 | 35 | 0,0097 | 0,0637 |
Передача видео | 2 | 1 | 600 | 2 | 0,333 | 682,7 |
Передача аудио | 2 | 3 | 300 | 4 | 0,333 | 227,56 |
Передача графических данных | 2 | 5 | 60 | 10 | 0,1667 | 68,27 |
Передача текстовых данных | 0,256 | 60 | 60 | 15 | 0,2500 | 1,0923 |
979,65 |
Для данной сети возможны 2 варианта наиболее «тяжелых» аварийных режимов работы сети в сегменте с кольцевой топологией:
При обрыве связи между 8-м и 4-м корпусом
При обрыве связи между 8-м и 2-м корпусом
С учетом таблиц 3 и 4, а также двух аварийных режимов рассчитывается пропускная способность всех транспортных каналов связи между корпусами, эти данных заносятся в таблицу 5.
Таблица 5 – распределение трафика на каналы связи
Корпус | Направление нагрузки | Макс. Исходящая нагрузка, мбит/с |
1 | 9 | 512 |
2 | 1 | 581 |
3 | БИЦ | 203 |
4 | 8 | 581 |
5 | 4 | 436 |
6 | 1 | 74 |
7 | 11 | 151 |
8 | БИЦ | 884 |
9 | 5 | 357 |
11 | БИЦ | 258 |
БИЦ | 1485 |
Результатом решения данной задачи является структурная схема транспортной сети, выбор и настройка оборудования.
3) Разработка метода миграции существующей базы данных в новую среду
Постановка и актуальность задачи
Существующая база данных является уникальной в своем роде. Она была создана для хранения специфических данных в соответствии с библиотечными стандартами систематизации этих данных [2]. Существующая база данных работает под управлением InterBase сервера, в то время как новая проектируется для MSSQL.
Учитывая необходимость сохранения данных, которые уже накоплены в процессе работы с БД, существует необходимость миграции данных в новую среду управления и хранения данных. Общепринятая практика миграции данных из одной системы управления базами данных (СУБД) в другую заключается в использовании автоматизированных средств и программных продуктов, но для рассматриваемого случая необходимо создание собственного конвертора.
Для реализации конвертора необходимо определенным образом подготовить данные, которые нуждаются в миграции. Эта подготовка состоит в изучении структуры существующей БД и написании правильных и рациональных запросов к исходной БД.
- Существующая БД имеет несколько существенных недостатков:
- Ее структура полностью недокументирована. С этим связана невозможность дальнейшего эффективного развития БД и внесение изменений в логику ее работы.
- БД является ненормализованной и неоптимальной, из-за этого в ней присутствует избыточность, что увеличивает количество логических ошибок при работе [3]. В результате оптимизации и нормализации была создана новая реляционная архитектура.
- Будущая и существующая БД работают в разных средах.
Методика решения задачи
Методика, которой предлагается воспользоваться, заключается в работе с БД и исследовании процессов, которые в ней происходят при ежедневной работе операторов библиотеки.
Поля таблиц заполняются так как это делает оператор библиотеки, и в то же время происходит мониторинг запросов к БД из клиентской программы. Непосредственно в сами поля можно вносить их названия в соответствии с системой RUSMARC [2].
Описание метода
- Создается пустая копия исходной БД.
- Выбирается раздел библиотечной БД, который необходимо проанализировать.
- Выполняются запросы к БД через клиентскую программу, в ответ на работу с выбранным разделом БД. Сразу же в программе мониторинга фиксируются листинги запросов к БД. Все листинги запросов после успешного выполнения действий в клиентской программе (например внесения изданий в реестр библиотечного фонда) должны быть сохранены.
- Выполняется анализ полученных запросов в менеджере БД с целью выявления тех частей листинга, которые позволили бы определить с какими полями и таблицами взаимодействовала клиентская программа при выполнении определенных операций.
- Отдельные части запросов проверяются через консоль СУБД, т.к. большая часть листинга не несет практической ценности для исследования, а служит лишь вспомогательной для формирования списков и справочной информации в клиентской программе.
- Выполняется поиск логических связей между таблицами.
- Формируются окончательные объединенные запросы для получения данных, которые должны быть конвертированы.
Рисунок 4 - процесс работы метода
частота кадров - 15 кадров/с, анимация выполнена в Macromedia Flash 8
Результат: метод миграции базы данных.
Новизна: решение нетривиальной актуальной задачи.
Направление дальнейшей деятельности – нормализация и миграция ненормализованных данных в нормализованную структуру.
Материалы данного раздела представлены в виде публикации [4].
Последующие задачи на данный момент выполнения магистерской работы не завершены. Ниже приведены направления работы над ними.
4) Разработка схемы соединений сети доступа для корпуса университета
Схема соединений сети доступа для корпуса представляет собой общий вид и топологию сетевых соединений внутри корпуса. Рассматривается также подключение к транспортной сети, выбор и настройка сетевого оборудования.
Помимо самой схемы соединений необходимо решить проблему аутентификации пользователей с учетом ранее рассмотренного деления абонентов на классы в первом разделе.
Выполняется обзор технологий аутентификации в подобных сетях: RADIUS, TACACS+, доменная система, средства аутентификации Apache. Выбор наиболее подходящего способа в рамках данной работы.
Результат: функциональная схема сети доступа, решение по методу аутентификации.
5) Исследование нагрузки на сеть
Выполняется анализ вредоносного трафика (исследование и анализ существующей сети, анализ мировых тенденций возникновения проблем в аналогичных сетях).
Разработка методов устранения нежелательного трафика (комплексное решение проблемы, решение проблемы на аппаратном уровне по результатам анализа). Составление списков доступа на маршрутизаторах, применение составленных списков доступа в наиболее подходящих с точки зрения общей производительности сети местах.
Исследование влияния трафика к БД на работу сети, разработка методов оптимизации этого трафика. Взаимодействия Web-сервера и сервера БД. Оптимизация трафика БД для решения проблем «заторов» в сети.
Результат: настройки сетевого оборудования для обеспечения требуемого качества работы сети.
6) Моделирование объекта с дальнейшим анализом и внесением поправок.
Создание модели для исследования трафика сети с учетом исследований влияния трафика к БД на работу сети. Данное моделирование планируется выполнить в пакете Opnet.
Создание модели безопасности сети и ее проверка в пакете PacketTracer.
Анализ результатов моделирования.
Выводы
Данная работа позволит разработать и исследовать систему предоставления доступа к БД и сервисам БИЦ с учетом установленных требований по безопасности и качеству связи.
Исследования нагрузки к БД позволят более рационально использовать пропускную способность каналов связи, что повысит общую производительность сети. Вместе с этим исследование и устранение нежелательного трафика на уровне доступа повысит производительность транспортного уровня системы.
Ссылки
- Проектирование кампусных сетей
- Формат RUSMARC
- Роб Питер, Коронел Карлос. Системы баз данных: проектирование и управление. Санкт-Петербург 2004.
- Розробка методу дослідження бази даних та її підготовки для створення конвертора
- Боуман Дж., Эмерсон С., Дарновски М.. Практическое руководство по SQL.
- Лившиц Б.С., Пшеничников А.П., Харкевич А.Д.. Теория телетрафика. Москва «СВЯЗЬ».
- Шаньгин В.Ф.. Информационная безопасность компьютерных систем и сетей. М. 2008
- Галатенко В.А.. Основы информационной безопасности. М. 2006
- Смит Р.Э.. Аутентификация: от паролей до открытых ключей. М. 2002
- Alvaro Retana, Don Slice, Russ White. Advanced IP Network Design (CCIE Professional Development). Cisco Press.