Реферат по теме магистерской работы

Исследование и проектирование оптимальной структуры базы данных. Разработка АРМов «Прием дел абитуриентов» и «Рекомендация» в рамках АСУ вуза для приемной комиссии ДонНТУ.

1 Актуальность темы и научная новизна
2. Цель и задачи исследования, планируемые результаты
3. Обзор исследований и разработок
3.1 Обзор международных источников
3.2 Обзор национальных источников
3.3 Обзор локальных источников
4 Проектирование БД
5 Подход к построению оптимальной с точки зрения производительности структуры БД
Выводы
Литература

1. Актуальность темы и научная новизна

Реляционные базы данных (БД) и системы хранения данных (СХД), построенные на их основе, занимают доминирующее положение на рынке СХД. По результатам исследований 89% действующих и разрабатываемых программных продуктов используют реляционные БД [1]. Можно сделать вывод, что задача исследования и проектирования оптимальной структуры БД будет актуальной до тех пор, пока реляционные БД будут популярными.

Проведение вступительной кампании является одной из важнейших задач вуза и требует множество человеческих и временных ресурсов, поэтому автоматизация всех видов работ приемной комиссии вуза всегда актуальна и экономически целесообразна.

Необходимость новой разработки заключается в том, что существующая автоматизированная система (АС) приемной комиссии Донецкого национального технического университета (ДонНТУ) была разработана с использованием устаревших технологий и правил приема абитуриентов. Отсутствие технической документации для ранее разработанного продукта значительно усложняет поддержку системы, добавление нового или изменение текущего функционала АС.

2. Цель и задачи исследования, планируемые результаты

Цель работы – разработка программного комплекса, реализующего введение, хранение, редактирование, обработку информации об абитуриентах и их делах, а также формирование списка рекомендованных к зачислению абитуриентов в автоматическом и ручном режимах, и обеспечивающего минимизацию трудозатрат сотрудников приемной комиссии.

В рамках разработки планируется исследовать влияние структуры БД на её производительность и разработать оптимальную с точки зрения производительности структуру БД АС «Приемная комиссия».

3. Обзор исследований и разработок

Существует множество способов разработки оптимальной структуру базы данных, исследованиями которых занимаются от институтов до ведущих компаний, работающими с базами данных.

Автоматизация процесса проведения вступительной компании вуза является довольно распространенной задачей для учебных заведений. Соответственно разработок в этой области немало.

3.1 Обзор международных источников

В мире существует множество работ и публикаций на тему «Оптимальной структуры БД» и «Автоматизация приемной комиссии вуза». Ниже приведен список наиболее популярных публикаций:

Публикация Lavon R. Frazier An Admissions Process Transformed with Technology // EDUCAUSE. В данной работе рассмотрены современные средства автоматизации проведения приемной компании вуза [2].

Публикация Praful Gavaskar, Sachin Gupta, Diksha Patil, Vikas More. College Office Automation System // International Journal of Current Engineering and Technology. В данной работе рассмотрены основные задачи приемной комиссии колледжа и сформирован подход к их автоматизации [3].

Публикация S. Finkelstein, M. Schkolnick, P. Tiberio Physical Database Design for Relational Databases // IBM Almaden Research Center. В данной работе рассмотрены проблемы физического этапа проектирования БД, представлены фундаментальные принципы проектирования БД [4].

3.2 Обзор национальных источников

В России и Украине также множество ученых занимается исследованиями в области оптимизации структуры базы данных и автоматизации приемной комиссии учебного заведения. Список наиболее популярных публикаций будет приведен ниже.

Публикация Мартынов В.В., Прошкин Е. Н. Подход к анализу характеристик производительности БД // Вестник УТАТУ. Управление, ВТ и И. В данной работе сформирован подход к оценке производительности программно-аппаратного комплекса системы управления базой данных (СУБД), предложен теоретический подход к решению проблем производительности БД [5].

Публикация Ивутин А.Н., Терехин И.С. Повышение надежности и производительности баз данных при помощи репликаций // Известия ТулГУ. Технические науки. В работе рассмотрены типы репликаций, задачи решаемые ими, а также влияние использования репликаий на производительность и надежность БД [6].

Публикация Белош В.В., Быстров В.В., Дмитриев С.В., Программный модуль автоматизированной обработки документов приемной комиссии вуза // Труды Кольского научного центра РАН. Рассматривается разработка программного модуля на основе современных веб-технологий, способного автоматизировать сбор заявлений абитуриентов и хранить их персональную информацию, для дальнейшего построения списка предварительного зачисления, на базе приемной комиссии КФ ПетрГУ [7].

3.3 Обзор локальных источников

Студентов, которые в рамках ДонНТУ занимались разработками в области автоматизации приемной комиссии ДонНТУ не было найдено, но были похожие темы, однако есть студенты, которые занимались исследованиями в области оптимизации БД.

Работа магистра ДонНТУ Бабич К.К. Оптимизации для высоконагруженных реляционных БД и альтернативные решения. Работа посвящена созданию высоконагруженной веб-системы и применении оптимизации реляционных баз данных, для решения задачи множественного доступа и высокой посещаемости [8].

Работа магистра ДонНТУ Афонова И. В. Исследование свойств распределённых систем хранения данных. В работе исследуются существующие модели производительности реплицированных и распределённых баз данных. [9].

Работа магистра ДонНТУ Мошколы А. Я. WEB – ориентированная комплексная система управления факультетом. В работе проектируется web–ориентированная комплексная система управления факультетом в который входит управление движением контингента студентов [10].

4. Проектирование БД

Хранилищем данных АС «Приемная комиссия». является база данных. В качестве СУБД для данной системы выбран Microsoft SQL Server 2012, поскольку он используется для решения других задач в рамках действующей АСУ ДонНТУ.

Проектирование базы данных разрабатываемой системы будет выполняться в три этапа:

1) Концептуальное проектирование.

2) Логическое проектирование.

3) Физическое проектирование.

На первом этапе необходимо построить информационные модели объектов, данные о которых будет храниться в БД (например, абитуриент). Такие модели создаются без учета используемой СУБД. В результате получается концептуальная модель базы данных, которая включает в себя:

- описание информационных объектов и связей между ними;

- описание ограничений целостности, т.е. требований к допустимым значениям данных и связей между ними;

На этапе логического проектирования создается схема базы данных с учетом специфики конкретной модели данных, в данном случае – реляционной. Для реляционной модели данных логическая модель – набор схем отношений с указанием первичных ключей, а также связей между отношениями, представляющими собой внешние ключи. На этом этапе также выполняется нормализация – процесс приведения структуры БД к виду, обеспечивающему минимальную логическую избыточность, и не имеет целью уменьшение или увеличение производительности работы или же уменьшение или увеличение физического объёма базы данных. Конечной целью нормализации является уменьшение потенциальной противоречивости хранимой в базе данных информации [11].

На этапе физического проектирования создается схема данных для конкретной СУБД. Ее специфика может включать в себя ограничения на названия объектов базы данных, ограничения на поддерживаемые типы данных и т.п. Кроме того, специфика конкретной СУБД при физическом проектировании включает выбор решений, связанных с физической средой хранения данных (выбор методов управления дисковой памятью, разделение БД по файлам и устройствам, методов доступа к данным), создание индексов и т.д.

5. Подход к построению оптимальной с точки зрения производительности структуры БД

Обычно, производительность базы данных измеряется в терминах производительности транзакций. Для решения задачи повышения производительности нужно сформировать транзакции, которые могут существовать в базе данных, но в большинстве практических случаев сформировать изначально полностью прописанные транзакции к базе данных является весьма сложной организационной задачей. К тому же, часть проблем, связанная с производительностью, может быть выявлена лишь на стадии тестирования и опытной эксплуатации базы данных [12].

Для того чтобы определить транзакции, используемые в АС «Приемная комиссия», следует рассмотреть реализуемый ими функционал. АС «Приемная комиссия» включает в себя следующие функции:

1) Хранение данных всех абитуриентов университета в единой базе.

2) Персонализированный доступ к информации с разграничением прав пользователей в соответствии с должностными полномочиями.

3) Регистрация анкетных данных, паспортных данных, фотографий и заявлений абитуриентов.

4) Редактирование данных анкет и заявлений абитуриентов, подавших документы.

5) Учет документов, поданных абитуриентом.

6) Формирование и контроль плана набора.

7) Формирование необходимого пакета документов для абитуриента (расписки, заявление, анкета и т.д.).

8) Формирование списка рекомендованных к зачислению в вуз.

9) Зачисление абитуриентов (формирование списков, протоколов и приказов на зачисление).

10) Формирование статистической отчетности для анализа данных об абитуриентах, поданных заявлениях и результатах вступительных испытаний в разрезе факультетов, специальностей, форм обучения, видов финансирования и др.

Также, необходимо определить основные объекты модели данных АС «Приемная комиссия»:

1) Персона – описывает модель персональных данных абитуриента;

2) Дело – описывает модель данных заявления абитуриента;

3) Объект справочной информации – описывает модель данных единицы справочной информации.

Объект «Персона» является составным и состоит из нескольких подобъектов:

1) Фото.

2) Паспортные данные.

3) Адреса и контактные данные.

4) Документы об образовании.

На основе функционала АС «Приемная комиссия» и основных объектов модели данных можно составить список основных транзакций БД:

1) Добавление новой персоны.

2) Добавления фото для персоны.

3) Ввод паспортных данных персоны.

4) Редактирование паспортных данных персоны.

5) Добавление адресных и контактных данных персоны.

6) Редактирование адресных и контактных данных персоны.

7) Добавление документа об образовании персоны.

8) Редактирование данных документа об образовании персоны.

9) Добавление нового дела.

10) Редактирование данных дела.

11) Получение справочной информации.

12) Получение списка дел с привязкой к данным персоны.

13) Получение статистики о поданных делах с группировкой по различным параметрам.

Наиболее приоритетными задачами для АС «Приемная комиссия» являются ввод, учет, хранение данных абитуриентов и заявлений поданных ими, а самым важным этапом проведения приемной компании ДонНТУ является прием дел абитуриентов, в ходе которого частота ввода новых данных и редактирования имеющихся будет максимальной. Следовательно, структура БД должна быть ориентирована на обеспечение максимальной производительности транзакций записи и обновления.

Исходя из документации MS SQL Server 2012 для повышения производительности транзакций вставки и обновления данных выдвигаются следующие требования [13]:

- Короткие транзакции для минимизации долгосрочных блокировок и улучшения параллелизма.

- Высокая нормализация базы данных.

- Минимизация исторических и статистических данных или полное их отсутствие.

- Минимизация использования индексов.

Однако АС «Приемная комиссия» реализует еще один немаловажный функционал – публичный web-сервис, который отображает в реальном времени конкурсное положение абитуриентов. Web-сервер, обеспечивающий работу данного сервиса генерирует большое количество запросов на выборку многосвязных данных по различным параметрам. Для обеспечения максимальной производительности выполнения данных запросов следует использовать механизм представлений, реализованный в MS SQL Server. Принцип работы представлений показан на рисунке 1.

Рисунок 1 - Демонстрация работы представлений

(анимация: 5 кадров, 40 килобайт)

При использовании представлений выигрыш в производительности достигается за счет использования механизма кеширования запросов, реализованного в MS SQL Server, который позволяет сократить время выполнения одинаковых запросов. Также данная СУБД позволяет создать индексы для представления, не затрагивая при этом исходные таблицы.

Выводы

Для создания оптимальной структуры БД АС «Приемная комиссия» следует обеспечить хранение основных объектов модели данных в различных таблицах, избегать избыточности данных с помощью нормализации, минимизировать использование индексов, а для выборки многосвязных данных следует использовать представления.

Литература

1. DB-Engines Ranking [Электронный ресурс] DB-Engines.com // URL: http://db-engines.com/en/ranking дата обращения: 05.06.2015).

2. An Admissions Process Transformed with Technology [Электронный ресурс] educause.edu // URL: http://er.educause.edu/~/media/files/article-downloads/eqm0034.pdf(дата обращения: 05.06.2015).

3. College Office Automation System [Электронный ресурс] inpressco.com // URL: http://inpressco.com/wp-content/uploads/2015/03/Paper47849-851.pdf(дата обращения: 05.06.2015).

4. Physical Database Design for Relational Databases // IBM Almaden Research Center [Электронный ресурс] // URL: http://www.cs.cmu.edu/~natassa/courses/15-823/F02/papers/p91-finkelstein.pdf(дата обращения: 05.06.2015).

5. Подход к анализу характеристик производительности БД [Электронный ресурс] cyberleninka.ru // URL: http://cyberleninka.ru/article/n/podhod-k-analizu-harakteristik-proizvoditelnosti-bd(дата обращения: 05.06.2015).

6. Повышение надежности и производительности баз данных при помощи репликаций [Электронный ресурс] cyberleninka.ru // URL: http://cyberleninka.ru/article/n/povyshenie-nadezhnosti-i-proizvoditelnosti-baz-dannyh-pri-pomoschi-replikatsiy(дата обращения: 05.06.2015).

7. Программный модуль автоматизированной обработки документов приемной комиссии вуза [Электронный ресурс] cyberleninka.ru // URL: http://cyberleninka.ru/article/n/programmnyy-modul-avtomatizirovannoy-obrabotki-dokumentov-priemnoy-komissii-vuza(дата обращения: 05.06.2015).

8. Бабич К. К. Оптимизации для высоконагруженных реляционных БД и альтернативные решения [Электронный ресурс] // Портал Магистров ДонНТУ, 2011г. URL: http://masters.donntu.ru/2013/fknt/babich/diss/index.htm(дата обращения: 24.05.2015).

9. Афонов И. В. Исследование свойств распределённых систем хранения данных [Электронный ресурс] // Портал Магистров ДонНТУ, 2011г. URL: http://masters.donntu.ru/2007/fvti/afonov/diss/index.htm(дата обращения: 24.05.2015).

10. Мошкола А. Я. WEB – ориентированная комплексная система управления факультетом [Электронный ресурс] // Портал Магистров ДонНТУ, 2011г. URL: http://masters.donntu.ru/2009/fvti/moshkola/diss/index.htm(дата обращения: 24.05.2015).


11. Дейт К. Дж. - Введение в системы баз данных - 8-е издание - Москва: Вильямс, 2005 — 1328 с.

12. Создание физической модели базы данных. Учет влияния транзакций [Электронный ресурс] // НОУ Интуит URL: . http://www.intuit.ru/studies/courses/1095/191/lecture/4985(дата обращения: 24.05.2015)

13. Сравнение оперативной обработки транзакций [Электронный ресурс] // Microsoft TechNet URL: https://technet.microsoft.com/ru-ru/library/ms187669(v=sql.105).aspx (дата обращения: 24.05.2015)