Реферат
Разработка и исследования средств оброботки массивов данных в распределенной параллельной моделирующей среды (РПМС)
Введение
Становление систем управления базами данных (СУБД) совпало по времени со значительными успехами в развитии технологий распределенных вычислений и параллельной обработки. В результате возникли подсистемы управления базами данных,
в составе параллельных систем. Именно эти системы становятся доминирующими инструментами для создания приложений интенсивной обработки данных.
Цели и задачи исследования:
- Разработать оптимальную архитектуру СУБД
- Реализовать архивацию и разархивацию данных
- Выполнить идентификацию клиента и проверку соответствия прав заявленному запросу
- Предоставить другим подсистемам высокоуровневый API для работы с БД
- Обеспечить хранения информации о запросе до и после выполнения.
Актуальность
Благодаря интеграции рабочих станций в распределенную среду становится возможным более эффективное распределение функций в ней, когда прикладные программы выполняются на рабочих станциях, называемых серверами приложений, а базы данных обслуживаются выделенными компьютерами, называемыми серверами баз данных. Это служит источником развития таких распределенных архитектур, где в роли узлов выступают не просто компьютеры общего назначения, а специализированные серверы.
Обзор исследований и разработок по теме
Локальный поиск (по материалам преподавателей, аспирантов и магистрантов ДонНТУ). Рассмотрением проблем, связанных с реализацией распределённых параллельных моделирующих сред и баз данных, занимались:
Фельдман Л.П., Святный В.А. , Аноприенко А.Я., Молдованова О.В., Солонин А.М., Надеев Д.В.
Разработками в этом направлении также занимались магистры ДонНТУ: Войтов А.В., Войтенко А.В., Степанов И.С., Скворцов П.В., Назаренко К.С., Зима К.М., Ронсаль Е.Е., Меренков А.В.
При поиске разработок по данной теме на национальном уровне были найдены следующие авторы: Томашевский В.Н., Жданова Е.Г., Жолдаков А.А., которые в своих работах рассматривают практические задачи компьютерного моделирования (в т.ч. СДС).
На мировом уровне найдены следующие авторы с публикациями по теме выпускной работы: Фельдман Л.П., Святный В.А., Реш М. (нем. M. Resch), Цайтц М. (нем. M.Zeitz), К. Дж. Дейт, Rajive Bagrodia, Richard Meyer, Mineo Takai, Yu-an Chen, Xiang Zeng, Jay Martin и другие.
Структура,повидение и описание СУБД
Необходимость работы с несколькими обособленными подсистемами (прием и отправка данных) потребовала введения блока «идентификация» и «определения прав» [6]. Так в блоке «идентификация» происходит определение клиента (подсистемы) и присвоение ему уникального номера, включающего кодовый номер подсистемы и уникального id обращения. Далее происходит определение прав клиента и сопоставление со входящим запросом, что исключит ошибочную запись или получение данных. [4] [5]
Блок «регистрация» позволяет сохранить информацию о входящих запросах после прохождения процедуры аутоинтефикации и непосредственно после завершения работы с БД. Это позволяет контролировать работу СУБД, а так же своевременно выявлять и устранять неточности в выполнении запросов.[2]
Подблок «архивация» [8] (выполняется только при получении данных на запись) позволяет экономить пространство, ускорять чтение запись данных в БД. Для предоставления возможности другим подсистемам высокоуровневый API для работы с БД был введен блок «Перевод на стандарт», что освобождает разработчиков других подсистем от написания sql запросов. [1]
В блоке «Очередь запросов» встроена возможность назначение приоритета, что позволит вне очереди выполнять запросы, требующие немедленной обработки. [7]
«ЦупБД» - центр управления базами данных, служит для получения данных с других подсистем и передачи их в базу данных.
Блок «ЦупБД» напрямую работает с базой данных. Его основной задачей является отправка запроса, а так же получение данных из БД. После того, как БД возвращает данные по запросу, «ЦупБД» отправляет параллельно отчет в блок «регистрация» и подблок «разархивирование». После чего конечную информацию по выделенному ранее id получает пользователь.
Заключение
Немаловажную роль в комплексном функционировании РПМС играет подсистема баз данных, так как она оперирует всеми данными системы [3], которые необходимо обрабатывать или анализировать. Таким образом, исследование и разработка этой подсистемы — это еще один шаг постоянного развития РПМС и систем моделирования в целом.
Список испоьзуемой литературы
- Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. — Диалог-МИФИ, 2002. — С. 384.
- Сэломон Д. Сжатие данных, изображения и звука. — М.: Техносфера, 2004. — С. 368.
- Burrows M. and Wheeler D. A block sorting lossless data compression algorithm. Technical Report 124, Digital Equipment Corporation, 1994. p - 14
- RFC 3229 — Delta Encoding in HTTP,2002. http://www.ietf.org/rfc/rfc3229.txt, p - 36
- RFC 3284 — The VCDIFF Generic Differencing and Compression Data Format, 2002. http://tools.ietf.org/html/rfc3284, p - 21
- Jacob Ziv, Abraham Lempel. A Universal Algorithm for Sequential Data Compression IEEE, 1977. p - 339
- Transactions on Information Theory, 23(3), pp.337-343, May 1977.
- Описание алгоритма LZ77 в курсе лекций по теории кодирования информации