Реферат
Розробка і дослідження засобів обробка масивів даних у розподіленій паралельної моделюючої середовища (РПМС)
Вступ
Становлення систем управління базами даних (СКБД) збіглося за часом зі значними успіхами у розвитку технологій розподілених обчислень і паралельної обробки. В результаті виникли підсистеми управління базами даних, у складі паралельних систем. Саме ці системи стають домінуючими інструментами для створення додатків інтенсивної обробки даних.
Цілі і завдання дослідження
- Розробити оптимальну архітектуру СУБД
- Реалізувати архівацію і разархівацію даних
- Виконати ідентифікацію клієнта та перевірку відповідності прав заявленому запитом
- Надати іншим підсистемам високорівневу API для роботи з БД
- Забезпечити зберігання інформації про запит до і після виконання.
Актуальність
Завдяки інтеграції робочих станцій у розподілене середовище стало можливим більш ефективний розподіл функцій у ньому, коли прикладні програми виконуються на робочих станціях, званих серверами додатків, а бази даних обслуговуються виділеними комп'ютерами, званими серверами баз даних. Це служить джерелом розвитку таких розподілених архітектур, де в ролі вузлів виступають не просто комп'ютери загального призначення, а спеціалізовані сервери.
Огляд досліджень і розробок по темі
Локальний пошук (за матеріалами викладачів, аспірантів і магістрантів ДонНТУ). Розглядом проблем, пов'язаних з реалізацією розподілених паралельних моделюючих середовищ і баз даних, займалися: Фельдман Л.П., Святний В.А. , Анопрієнко А.Я., Молдованова О.В., Солонін А.М., Надээв Д.В.
Разработками в этом направлении также занимались магистры ДонНТУ: Войтов А.В., Войтенко А.В., Степанов І.С., Скворцов П.В., Назаренко К.С., Зима К.М., Ронсаль K.Е., Меренков А.В.
При пошуку розробок з даної теми на національному рівні були знайдені наступні автори: Томашевський В.М., Жданова О.Г., Жолдак А.А., які у своїх роботах розглядають практичні завдання комп'ютерного моделювання (в т.ч. СДС).
На світовому рівні знайдені наступні автори з публікаціями на цю тему випускної роботи: Фельдман Л.П., Святний В.А., Реш М. (нім. M. Resch), Цайтц М. (нім. M. Zeitz), К. Дж . Дейт, Rajive Bagrodia, Richard Meyer, Mineo Takai, Yu-an Chen, Xiang Zeng, Jay Martin та інші.
Структура, поведінка і опис СУБД
Необхідність роботи з декількома відокремленими підсистемами (прийом і відправка даних) зажадала введення блоку «ідентифікація» і «визначення прав» [6]. Так у блоці «ідентифікація» походить визначення клієнта (підсистеми) і присвоєння йому унікального номера, що включає кодовий номер підсистеми та унікального id звернення. Далі відбувається визначення прав клієнта і зіставлення зі входять запитом, що виключить помилковий запис або отримання даних. [4] [5]
Блок «реєстрація» [8] дозволяє зберегти інформацію про вхідні запити після проходження процедури аутентіфікаціі і безпосередньо після завершення роботи з БД. Це дозволяє контролювати роботу СУБД, а так само своєчасно виявляти і усувати неточності у виконанні запитів.
У блоці «Черга запитів» вбудована можливість призначення пріоритету, що дозволить позачергово виконувати запити, що вимагають негайної обробки [7].
Підблок «архівація» (виконується тільки при отриманні даних на запис) дозволяє економити простір, прискорювати читання запис даних у БД . Для надання можливості іншим підсистемам високорівневої API для роботи з БД був введений блок «Переказ на стандарт», що звільняє розробників інших підсистем від написання sql запитів. [1]
«ЦупБД» - центр управління базами даних, служить для отримання даних с інших підсистем та передачі їх у базу даних.
Блок «ЦупБД» безпосередньо працює з базою даних. Його основним завданням є надсилання запиту, а також отримання даних з БД. Після того, як БД повертає дані за запитом, «ЦупБД» відправляє паралельно звіт в блок «реєстрація» і підблок «розархівування». Після чого кінцеву інформацію щодо виділеного раніше id отримує користувач.
Висновок
Важливу роль в комплексному функціонуванні РПМС грає підсистема баз даних , так як вона оперує всіма даними системи [3] , які необхідно обробляти чи аналізувати. Таким чином, дослідження і розробка цієї підсистеми - це ще один крок постійного розвитку РПМС і систем моделювання в цілому.
Список використаної літератури
- Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. — Диалог-МИФИ, 2002. — С. 384.
- Сэломон Д. Сжатие данных, изображения и звука. — М.: Техносфера, 2004. — С. 368.
- Burrows M. and Wheeler D. A block sorting lossless data compression algorithm. Technical Report 124, Digital Equipment Corporation, 1994. p - 14
- RFC 3229 — Delta Encoding in HTTP,2002. http://www.ietf.org/rfc/rfc3229.txt, p - 36
- RFC 3284 — The VCDIFF Generic Differencing and Compression Data Format, 2002. http://tools.ietf.org/html/rfc3284, p - 21 Jacob Ziv, Abraham Lempel. A Universal Algorithm for Sequential Data Compression IEEE, 1977. p - 339
- Transactions on Information Theory, 23(3), pp.337-343, May 1977.
- Описание алгоритма LZ77 в курсе лекций по теории кодирования информации