Введення

Інтеграція даних включає об'єднання даних, що знаходяться в різних джерелах та надання даних користувачам в уніфікованому вигляді. Цей процес стає істотним як у комерційних завданнях (коли двом схожим компаніям необхідно об'єднати їх бази даних), так і в наукових (комбінування результатів дослідження з різних біоінформаційних репозиторіїв, для прикладу). Роль інтеграції даних зростає коли збільшується обсяг і необхідність спільного використання даних. Це стало фокусом великої теоретичної роботи, а численні проблеми залишаються невирішеними.

До інтеграції даних є два альтернативних підходи: старий - синтаксичний і новий - семантичний. Перший грунтується на зовнішній схожості об'єдннання даних, другий на змістовному. Наприклад, якщо ми, слідуючи першому, об'єднуємо дві звичайні таблиці, то припускаємо, що в полі «Температура» значення виражені за однією шкалою, а якщо ми змогли б якимось чином організувати семантичне зберігання, то тоді могли б розраховувати на те, що в полі «Температура» знаходяться дані та метадані, тобто запис фізичної величини і вказівка на те, за якою шкалою вона виміряна, і змогли б об'єднати масиви даних, записаних і за Цельсієм, і за Фаренгейтом. Семантична інтеграція грунтується на знанні і обліку природи даних. Зрозуміло, зберігання даних разом з метаданими створює додаткові складності, але забезпечує більшу зручність роботи.

Актуальність теми дослідження

В сучасних економічних умовах ключовим елементом успіху будь-якої компанії стають дані і те, як кожна компанія здатна керувати ними. Бізнес-рішення, які компанії беруть сьогодні, визначають їх можливості пережити поточні непрості економічні умови і залишитися на ринку. Але успіх кожного з цих рішень залежить від своєчасних, цілісних і точних даних.

Однак забезпечення такими даними - непросте завдання. Дані зазвичай розсіяні по всій корпорації - в додатках, базах даних, на персональних комп'ютерах у вигляді pdf-файлів, електронних таблиць та текстових документів. Крім того, частина даних може знаходитися і за межами корпорації - в додатках «хмарних обчислень» у провайдерів програмного забезпечення як послуги (software as a service, SaaS) і аутсорсингу бізнес-процесів, а також у торгових партнерів. Очевидно, успішне ведення бізнесу вимагає інтеграції всього цього масиву даних.

На думку фахівців компанії Informatica [1], відомого незалежного інтегратора даних, традиційні підходи до інтеграції даних вже не дуже добре справляються з сучасними розсіяними масивами інформації. Вони погано працюють в нинішній складній інформаційному середовищі і недостатні для підтримки всіх IT-проектів. Розрізнені точкові рішення, що з'єднують сотні (або навіть тисячі) додатків просто розбивають операційні дані і укладають їх у додатках всередині відділів, таких як ERP і CRM. Підходи до інтеграції даних на основі додатків не беруть до уваги всі корпоративні дані. Інтеграція даних за допомогою ручного кодування також неефективна. Крім того, традиційні підходи до інтеграції даних не гарантують, що всі дані (про клієнтів, про майно і активи компанії, фінансові дані) будуть повними, послідовними, точними і своєчасними, незалежно від місця свого перебування.

Нова економічна реальність потребує нових підходів до інтеграції даних. Сучасний підхід повинен забезпечувати:

- Інтеграцію всіх баз даних усередині корпорації, включаючи неструктуровані дані.

- Інтеграцію даних за межами корпорації - в додатках і системах «хмарних обчислень».

- Вільний обмін даними з торговими партнерами.

- Якість всіх даних.

- Управління життєвими циклами додатків з оптимальними витратами.

Саме тому дуже перспективним розвитком на даний момент є представлення даних з семантичними зв'язками, а саме на основі онтологічних методів. Надалі, інтеграція даних істотно спрощується, тим самим дозволяючи скорочувати вартість розробки і впровадження, а також підтримки і функціонування програмних продуктів.

Дуже цікавим фактом є кілька опитувань проведених аналітичною компанією Telesperience, які явно показують необхідність швидкої і якісної інтеграції даних в сучасних умовах ведення бізнесу [2]. Так основними факторами, що спонукають організації зайнятися інтеграцією даних, є прагнення поліпшити якість обслуговування клієнтів (64% опитаних) і знизити витрати (55%). При цьому 46% учасників дослідження стверджували, що їхні нинішні інструменти інтеграції не можуть повною мірою впоратися з поточними завданнями інтеграції даних. Слабка інтеграція даних веде до збільшення прямих витрат. Майже половина опитаних (46%) заявила, що недостатня інтеграція даних заважає їм скористатися новими комерційними можливостями.

Подібні тенденції виявило і дослідження Thomson Reuters і Lepus. За їхніми даними, 77% учасників дослідження (а це понад 100 найбільших торгових компаній) мають намір збільшити витрати на проекти, пов'язані з якістю та узгодженістю даних. Більшість опитаних (87%) заявили, що поліпшення ситуації з узгодженістю даних та їх використанням у процесах управління ризиками є пріоритетом. Близько половини респондентів вказали, що поліпшення ситуації з чіткістю та прозорістю даних дуже актуально у зв'язку з виконанням регулятивних вимог.

Ці опитування показують, що в сучасній економіці конкурентні переваги в значній мірі визначаються інтелектуальним багажем компанії. Традиційні корпоративні інформаційні системи оперують даними, у той час як знання, що є основним компонентом потенціалу будь-якої компанії, такими системами безпосередньо не враховуються. Головною причиною такого становища є недостатній розвиток технологій інтеграції даних і низький рівень практичної реалізації вже наявних технологічних рішень.

Інтеграція будь-якого виду ресурсів для реалізації процесів управління об'єктами і проектами будь-якої складності завжди є необхідною умовою ефективності їх функціонування. Завдяки концентрації можуть бути отримані ефекти, які не досяжні при будь-якому іншому способі організації ресурсів.

Стосовно до даних питання інтеграції досить довго зводився фактично до консолідації даних надходили з різних джерел. Створювані при цьому архіви фактично представляли собою склад даних, зміст і спосіб використання яких були невизначені. Навіть з'явилася можливість створення автоматизованих сховищ даних, котра не вивела консолідацію за коло завдань складання звітів. Інтеграційні тенденції забезпечуються цілим рядом фундаментальних IT-технологій, які створюють можливість реалізації інформаційних процесів підприємства на основі даних отриманих з різних джерел і перетворених до єдиного цілого. Реалізація інтеграції гетерогенних джерел інформації забезпечує конкурентні переваги підприємству. При цьому сама інтеграція не є одномірною. А поняття «інтеграції інформаційних ресурсів» визначається многоаспектно і, більше того, неоднозначно в рамках одного аспекту їх розгляду.

Перш за все, необхідно розглядати розвиток інтеграції інформаційних ресурсів як рух від традиційної синтаксичної «контекстної» інтерпретації консолідації даних, яка не дозволяє надавати даними сенс, до «інтентной», тобто смислової, семантичної, що дозволить більш ефективно використовувати дані програми, що забезпечують функціональність інформаційної системи компанії. Такий підхід своєчасний, так як фактично дозволяє говорити про перспективи реалізації актуальною сьогодні «технології управління знаннями» (Knowledge Management), яка визначається як безліч технологій, що підтримують процеси формування, розповсюдження, обробки та використання даних у рамках компанії.

Сенс семантичного підходу до інтеграції інформаційних ресурсів зводиться до об'єднання даних і їхнього контексту, до зберігання даних разом з метаданими, що дозволить враховувати природу даних. Виникнення технологій інтеграції викликано, насамперед, потребами користувачів корпоративних інформаційних систем, що прагнуть отримати для прийняття управлінських рішень не окремі факти, а знання про стан керованого об'єкта в цілому.

Цілі і завдання. Планована новизна

Цілі та завдання: основною метою моєї магістерської роботи є розробка нового, або поліпшення існуючого методу або моделі інтеграції даних на основі онтологічного підходу. Для досягнення даної мети мені необхідно провести аналіз існуючих методів і моделей інтеграції даних; переглянути існуючі рішення в області інтеграції даних, а так само способи їх створення та основні аспекти; провести аналіз методів побудови онтологій, так як вони є невід'ємною частиною для подальшої інтеграції; виявлення недоліків в існуючих алгоритмах з метою їх подальшої оптимізації.

Планована наукова новизна: планується, що дана магістерська робота дозволить оптимізувати процес інтеграції даних на основі онтологічного підходу, шляхом удосконалення існуючого методу. На даному етапі проходить аналіз існуючих методів для виявлення їх недоліків, для подальшої оптимізації.

Огляд досліджень

Глобальний рівень

Видатних результатів в області семантичної інтеграції різнорідних даних домоглася англійська компанія Fusionsoft [3-6]. Вони надають продукт SemanticNet.

Головна мета даної платформи - надати єдиний шар семантичної інтеграції для групи інформаційних систем і забезпечити засновану на поняттях предметної області, дружню кінцевому користувачеві процедуру розробки користувальницького інтерфейсу. Принципи побудови платформи з трьох точок зору: кінцевого користувача, розробника та провайдера даних.

З точки зору кінцевого користувача, семантичний шар - це набір пов'язаних між собою понять. Платформа дозволяє користувачеві дослідити взаємозв'язок понять, запитувати дані щодо зв'язку понять, формулювати складні запити даними. При цьому користувач може не знати нічого про походження даних або їх форматі, сприймаючи дані як екземпляри понять і не більше того.

Основне завдання розробника - розширення функціональності платформи шляхом розробки додаткових компонент. З цієї точки зору, платформа являє собою набір компонент, які можна використовувати в процесі розробки форм і доступу до даних.

Провайдери даних відповідальні за відображення даних, що зберігаються в інформаційних системах, в семантичний шар платформи. Для реляційних баз даних платформа має інструмент, що автоматизує процес відображення. В рамках даного інструменту необхідно лише задати поняття, відповідне кожному атрибуту таблиці, а взаємозв'язок понять буде залучена з реляційної схеми автоматично.

На даний момент платформа не представляє ще готовий продукт і знаходиться на стадії активної розробки.

Ще одне рішення для семантичної інтеграції даних надає компанія Progress Software. Їх продукт - Progress ® DataXtend ™ Semantic Integrator (SI) надає єдину модель даних, що робить можливою семантичну інтеграцію даних різних інформаційних структур [7]. Тому якщо подання про деяку структуру даних будь-якої системи або розробника конфліктує з поданням до іншій структурі, DataXtend SI перевірятиме обмін даними між системами (рис. 1), прагнучи до бізнес-цілісності даних. Він вирішує завдання інтеграції корпоративних даних, забезпечуючи допустимість даних на основі бізнес-правил для користувачів та програм, яким потрібні ці дані. Використання рішення семантичної інтеграції даних DataXtend дозволяє підприємству обмежитися для додатків тільки слабо пов'язаними інтерфейсами і забезпечує слабку зв'язаність на семантичному рівні.

Рисунок 1 - DataXtend SI вирішує задачу перевірки обміну даними між системами [7]

Progress ® DataXtend Semantic Integrator був визнаний кращим в номінації «Передовий досвід» (Best Practices) серед постачальників в рамках конкурсу Excellence Awards.

Національний рівень

В Україні також ведуться розробки по інтеграції даних, у тому числі і семантичної інтеграції, та інтеграції заснованої на онтології. Так наприклад В.В. Демченко, Д.А. Шевченко проводили порівняння засобів розробки знання-орієнтованих систем для інтеграції розподілених додатків [12]. Ними було проведено порівняльний аналіз технологій і стандартів побудови розподілених систем з розглядом їх можливостей для інтеграції інформаційних ресурсів на основі онтологічних описів.

А.В. Деркач застосовує онтологію для побудови складних технічних об'єктів. У ході роботи також довелося зіткнутися з проблемою інтеграції даних [13].

Застосування онтологій для семантичної інтеграції даних застосував Олександр Берко. Він розглянув способи і можливості створення семантично інтегрованих структур даних для зберігання контентного ресурсу гетерогенних інформаційних систем. Запропонував формальні методи інтеграції семантики різнорідних даних, засновані на застосуванні інтелектуальних засобів і онтологій даних [14].

Варто зазначити, що на даний момент, на жаль, семантична інтеграція даних, для українських вчених стоїть не так різко, як для іноземних, а відповідно і розробки ведуться не так активно.

Локальний рівень

Хотілося б виділити людей, з якими я знайомий особисто. А саме асистент кафедри програмного забезбечення Олексій Сергійович Вороний запропонував застосування агентів для побудови онтологічної бази знань [15]. У своїй роботі він розглянув організацію мультиагентної системи побудови онтологій предметних областей для цілей комп'ютерного навчання. Запропонував складу віртуальної організації агентів для автоматизації пошуку інформаційних ресурсів, аналізу текстів з метою виявлення концептів і відносин між ними, розробки та поповнення онтологій предметних областей, включення створених онтологій в репозиторій знань. База даних по предметної області побудована запропонованим методом значно спростить реалізацію інтеграції даних.

Свій внесок внесла мій керівник по дипломному проекту - Єгошина Анна Анатоліївна. У спільній роботі з Олексієм Сергійовичем була розглянута організація системи формування та оновлення онтологічної бази знань інтелектуальної навчальної системи. Запропоновано алгоритм і склад програмного забезпечення інструментальних засобів об'єднання онтологій предметних областей [16].

Семантична інтеграція

На даний момент існує величезна безліч рішень по традиційній інтеграції даних. Але які б вони не були досконалі з технічної точки зору, реляційні та функціональні підходи до консолідації даних, за своєю суттю примітивні. Всі вони мають в основі традиційне інженерне світогляд, що склалося протягом усіх років існування ІТ і не змінюється з кінця 60-х років, «дані - окремо, контент - окремо». Їх загальна слабкість в тому, що дані розглядаються як примітивна сировину, як набори бітів і байтів, а їх семантика ніяк не враховується. Більш того, немає навіть чіткого визначення, що таке дані, а є тільки аморфні вирази типу «дані - це подання фактів та ідей у формалізованому вигляді, придатному для передачі та обробки в деякому інформаційному процесі» або «дані - це те, що знаходиться на нижньому рівні в ієрархії дані - інформація - знання ». Все це дивно, як з таким розумінням предмета можна було створювати, наприклад, бази даних? Мимоволі виникає питання - а це бази чого?

Перші серйозні спроби змінити існуючий стан були пов'язані зі створенням у 80-ті роки систем, що складаються з безлічі баз даних, за ними послідували СУБД з агентами, які виступають у якості «посередників при доступі до даних» (mediators agent). Ці роботи дозволили зрозуміти, що причина складності при інтеграції даних, що містяться в класичних базах, криється в жорсткій пов'язаності баз і єдиності використовуваної в них схеми зберігання. Ці роботи залишилися на рівні академічних чи університетських досліджень і до того ж не запропонували вирішення проблеми інтеграції гетерогенних даних, проблеми, яка загострилася у зв'язку з широким розповсюдженням неструктурованих або квазіструктурірованних даних. Загальна причина невдач полягає в тому, що проблеми інтеграції не є чисто технічними - зовсім не складно об'єднати різні реляційні бази, використовуючи інтерфейси Open Database Connectivity (ODBC) або Java Database Connectivity (JDBC), але складніше інтегрувати дані, що надходять із джерел, що мають різні моделі або, що гірше, що мають різну семантику, тобто інтерпретує одні й ті ж дані по-різному. Для автоматизації роботи з даними семантика повинна бути явно виражена і включена в ці дані. Тут можна провести паралель з тим, як людина узагальнює дані в своєму повсякденному житті, грунтуючись на розумінні навколишнього світу, семантика якого вже в ньому міститься. Комп'ютер інтелектом не володіє, а інтеграційні програми знання про семантику не мають, тому є єдиний вихід: дані повинні містити в собі описи власної семантики. Якщо це буде так, то стане можливий перехід на наступний рівень інтеграції, який можна назвати семантичним. Семантична інтеграція зможе забезпечити об'єднання тільки тих даних, які відповідають або найбільш близькі одним і тим же сутностей в навколишньому світі. Перші спроби створення систем з семантичної інтеграцією датуються початком 90-х років. Тоді вперше стали використовувати поняття онтології у додатку до комп'ютерних даних. Онтології тут розглядаються як способи формального опису концепцій та їх взаємозв'язків, їм відповідають словники, які містять основні поняття.

Онтології дозволяють створювати моделі, більш точно відповідні реальності, ніж інші способи класифікації. У той же час використання онтологій для створення запитів і аналізу не складніше традиційних методів перш за все тому, що онтологічний граф або карта відображає відносини між самими сутностями, а не їх ідентифікаторами. Незважаючи на всі ці достоїнства, семантичні методи не виходили за рамки дослідницьких проектів до тих пір, поки в травні 2001 року Тім Бернерс-Лі разом з Джеймсом хендлером і Оройя Лассілой не опублікували в журналі Scientific American Magazine статтю The Semantic Web. У ній вони розкрили концепцію семантичної павутини, котра розроблялася ними в W3C з 1996 року. Від звичайної Web семантична павутина відрізняється тим, що в ній широко використовуються метадані, що сприяють її перетворенню на універсальний носій для даних, інформації та знань. З тих пір і понині Semantic Web все ще перебуває в процесі становлення, чи буде вона реалізована, і, якщо так, то як саме, поки не ясно, але ідеї, розроблені консорціумом W3C, стандарти і мови вже активно додаються до корпоративних систем. У якомусь сенсі історія повторюється, відбувається зараз з Semantic Web можна порівняти з тим, що було з Web-сервісами кілька років тому. Сервісна ідея, протоколи SOAP, UDDI, WSDL і інші зародилися в Web, але їх дуже швидко пристосували до корпоративних систем, і народилася сервісна архітектура. Як наслідок, сервіси, які використовуються в SOA, довгий час називали виключно Web-сервісами, хоча з Web їх ріднило лише використання загального стека стандартів. Поступово сервіси відділялися від Web і стали основою самостійної SOA.

Підхід Semantic Web додає нову якість, дозволяючи користуватися даними не «наосліп», а усвідомлено, визначаючи і пов'язуючи їх таким чином, щоб спростити пошук, автоматизувати роботу з ними, перерозподіляти між програмами та інтегрувати. Те, як дані представляються в Semantic Web, можна розглядати як новий крок в управлінні даними, і цілком природно скористатися цими перевагами в корпоративних інформаційних системах. Неважко помітити, що єдність всіх компонентів інформаційної інфраструктури (SOA, бази даних, бізнес-процеси, програмне забезпечення) надає загальний для них набір термінів та угод. Саме вони пов'язують окремі фрагменти в загальну картину, тобто вони семантично єдині, вони вже є, але існують неявно. Цей факт зазвичай упускали з уваги, тому формальні інтеграційні рішення виявлялися складними, дорогими і часто провальними.

Здебільшого семантичні моделі будуються на основі одного з напрямків в логіці першого порядку (обчислення предикатів), на так званих дескріпціонних логіках, які представляють собою сімейство мов, що дозволяють формально і однозначно описувати поняття в будь-якої предметної області. Кожен клас («концепт») може бути поєднана з іншим подібним йому концептом шляхом додавання тегів метаданих, що вказують на властивості, загальні риси, відмінності і т.д. Розширення моделей тегами дозволяє створювати такі структури, яких раніше не могло бути. У семантичній моделі будь-яка інформаційна одиниця представляється графом, що спрощує її модернізацію; наприклад, злиття двох моделей зводиться до об'єднання їх графів. Інформаційна одиниця може бути представлена ідентифікатором Uniform Resource Identifier (URI), за допомогою якого можуть бути встановлені відносини між двома або більшою кількістю інформаційних одиниць. Семантичні моделі, вони ж онтології, можуть бути написані з використанням Resource Description Framework (RDF) моделі для представлення даних, розробленої W3C мовою Web Ontology Language (OWL).

Рисунок 2 - Семантична модель інформаціі

На рисунку 2 показана семантична модель інформації. На нижньому, атомарному рівні представлення даних розташовується глосарій, далі йдуть таксономії, що представляють собою аналог схеми (design paradigm), на відміну від глосарію, утвореного простий ієрархією елементів даних. Кожен елемент контенту повинен представляти свою приналежність до певної таксономії. Наступний рівень - онтологія (глосарій і таксономія), являє собою структуру, яка має одночасно ієрархію і набір відносин між елементами словника в цій ієрархії. Семантичне безліч об'єднує онтології, таксономії та глосарії, що входять до складу корпоративної системи.

У термінології Semantic Web розібратися досить складно з тієї причини, що більшість слів вже використовуються в інших контекстах, де вони мають інший, звичайно більш широкий зміст. Скажімо, онтологією завжди називали розділ філософії, що вивчає буття, а в комп'ютерній науці онтологія - це формалізації деякої області знань за допомогою концептуальної схеми. Інформаційні онтології ще простіше, вони складаються з примірників, понять, атрибутів і відносин і повинні мати формат, який комп'ютер зможе обробити (рис. 3).

Рисунок 3 - інформаційна онтологія

Висновок

Онтологічний підхід вимагає опису класів і відносин між ними. Одним з важливих переваг застосування онтологій є те, що ці описи не обмежуються однією завданням, наприклад, реплікацією даних. Одні і ті ж описи використовуються для реалізації інтеграції на льоту, організації сховища даних, для вилучення примірників класів, для забезпечення якості даних, для реалізації обмежень доступу до ресурсів, для реалізації управління середнім шаром і для забезпечення безпеки.

Добуток семантичної інтеграції, так чи інакше, припускає добуток інтеграції онтологій, які в свою чергу, описуючи одну і ту ж або область котра накладається на інтерес, можуть істотно відрізнятися ступенем деталізації, а також підходом до побудови концептуалізації предметної області. Виходячи з цього, для вирішення проблеми семантичної гетерогенності широкого кола інформаційних джерел, необхідно забезпечити як можливості повного відображення їх семантики за допомогою завдання довільних онтологій, так і встановлення відносин між термінами різних онтологій.

Семантичне сховище може також бути використано для обміну даними між агентами з метою поповнення своїх семантичних уявлень, генерації нових інформаційних ресурсів, що містять сукупну інформацію. Для досягнення цієї мети планується визначити особливий тип, так званих, крос агентних завдань. Також необхідно розробити загальні принципи взаємодії агентів, для того щоб можна було не тільки здійснювати пошук за запитом користувача, а й спільну обробку інформації.

Надалі буде також необхідно формалізувати поданні основних об'єктів системи інтеграції та основні процедури, такі як пошук та реєстрація агента, додавання терміна в тезаурус. Це у багато полегшить подальшу розробку програмного прототипу системи інтеграції.

Список використаної літератури