Введение

Интеграция данных включает объединение данных, находящихся в разных источниках и предоставления данных пользователям в унифицированном виде. Этот процесс становится существенным как в коммерческих задачах (когда двум похожим компаниям необходимо объединить их базы данных), так и в научных (комбинирование результатов исследования по различным биоинформационных репозиториев, для примера). Роль интеграции данных возрастает когда увеличивается объем и необходимость совместного использования данных. Это стало фокусом большого теоретической работы, а многочисленные проблемы остаются нерешенными.

К интеграции данных есть два альтернативных подхода: старый - синтаксический и новый - семантический. Первый основывается на внешнем сходстве обьедннання данных, второй на содержательном. Например, если мы, следуя первому, объединяем две обычные таблицы, то предполагаем, что в поле «Температура» значения выражены в одной шкале, а если мы смогли бы каким-то образом организовать семантическое хранения, то тогда могли бы рассчитывать на то, что в поле «Температура» находятся данные и метаданные, т.е. запись физической величины и указание на то, по какой шкале она измерена, и смогли бы объединить массивы данных, записанных и по Цельсию, и по Фаренгейту. Семантическая интеграция основывается на знании и учете природы данных. Разумеется, хранения данных вместе с метаданными создает дополнительные сложности, но обеспечивает большее удобство работы.

Актуальность темы

В современных экономических условиях ключевым элементом успеха любой компании становятся данные и то, как каждая компания способна управлять ими. Бизнес-решения, которые компании принимают сегодня, определяют их возможности пережить текущие непростые экономические условия и остаться на рынке. Но успех каждого из этих решений зависит от своевременных, целостных и точных данных.

Однако обеспечение такими данными - непростая задача. Данные обычно рассеяны по всей корпорации - в приложениях, базах данных, на персональных компьютерах в виде pdf-файлов, электронных таблиц и текстовых документов. Кроме того, часть данных может находиться и за пределами корпорации - в приложениях «облачных вычислений» у провайдеров программного обеспечения как услуги (software as a service, SaaS) и аутсорсинга бизнес-процессов, а также у торговых партнеров. Очевидно, успешное ведение бизнеса требует интеграции всего этого массива данных.

По мнению специалистов компании Informatica [1], известного независимого интегратора данных, традиционные подходы к интеграции данных уже не очень хорошо справляются с современными рассеянными массивами информации. Они плохо работают в нынешней сложной информационной среде и недостаточны для поддержки всех IT-проектов. Разрозненные точечные решения, соединяющие сотни (или даже тысячи) приложений просто разбивают операционные данные и заключают их в приложениях внутри отделов, таких как ERP и CRM. Подходы к интеграции данных на основе приложений не принимают во внимание все корпоративные данные. Интеграция данных с помощью ручного кодирования также неэффективна. Кроме того, традиционные подходы к интеграции данных не гарантируют, что все данные (о клиентах, об имуществе и активах компании, финансовые данные) будут полными, последовательными, точными и своевременными, независимо от места своего нахождения.

Новая экономическая реальность требует новых подходов к интеграции данных. Современный подход должен обеспечивать:

- Интеграцию всех баз данных внутри корпорации, включая неструктурированные данные.

- Интеграцию данных за пределами корпорации - в приложениях и системах «облачных вычислений».

- Свободный обмен данными с торговыми партнерами.

- Качество всех данных.

- Управление жизненными циклами приложений с оптимальными затратами.

Именно поэтому очень перспективным развитием на данный момент является представление данных с семантическими связями, а именно на основе онтологических методов. В дальнейшем, интеграция данных существенно упрощается, тем самым позволяя сокращать стоимость разработки и внедрения, а также поддержки и функционирования программных продуктов.

Очень интересным фактом являются несколько опросов проведенных аналитической компанией Telesperience, которые явно показывают необходимость быстрой и качественной интеграции данных в современных условиях ведения бизнеса [2]. Так основными факторами, побуждающими организации заняться интеграцией данных, являются стремление улучшить качество обслуживания клиентов (64% опрошенных) и снизить затраты (55%). При этом 46% участников исследования утверждали, что их нынешние инструменты интеграции не могут в полной мере справиться с текущими задачами интеграции данных. Слабая интеграция данных ведет к увеличению прямых затрат. Почти половина опрошенных (46%) заявила, что недостаточная интеграция данных мешает им воспользоваться новыми коммерческими возможностями.

Сходные тенденции выявило и исследование Thomson Reuters и Lepus. По их данным, 77% участников исследования (а это более 100 крупнейших торговых компаний) намерены увеличить расходы на проекты, связанные с качеством и согласованностью данных. Большинство опрошенных (87%) заявили, что улучшение ситуации с согласованностью данных и их использованием в процессах управления рисками является приоритетом. Около половины респондентов указали, что улучшение ситуации с четкостью и прозрачностью данных очень актуально в связи с выполнением регулятивных требований.

Эти опросы доказывают, что в современной экономике конкурентные преимущества в значительной степени определяются интеллектуальным багажом компании. Традиционные корпоративные информационные системы оперируют данными, в то время как знания, которые являются основным компонентом потенциала любой компании, такими системами напрямую не учитываются. Главной причиной такого положения является недостаточное развитие технологий интеграции данных и низкий уровень практической реализации уже имеющихся технологических решений.

Интеграция любого вида ресурсов для реализации процессов управления объектами и проектами любой сложности всегда является необходимым условием эффективности их функционирования. Благодаря концентрации могут быть получены эффекты, не достижимые при любом другом способе организации ресурсов.

Применительно к данным вопрос интеграции довольно долго сводился фактически к консолидации данных поступающих из разных источников. Создаваемые при этом архивы фактически представляли собой состав данных, содержание и способ использования которых были неопределенны. Даже появилась возможность создания автоматизированных хранилищ данных, которая не вывела консолидации за круг задач составления отчетов. Интеграционные тенденции обеспечиваются целым рядом фундаментальных IT-технологий, которые создают возможность реализации информационных процессов предприятия на основе данных полученных из различных источников и преобразованных к единому целому. Реализация интеграции гетерогенных источников информации обеспечивает конкурентные преимущества предприятию. При этом сама интеграция не является одномерной. А понятие «интеграции информационных ресурсов» определяется многоаспектно и, более того, неоднозначно в рамках одного аспекта их рассмотрения.

Прежде всего, необходимо рассматривать развитие интеграции информационных ресурсов как движение от традиционной синтаксической «контекстной» интерпретации консолидации данных, которая не позволяет предоставлять данным смысл, к «интентной», то есть смысловой, семантической, что позволит более эффективно использовать данные программы, обеспечивающие функциональность информационной системы компании. Такой подход своевременный, так как фактически позволяет говорить о перспективах реализации актуальной сегодня «технологии управления знаниями» (Knowledge Management), которая определяется как множество технологий, поддерживающих процессы формирования, распространения, обработки и использования данных в рамках компании.

Смысл семантического подхода к интеграции информационных ресурсов сводится к объединению данных и их контекста, к хранению данных вместе с метаданными, что позволит учитывать природу данных. Возникновение технологий интеграции вызвано, прежде всего, потребностями пользователей корпоративных информационных систем, которые стремятся получить для принятия управленческих решений не отдельные факты, а знание о состоянии управляемого объекта в целом.

Цели и задачи. Планируемая новизна

Цели и задачи: основной целью моей магистерской работы является разработка нового, или улучшение существующего метода или модели интеграции данных на основе онтологического подхода. Для достижения данной цели мне необходимо провести анализ существующих методов и моделей интеграции данных; просмотреть существующие решения в области интеграции данных, а так же способы их создания и основные аспекты; провести анализ методов построения онтологий, так как они являются неотъемлемой частью для дальнейшей интеграции; выявление недостатков в существующих алгоритмах с целью их дальнейшей оптимизации.

Предполагаемая научная новизна: предполагается, что данная магистерская работа позволит оптимизировать процесс интеграции данных на основе онтологического подхода, путем усовершенствования существующего метода. На данном этапе проходит анализ существующих методов для выявления их недостатков, для последующей оптимизации. Предполагается возможность оптимизации метода построения онтологии, на которой будет проходить интеграция.

Обзор исследований и разработок по теме

Глобальный уровень

Очень достойных результатов в области семантической интеграции разнородных данных добилась английская компания Fusionsoft [3-6]. Они предоставляют продукт SemanticNet

Главная цель данной платформы - предоставить единый слой семантической интеграции для группы информационных систем и обеспечить основанную на понятиях предметной области, дружественную конечному пользователю процедуру разработки пользовательского интерфейса. Принципы построения платформы с трех точек зрения: конечного пользователя, разработчика и провайдера данных.

С точки зрения конечного пользователя, семантический слой - это набор связанных между собой понятий. Платформа позволяет пользователю исследовать взаимосвязь понятий, запрашивать данные касательно связи понятий, формулировать сложные запросы данным. При этом пользователь может не знать ничего о происхождении данных или их формате, воспринимая данные как экземпляры понятий и не более того.

Основная задача разработчика - расширение функциональности платформы путем разработки дополнительных компонент. С этой точки зрения, платформа представляет собой набор компонент, которые можно использовать в процессе разработки форм и доступа к данным.

Провайдеры данных ответственны за отображение данных, хранящихся в информационных системах, в семантический слой платформы. Для реляционных баз данных платформа имеет инструмент, автоматизирующий процесс отображения. В рамках данного инструмента необходимо лишь задать понятие, соответствующее каждому атрибуту таблицы, а взаимосвязь понятий будет извлечена из реляционной схемы автоматически.

На данный момент платформа не представляет еще готовый продукт и находится на стадии активной разработки.

Еще одно решение для семантической интеграции данных предоставляет компания Progress Software. Их продукт - Progress® DataXtend™ Semantic Integrator (SI) предоставляет единую модель данных, делающую возможной семантическую интеграцию данных различных информационных структур [7]. Поэтому если представление о некоторой структуре данных какой-либо системы или разработчика конфликтует с представлением в другой структуре, DataXtend SI будет проверять обмен данными между системами (рис. 1), стремясь к бизнес-целостности данных. Он решает задачи интеграции корпоративных данных, обеспечивая допустимость данных на основе бизнес-правил для пользователей и приложений, которым требуются эти данные. Использование решения семантической интеграции данных DataXtend позволяет предприятию ограничиться для приложений только слабо связанными интерфейсами и обеспечивает слабую связанность на семантическом уровне.

Рисунок 1 - DataXtend SI решает задачу проверки обмена данными между системами [7]

Progress DataXtend Semantic Integrator был признан лучшим в номинации «Передовой опыт» (Best Practices) среди поставщиков в рамках конкурса Excellence Awards.

Много разработок ведется среди российских ученых [8-11]. Из них хотелось бы выделить следующих: Ломов П. А., Бездушный А.Н., Меденников А.М., Шишаев М. Г. и др.

Национальный уровень

В Украине также ведутся разработки по интеграции данных, в том числе и семантической интеграции, и интеграции основанной на онтологии. Так например В.В. Демченко, Д.А. Шевченко проводили сравнение средств разработки знание-ориентированных систем для интеграции распределенных приложений [12]. Ими был проведен сравнительный анализ технологий и стандартов построения распределенных систем с рассмотрением их возможностей для интеграции информационных ресурсов на основе онтологических описаний.

А.В. Деркач применяет онтологию для построения сложных технических объектов. В ходе работы также пришлось столкнуться с проблемой интеграции данных [13].

Применение онтологий для семантической интеграции данных применил Александр Берко. Он рассмотрел способы и возможности создания семантически интегрированных структур данных для хранения контентного ресурса гетерогенных информационных систем. Предложил формальные методы интеграции семантики разнородных данных, основанные на применении интеллектуальных средств и онтологий данных [14].

Стоит отметить, что на данный момент, к сожалению, семантическая интеграция данных, для украинских ученых стоит не так резко, как для иностранных, а соответственно и разработки ведутся не так активно.

Локальный уровень

Хотелось бы выделить людей, с которыми я знаком лично. А именно ассистент кафедры программного обеспечения Алексей Сергеевич Вороной предложил применение агентов для построения онтологической базы знаний [15]. В своей работе он рассмотрел организацию мультиагентной системы построения онтологий предметных областей для целей компьютерного обучения. Предложил состав виртуальной организации агентов для автоматизации поиска информационных ресурсов, анализа текстов с целью выявления концептов и отношений между ними, разработки и пополнения онтологий предметных областей, включения созданных онтологий в репозиторий знаний. База данных по предметной области построенная предложенным методом значительно упростит реализацию интеграции данных.

Свой вклад внесла мой руководитель по дипломному проекту - Егошина Анна Анатольевна. В совместной работе с Алексеем Сергеевичем была рассмотрена организация системы формирования и обновления онтологической базы знаний интеллектуальной обучающей системы. Предложен алгоритм и состав программного обеспечения инструментальных средств объединения онтологий предметных областей [16].

Семантическая интеграция данных

На данный момент существует огромное множество решений по традиционной интеграции данных. Но каковы бы они ни были совершенны с технической точки зрения, реляционные и функциональные подходы к консолидации данных, по своей сути примитивны. Все они имеют в основе традиционное инженерное мировоззрение, сложившееся на протяжении всех лет существования ИТ и не меняется с конца 60-х годов, «данные - отдельно, контент - отдельно». Их общая слабость в том, что данные рассматриваются как примитивная сырье, как наборы битов и байтов, а их семантика никак не учитывается. Более того, нет даже четкого определения, что такое данные, а есть только аморфные выражения типа «данные - это представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе» или «данные - это то, что находится на нижнем уровне в иерархии данные - информация - знания ». Все это удивительно, как с таким пониманием предмета можно было создавать, например, базы данных? Невольно возникает вопрос - а это базы чего?

Первые серьезные попытки изменить существующее положение, были связаны с созданием в 80-е годы систем, состоящих из множества баз данных, за ними последовали СУБД с агентами, которые выступают в качестве «посредников при доступе к данным» (mediators agent). Эти работы позволили понять, что причина сложности при интеграции данных, содержащихся в классических базах, кроется в жесткой связанности баз и единственности используемой в них схемы хранения. Эти работы остались на уровне академических или университетских исследований и к тому же не предложили решение проблемы интеграции гетерогенных данных, проблемы, обострившейся в связи с широким распространением неструктурированных или квазиструктурированних данных. Общая причина неудач заключается в том, что проблемы интеграции не является чисто техническим - совсем не сложно объединить различные реляционные базы, используя интерфейсы Open Database Connectivity (ODBC) или Java Database Connectivity (JDBC), но сложнее интегрировать данные, поступающие из источников , имеющих разные модели или, что хуже, имеющих различную семантику, т.е. интерпретирует одни и те же данные по-разному. Для автоматизации работы с данными семантика должна быть явно выражена и включена в эти данные. Здесь можно провести параллель с тем, как человек обобщает данные в своей повседневной жизни, основываясь на понимании окружающего мира, семантика которого уже в нем содержится. Компьютер интеллектом не обладает, а интеграционные программы знания о семантике не имеют, поэтому есть единственный выход: данные должны содержать описание собственной семантики. Если это будет так, то станет возможен переход на следующий уровень интеграции, который можно назвать семантическим. Семантическая интеграция сможет обеспечить объединение только тех данных, которые соответствуют или наиболее близки одним и тем же сущностей в окружающем мире. Первые попытки создания систем с семантической интеграции датируются началом 90-х годов. Тогда впервые стали использовать понятие онтологии в приложении к компьютерным данным. Онтологии здесь рассматриваются как способы формального описания концепций и их взаимосвязей, им отвечают словари, содержащие основные понятия.

Онтологии позволяют создавать модели, более точно соответствующие реальности, чем другие способы классификации. В то же время использование онтологий для создания запросов и анализа не сложнее традиционных методов прежде всего потому, что онтологический граф или карта отражает отношения между самими сущностями, а не их идентификаторами. Несмотря на все эти достоинства, семантические методы не выходили за рамки исследовательских проектов до тех пор, пока в мае 2001 года Тим Бернерс-Ли вместе с Джеймсом хендлером и Оройя Лассилой не опубликовали в журнале Scientific American Magazine статью The Semantic Web. В ней они раскрыли концепцию семантической паутины, которая разрабатывалась ими в W3C с 1996 года. От обычной Web семантическая паутина отличается тем, что в ней широко используются метаданные, которые способствуют ее превращению в универсальный носитель данных, информации и знаний. С тех пор и поныне Semantic Web все еще находится в процессе становления, будет ли она реализована, и, если да, то как именно, пока не ясно, но идеи, разработанные консорциумом W3C, стандарты и речи уже активно добавляются к корпоративным системам. В каком-то смысле история повторяется, происходит сейчас с Semantic Web можно сравнить с тем, что было с Web-сервисами несколько лет назад. Сервисная идея, протоколы SOAP, UDDI, WSDL и другие зародились в Web, но их очень быстро приспособили к корпоративным системам, и родилась сервисная архитектура. Как следствие, сервисы, которые используются в SOA, долгое время называли исключительно Web-сервисами, хотя с Web их роднило только использование общего стека стандартов. Постепенно сервисы отделялись от Web и стали основой самостоятельного SOA.

Подход Semantic Web добавляет новое качество, позволяя пользоваться данными не «вслепую», а осознанно, определяя и связывая их таким образом, чтобы упростить поиск, автоматизировать работу с ними, перераспределять между программами и интегрировать. То, как данные представляются в Semantic Web, можно рассматривать как новый шаг в управлении данными, и вполне естественно воспользоваться этими преимуществами в корпоративных информационных системах. Нетрудно заметить, что единство всех компонентов информационной инфраструктуры (SOA, базы данных, бизнес-процессы, программное обеспечение) предоставляет общий для них набор терминов и соглашений. Именно они связывают отдельные фрагменты в общую картину, то есть они семантически едины, они уже есть, но существуют неявно. Этот факт обычно упускали из виду, потому формальные интеграционные решения оказывались сложными, дорогими и часто провальными.

В основном семантические модели строятся на основе одного из направлений в логике первого порядка (исчисление предикатов), на так называемых дескрипционних логиках, которые представляют собой семейство языков, позволяющих формально и однозначно описывать понятия в любой предметной области. Каждый класс («концепт») может быть соотнесен с другим подобным ему концептом путем добавления тегов метаданных, указывающих на свойства, черты, различия и т.д. Расширение моделей тегами позволяет создавать такие структуры, которых раньше не могло быть. В семантической модели любая информационная единица представляется графом, что упрощает ее модернизацию; например, слияние двух моделей сводится к объединению их графов. Информационная единица может быть представлена идентификатором Uniform Resource Identifier (URI), с помощью которого могут быть установлены отношения между двумя или информационных единиц. Семантические модели, они же онтологии, могут быть написаны с использованием Resource Description Framework (RDF) модели для представления данных, разработанной W3C языке Web Ontology Language (OWL).

Рисунок 2 - Семантическая модель информации

На рисунке 2 показана семантическая модель информации. На нижнем, атомарном уровне представления данных располагается глоссарий, далее идут таксономии, представляющие собой аналог схемы (design paradigm), в отличие от глоссария, образованного простой иерархией элементов данных. Каждый элемент контента должен представлять свою принадлежность к определенной таксономии. Следующий уровень - онтология (глоссарий и таксономия), представляет собой структуру, которая должна одновременно иерархию и набор отношений между элементами словаря в этой иерархии. Семантическое множество объединяет онтологии, таксономии и глоссарии, входящих в состав корпоративной системы.

В терминологии Semantic Web разобраться довольно сложно по той причине, что большинство слов уже используются в других контекстах, они имеют другой, обычно более широкий смысл. Скажем, онтологией всегда называли раздел философии, изучающий бытие, а в компьютерной науке онтология - это формализации некоторой области знаний с помощью концептуальной схемы. Информационные онтологии еще проще, они состоят из экземпляров, понятий, атрибутов и отношений и имеют формат, который компьютер сможет обработать (рис. 3)

Рисунок 3 - Информационная онтология
(анимация: 13 кадров, 7 циклов повторения, 116 килобайт)

Вывод

Онтологический подход требует описания классов и отношений между ними. Одним из важных преимуществ применения онтологий является то, что эти описания не ограничиваются одной задачей, например, репликацией данных. Одни и те же описания используются для реализации интеграции на лету, организации хранилища данных, для извлечения экземпляров классов, для обеспечения качества данных, для реализации ограничений доступа к ресурсам, для реализации управления средним слоем и для обеспечения безопасности.

Произведение семантической интеграции, так или иначе, предполагает произведение интеграции онтологий, которые в свою очередь, описывая одну и ту же или область которая накладывается на интерес, могут существенно отличаться степенью детализации, а также подходом к построению концептуализации предметной области. Исходя из этого, для решения проблемы семантической гетерогенности широкого круга информационных источников, необходимо обеспечить как возможности полного отражения их семантики с помощью задания произвольных онтологий, так и установление отношений между терминами различных онтологий.

Семантическое хранилище может также быть использовано для обмена данными между агентами с целью пополнения своих семантических представлений, генерации новых информационных ресурсов, содержащих совокупную информацию. Для достижения этой цели планируется определить особый тип так называемых кросс агентных задач. Также необходимо разработать общие принципы взаимодействия агентов, для того чтобы можно было не только осуществлять поиск по запросу пользователя, но и совместную обработку информации.

В дальнейшем будет также необходимо формализовать основные процедуры, такие как поиск и регистрация агента, добавление термина в тезаурус. Это намного облегчит дальнейшую разработку программного прототипа системы интеграции.

Список использованной литературы