Орлова Евгения Валериевна

Факультет: Институт информатики и искусственного интеллекта

Кафедра: Систем искусственного интеллекта

Специальность «Системы искусственного интеллекта»

Анализ методов и моделей автоматического построения онтологий

Научный руководитель: доц. Егошина Анна Анатольевна

 


Реферат по теме выпускной работы


Введение
1. Актуальность темы
2. Цель и задачи исследования
3. Предполагаемая научная новизна
4. Обзор исследований и разработок по теме
4.1 Мировой уровень
4.2 Национальный уровень
4.3 Локальный уровень
5. Понятие онтологии
6. Классификация онтологий
6.1 Классификация по степени формальности
6.2 Классификация онтологий по содержимому
6.3 Классификация по цели создания
7. Области применения онтологий
8. Методы автоматического построения онтологий
8.1 Представление онтологий в виде конечного автомата
8.2 Построение семантической карты ресурса
8.3 Подход на основе лексико-синтаксических шаблонов
8.4. Автоматическое построение онтологии по коллекции текстовых документов
Выводы
Список литературы


Введение

Интернет - это обширное информационное поле, огромная база знаний, содержащая подробные сведения научного, исторического, политического, повседневного характера. Интернет можно сравнить с огромным словарем, описывающим нашу планету и все процессы, сопутствующие развитию человеческой цивилизации, которые происходили, происходят и могут произойти в будущем.

На сегодняшний день практически вся информация, доступная во всемирной паутине не содержит семантики и поэтому ее поиск, релевантный запросам пользователя, а также интеграция в рамках конкретной предметной области затруднены. Для обеспечения эффективного поиска, веб-приложение должно четко понимать семантику документов, представленных в сети. В связи с этим, можно наблюдать бурный рост и развитие технологий Semantic Web, происходящий в настоящее время. Консорциумом W3C была разработана концепция, которая базируется на активном использовании метаданных, языке разметки XML, языке RDF (Resource Definition Framework – Среда Описания Ресурса) и онтологическом подходе. Все предложенные средства позволяют осуществлять обмен данными и их многократное использование.


1. Актуальность темы

Важнейшей проблемой в развитии Интернет является его интеллектуализация, и связанные с этим интеграция данных, качественный поиск, интеграция Веб служб и многое другое. Эффективные средства для указанных задач предлагаются в рамках подхода Semantic Web.

Онтологии получили широкое распространение в решении проблем представления знаний и инженерии знаний, семантической интеграции информационных ресурсов, информационного поиска и т.д. Интеллектуальные системы на основе онтологий показали на практике свою эффективность, однако построение онтологии требует экспертных знаний в исследуемой предметной области и занимает существенный объем времени, поэтому актуальной задачей является автоматизация процесса построения онтологии.


2. Цель и задачи исследования

Целью данной магистерской работы является повышение эффективности метода автоматического построения онтологии по коллекции текстовых документов.

Для достижения поставленной цели необходимо решить следующие задачи:
- рассмотреть назначения и классификации онтологий;
- проанализировать области применения онтологий;
- рассмотреть языки описания онтологий;
- провести анализ существующих методов автоматического построения онтологий;
- реализовать автоматическое построение онтологии на основе результатов предварительной кластеризации коллекции текстовых документов.


3. Предполагаемая научная новизна

Предложена новая модификация метода автоматического построения онтологии по коллекции текстовых документов с предварительной кластеризацией коллекции текстовых документов. В качестве алгоритма кластеризации предлагается алгоритм LSA/LSI.


4. Обзор исследований и разработок по теме

4.1 Мировой уровень

Кандидат технических наук по специальности «Системы и средства искусственного интеллекта» Щербак С.С. создал блог, где обсуждаются темы искусственного интеллекта, онтологий и Semantic Web (Shcherbak.net).

Одним из ключевых направлений центра искусственного интеллекта (ИЦИИ) являются методы семантического поиска и анализа полуструктурированной информации (http://skif.pereslavl.ru).

На данный момент существует не менее десятка зарубежных систем, относимых к классу инструментов онтологического инжиниринга, которые поддерживают различные формализмы для описания знаний и используют различные машины вывода из этих знаний. Среди уже разработанных онтологий наиболее известными и объемными являются CYC (http://www.cyc.com) и SUMO (http://www.ontologyportal.org/).

4.2 Национальный уровень

В харьковском национальном университете радиоэлектроники Бондаренко М.Ф., Соловьева Е.А., Ельчаниннов Д.Б., Кулибаба В.В. и др. изучают методы создания онтологических систем и средств их поддержки.

Ученые кафедры математической информатики Киевского национального университета имени Тараса Шевченко составляют ядро проекта «Украинская Лингвистическая Лаборатория» (http://lingvoworks.org.ua). Тему онтологий особенно подробно рассматривают Никоненко, Марченко, Глибовец.

4.3 Локальный уровень

В статье Бажановой А. И., Мартыненко Т. В. «Исследование применения онтологических моделей для семантического поиска» проанализированы основные средства построения онтологий. Проведен сравнительный анализ основных моделей представления данных в онтологиях, а также основных языков описания онтологий и редакторов для работы с ними [1].

Болотова В.И. в своей выпускной работе на тему «Инструментальные средства создания баз знаний на основе системы онтологий» рассматривает разработку классификации известных из литературы свойств онтологий, удобной для систематического оценивания онтологий на практике [2].

Анохина В.С. в автореферате к магистерской работе рассматривает автоматизацию извлечения знаний из Internet в форме онтологии для построения прикладных баз знаний [3].


5. Понятие онтологии

Онтологии являются новыми интеллектуальными средствами для поиска ресурсов в сети Интернет, новыми методами представления и обработки знаний и запросов. Они способны точно и эффективно описывать семантику данных для некоторой предметной области и решать проблему несовместимости и противоречивости понятий. Онтологии обладают собственными средствами обработки (логического вывода), соответствующими задачам семантической обработки информации. Так, благодаря онтологиям, при обращении к поисковой системе пользователь будет иметь возможность получать в ответ ресурсы, семантически релевантные запросу (рис. 1 [4]).

Схема поиска на основе онтологий

Рисунок 1 – Схема поиска на основе онтологий

Известны несколько подходов к определению понятия онтологии, но общепринятого определения до сих пор нет, поскольку в зависимости от каждой конкретной задачи удобно интерпретировать этот термин по-разному: от неформальных определений до описаний онтологий в понятиях и конструкциях логики и математики [4]. Ниже будет приведено наиболее часто используемое.

Онтология – это попытка всеобъемлющей и детальной формализации некоторой области знаний с помощью концептуальной схемы. Обычно такая схема состоит из структуры данных, содержащей все релевантные классы объектов, их связи и правила (теоремы, ограничения), принятые в этой области.


6. Классификация онтологий

В проектировании онтологий условно можно выделить два направления, до некоторого времени развивавшихся отдельно. Первое связано с представлением онтологии как формальной системы, основанной на математически точных аксиомах. Второе направление развивалось в рамках компьютерной лингвистики и когнитивной науки. Там онтология понималась, как система абстрактных понятий, существующих только в сознании человека, которая может быть выражена на естественном языке (или какой-то другой системой символов). При этом обычно не делается предположений о точности или непротиворечивости такой системы.

Таким образом, существует два альтернативных подхода к созданию и исследованию онтологий. Первый (формальный) основан на логике (предикатов первого порядка, дескриптивной, модальной и т.п.). Второй (лингвистический) основан на изучении естественного языка (в частности, семантики) и построении онтологий на больших текстовых массивах, так называемых корпусах.

В настоящее время данные подходы тесно взаимодействуют. Идет поиск связей, позволяющих комбинировать соответствующие методы. Поэтому иногда бывает сложно отделить лексические онтологии с элементами формальных аксиоматик от логических систем с включениями лингвистических знаний. Независимо от различных подходов можно выделить 3 основных принципа классификации онтологий [5]:
- по степени формальности;
- по наполнению, содержимому;
- по цели создания.

6.1 Классификация по степени формальности

Обычно люди и компьютерные агенты (программы) имеют некоторое представление значений терминов. Программные агенты иногда предоставляют спецификацию входных и выходных данных, которые могут быть использованы как спецификация программы. Сходным образом онтологии могут быть использованы, чтобы предоставить конкретную спецификацию имен терминов и значений терминов. В рамках такого понимания (где онтология является спецификацией концептуальной модели – концептуализации) существует простор для вариаций. Онтологии могут быть представлены как спектр в зависимости от деталей реализации (рис. 2 [5]).

Спектр онтологий

Рисунок 2 – Спектр онтологий

Cпектр онтологий по степени формальности представления, использованию тех или иных формальных элементов. Каждая точка соответствует наличию некоторых ключевых структур в онтологии, отличающих ее от других точек на спектре. Косая черта условно отделяет онтологии от других ресурсов, имеющих онтологический характер.

6.2 Классификация онтологий по содержимому

Данная классификация очень похожа на предыдущую, но здесь акцент смещается на реальное содержимое онтологии, а не на абстрактную цель (рис. 3 [5]).

Классификация онтологий по содержимому

Рисунок 3 – Классификация онтологий по содержимому

6.3 Классификация по цели создания

В рамках этой классификации выделяют 4 уровня (рис. 4 [5]): онтологии представления, онтологии верхнего уровня, онтологии предметных областей и прикладные онтологии.

Классификация онтологий по цели создания

Рисунок 4 – Классификация онтологий по цели создания


7. Области применения онтологий

Онтологии разрабатываются и могут быть использованы при решении различных задач, в том числе для совместного применения людьми или программными агентами, для возможности накопления и повторного использования знаний в предметной области, для создания моделей и программ, оперирующих онтологиями.

Онтологии могут быть использованы везде, где требуется обработка данных, учитывающая их семантику. В силу изначальной ориентированности языка OWL на машинную обработку, правильное применение онтологий может, с одной стороны, существенно упростить и, с другой стороны, открыть новые возможности в разработке приложений, решающих задачи автоматизированной обработки и доступа к данным. Далее будут приведены несколько вариантов использования онтологий.

Например, в работе [6] авторы используют онтологии для «извлечения значимой информации из web-страниц при индексировании». Предполагается повышение качества информационного поиска за счет удаления навигационной части из web-страниц, разделения web-страниц на содержательную и навигационную части. Данные методы основаны на выделении одинаковых частей страниц с одного сайта. В некоторой степени данная технология частично закрывает потребность в семантическом поиске.

В работе [7] для решения задачи повышения эффективности поиска в сети Интернет предлагается строить порталы знаний, каждый из которых предоставляет доступ к ресурсам сети Интернет определенной тематики. Основу таких порталов знаний составляют онтологии, содержащие описание структуры и типологии соответствующих сетевых ресурсов.

Интересное применение онтологий реализовано в ДО РАН [8]. Специалистами была построена «медицинская» онтология, позволяющая делать выводы. Задав симптомы, с помощью онтологий можно вывести диагноз. Еще одно применение описано в статье [9], «использование онтологии для построения инновационных цепочек в системе поддержки инновационной деятельности в регионе». Система реализуется в виде Интернет-портала и включает в себя, с одной стороны, информационную систему со средствами создания и интеграции связанных с инновациями разнородных информационных ресурсов, а с другой, – развитые средства персонального участия в инновационной деятельности специалистов различного профиля. Важным компонентом, обеспечивающим интеллектуализацию таких рабочих мест, является механизм, поддерживающий интерактивное построение инновационных цепочек. Создание цепочек выполняется по автоматически генерируемому сценарию, структура которого определяется структурой инновационной цепочки, заданной в онтологии инновационной деятельности и видом инновационного запроса.

Одна из наиболее важных задач, которую можно решить, используя онтологии – это семантический поиск. В настоящее время проблема поиска информации в больших массивах сравнивается с проблемой Вавилонской башни. Эта проблема усугубляется еще и тем, что существующие поисковые механизмы осуществляют поиск информации без учета семантики слов, входящих в запрос, а также контекста, в котором они используются.

Благодаря онтологиям, появилась возможность создания семантических сетей. Важнейшую роль в семантической сети должны играть специальные программы – интеллектуальные агенты, в задачу которых входит работа с информацией, представленной в семантической сети. Агенты по заданиям пользователей будут находить источники информации, запрашивать данные, сопоставлять и проверять их на соответствие критериям поиска, а затем выдавать ответ в удобной для пользователей форме (рис. 5 [10]).

Поиск нужной информации через поисковый сервис, работающий с семантической сетью

Рисунок 5 – Поиск нужной информации через поисковый сервис, работающий с семантической сетью


8. Методы автоматического построения онтологий

Интеллектуальные системы на основе онтологий показали на практике свою эффективность, но построение онтологии требует экспертных знаний в исследуемой предметной области и занимает существенный объем времени. Проблемой автоматизации построения онтологий занимаются многие ученые. Ниже будут рассмотрены некоторые из уже существующих методов автоматического построения онтологий.

8.1 Представление онтологий в виде конечного автомата

Будем предполагать, что онтологии представляются в виде орграфа G = (V, E), где множество вершин V представляет множество предметных областей, а множество ребер E – бинарное отношение между этими предметными областями [11]. С каждым таким орграфом G = (V, E) будем ассоциировать конечный (вообще говоря) частичный детерминированный автомат без выходов A = (V, X=V, f,S, F), где V – множество состояний, которое также служит входным алфавитом данного автомата, S– подмножество начальных состояний, F – подмножество заключительных состояний (которое, в частности, может быть пустым), а функция переходов данного автомата определяется следующим образом: f(u,v) = v тогда и только тогда, когда (u,v) E и не определено в остальных случаях.

Пример: пусть дана онтология представленная на рисунке 6.

Онтология О1

Рисунок 6 – Онтология О1

Автомат для приведенной выше онтологии приведен на рисунке 7.

Автомат для онтологии О1

Рисунок 7 – Автомат для онтологии О1
(анимация: 7 кадров, 7 циклов повторения, 142 Кб)

Представление онтологий в виде конечного автомата без выходов позволяет ввести операции на онтологиях. Операции на автоматах означают операции на регулярных языках, которые акцептируются этими автоматами [12].

Данное множество операций (в случае надобности) можно расширять по крайней мере в двух направлениях. Одним из таких направлений является расширение операциями на графах (введение и удаление вершины и ребра, соединение графов, изоморфного соединения декартового произведения и т. д.). Другим направлением является алгебра отношений. Поскольку каждая онтология является представлением некоторой совокупности отношений (в частности: одного), то можно вводить операции реляционной алгебры.

Какое из возможных направлений будет выбрано, зависит от практических потребностей использования онтологий.

8.2 Построение семантической карты ресурса

Для автоматизация процесса построения онтологии предлагается использовать текстовое содержание массива Веб ресурсов описательного характера определенной тематики.

Базовой является задача разработки алгоритма автоматического построения семантической карты веб ресурса с помощью анализа его текста. Семантическая карта ресурса – это отображение контента Веб ресурса в концептуализацию его содержания, представленное в виде OWL онтологии [13].

Семантическая карта ресурса строится на основе особенностей языка, которые позволяют вытягивать семантические конструкции из текста. Исследования проводились следующим образом:
- формировался набор пар «текст – конструкция языка OWL»;
- по набору выявленных пар «текст – OWL конструкция» выявлялись правила, позволяющие автоматизировать процесс отображения текста в соответствующую OWL конструкцию.

Семантическая карта строится в два этапа, на первом строится формальная семантическая OWL конструкция, на втором происходит привязка полученной конструкции к конкретной предметной области [14].

Формулируются правила, использующие синтаксис языка. Правила синтаксического уровня, выявляют семантику на основе принципов построения словосочетаний и предложений. Правила формулируются, как конструкции из различных частей речи, частей предложения, предлогов и союзов, а также конкретных слов. Дополнительно вводится понятие предмета – сущности, о которой говорится в предложении, предмет может состоять из нескольких слов. Понятие предмета также используется для формулировки правил.

Отдельно выделяются правила, которые сами не строят семантическую конструкцию, но определяют, каким образом (к каким словам) применять правила, непосредственно выявляющие семантические конструкции [15].

Один из подходов преобразования формальных семантических конструкций в конструкции, привязанные к семантике конкретной предметной области – источник знаний со структурой подобной таблице 1.

Таблица 1 – Структура источника знаний

Слово Характерное свойство
Abstract Степень детализации
Editor Редактирует

Для того чтобы привязать полученную семантическую модель к интересуемой предметной области, используется словарь соответствующей тематики. В итоговой онтологии фиксируются только те семантические конструкции, в которых участвуют термины из словаря предметной области. Словарь может создаваться экспертом или автоматически на основе статистических методов классификации.

8.3 Подход на основе лексико-синтаксических шаблонов

Данный подход был предложен в [16] и относится к группе методов автоматического построения онтологий, использующих лингвистические средства.

Сторонники подхода утверждают, что для построения онтологий следует активно использовать все уровни анализа естественного языка: морфологию, синтаксис и семантику. Таким образом, для автоматического построения онтологии автором используется один из методов семантического анализа текстов на естественном языке – лексико-синтаксические шаблоны.

Как метод семантического анализа лексико-синтаксические шаблоны давно используются в компьютерной лингвистике и представляют собой характерные выражения и конструкции определенных элементов языка [17]. Данная методика семантического анализа не является специализированной на определенную предметную область.

На основе лексико-синтаксических шаблонов выделяются онтологические конструкции [18]. Например, из предложения «Студент – это человек, который учится в университете», предлагаемая в [16] система выделит классы «студент», «человек» и отношение «subclass-of» между ними.

В целом отмечается, что лексико-синтаксические шаблоны как метод семантического анализа текстов на естественном языке – в случае большого объема коллекции шаблонов – является эффективным средством для автоматического построения онтологий.

8.4. Автоматическое построение онтологии по коллекции текстовых документов

В работе [19] предлагается подход к решению проблемы автоматического построения онтологий, преимущественно основанный на статистических методах анализа текстов на естественном языке.

Построение онтологий разделено на 3 этапа:
- предварительная подготовка коллекции;
- определение классов онтологии;
- определение отношений «is-a» и «synonym-of», построение иерархии классов.

На качество построения онтологии влияет предварительная подготовка текста, в частности, особенности коллекции документов. Кластеризация документов по общей тематике может сократить время, затрачиваемое на создание онтологии. Для улучшения получаемой в результате работы системы онтологии, предлагается провести предварительную кластеризацию документов коллекции таким образом, чтобы в один кластер попадали тематически близкие документы, а дальнейшую работу проводить отдельно с каждым полученным кластером.

На первом этапе построения онтологии требуется выделить входящие в ее состав классы. Следует отметить, что понятия лингвистической онтологии строго связаны с терминами. Таким образом, данная задача сводится к определению терминов рассматриваемой предметной области.

Алгоритмы извлечения терминов из текстов на естественном языке можно разделить на две группы: статистические и лингвистические. Однако первые обладают определенным преимуществом, поскольку их использование не зависит от лингвистических особенностей конкретного языка. Подход к извлечению терминов в рассматриваемом методе является преимущественно статистическим. Предполагается, что существующие статистические методы могут показать лучшие результаты, если дополнить их определенными эвристиками.

Предварительно в качестве базовых эвристик предлагается использовать следующие:
- имя класса содержит хотя бы одно существительное;
- общеупотребительные слова обладают большей частотой встречаемости, и приблизительно равной в документах из различных кластеров;
- количество информации термина из нескольких слов больше, чем количество информации отдельных слов.

Этап выделения отношений между классами создаст наибольшие трудности. В связи с чем, первоначально имеет смысл говорить об автоматическом тезаурусе (таксономии с терминами). В качестве базовых отношений, действующих между терминами, определим отношения «is-a» и «synonym-of».

Для выделения отношения «is-a» можно воспользоваться количественным подходом к информации. Для этого было использовано предположение, что количество информации термина из нескольких слов больше, чем количество информации отдельных слов, входящих в его состав.

Предложенный подход позволяет выделить только базовые отношения, необходимые для построения таксономии. Однако предполагается, что возможно его расширение для выделения других отношений.


Выводы

В результате исследований было установлено, что широкое распространение получили подходы, основанные на статистическом анализе текста на естественном языке. В таких подходах онтология строится по коллекции текстовых документов.

На качество построения онтологии влияет предварительная подготовка текста, в частности, особенности коллекции документов. Кластеризация документов по общей тематике может сократить время, затрачиваемое на создание онтологии.

В качестве алгоритма кластеризации предлагается алгоритм LSA/LSI. Алгоритм LSA/LSI – это реализация основных принципов факторного анализа применительно ко множеству документов. Данный метод кластеризации позволяет успешно преодолевать проблемы синонимии и омонимии, присущие текстовому корпусу основываясь только на статистической информации о множестве документов/терминов.


Список литературы

1. Бажанова А. И. Исследование применения онтологических моделей для семантического поиска / А.И. Бажанова, Т.В. Мартыненко // Інформаційні управляючі системи та комп'ютерний моніторинг (ІУС та КМ – 2011) / Матеріали II науково-технічної конференції студентів, аспірантів та молодих вчених. – Донецьк, ДонНТУ – 2011, с. 244-248.

2. Болотова В.А. Инструментальные средства создания баз знаний на основе системы онтологий / автореферат к магистерской работе // http://masters.donntu.ru/2010/fknt/bolotova/diss/index.htm

3. Анохина В.С. в Автоматизацию извлечения знаний из Internet в форме онтологии для построения прикладных баз знаний / автореферат к магистерской работе // http://www.masters.donntu.ru/2005/fvti/anohina/diss/work.htm

4. Клещев А. С. Математические модели онтологий предметных областей. Часть 1. Существующие подходы к определению понятия «онтология» / А.С. Клещев, И.Л. Артемьева // Информационные процессы и системы. – 2001. – № 2 – С. 20 – 27.

5. Соловьев В.Д. Онтологии и тезаурусы: учеб. пособие / В.Д. Соловьев, Б.В. Добров, В.В. Иванов, Н.В. Лукашевич; Казанский гос. ун-т, МГУ им. М.В. Ломоносова Казань. – М.: Казань, 2006. – 157 с.

6. Агеев М.С. Извлечение значимой информации из web-страниц для индексирования / М.С. Агеев, И.В. Вершинников, Б.В. Добров // «Интернет-Математика-2005»: семинар в рамках Всеросс. науч. конф. RCDL'2005. – 2005. – С. 283 – 301.

7. Боровикова О.И. Организация порталов знаний на основе онтологий / О.И. Боровикова, Ю.А. Загорулько // Компьютерная лингвистика и интеллектуальные технологии: тр. междунар. конф. «Диалог 2002», Протвино, 6–11 июня 2002 г. – Т.2. – С. 76 – 82.

8. Сайт института информатики и процессов управления [электронный ресурс]: http://www.iacp.dvo.ru.

9. Булгаков С.В. Использование онтологий для построения инновационных цепочек в системе поддержки инновационной деятельности в регионе / С.В. Булгаков, Ю.А. Загорулько // Труды VI-й Междунар. конференции «Проблемы управления и моделирования в сложных системах». – Самара: Самарский Научный Центр РАН, 2004 – С. 328 – 333.

10. Голиков Н.В. Применение онтологий / Н.В. Голиков // VII Всерос. конф. молодых ученых по мате мат. моделированию и информационным технологиям, Красноярск, 1 – 3 ноября 2006 г. – С. 82.

11. Овдей О.М. Обзор инструментов инженерии онтологий / О.М. Овдей, Г.Ю. Проскудина // Журнал ЭБ. – 2004 – №4.

12. Бениаминов Е.М. Алгебраические методы в теории баз данных и представлении знаний / Е.М. Бениаминов. – М.: Научный мир, 2003 – 184 с.

13. Сайт Щербака С. С., кандидата технических наук по специальности «Системы и средства искусственного интеллекта»// URL:http://shcherbak.net.

14. Сообщество Semantic Web // http://www.w3.org/2001/sw.

15. Бевзов А.Н. Разработка методов автоматического индексирования текстов на естественном языке для информационно-поисковых систем / А.Н. Бевзов // Труды X Всеросс. науч. конф. Электронные библиотеки: перспективные методы и технологии, электронные коллекции – RCDL'2008 – С. 401 – 404.

16. Рабчевский Е. А. Автоматическое построение онтологий на основе лексико-синтаксических шаблонов для информационного поиска / Е.А. Рабчевский // Труды XI Всеросс. науч. конф. «Электронные библиотеки: перспективные методы и технологии, электронные коллекции». – Петрозаводск, 2009.

17 Королев А.Н. Лингвистическое обеспечение информационно-поисковой системы Excalibur RetrievalWare: Аналитический аспект / А.Н. Королев // материалы конференции «Корпоративные Информационные Системы», 1999.

18. Анисимов А.В. Система обработки текстов на естественном языке / А.В. Анисимов, А.А. Марченко // Искусственный интеллект. – 2002. – № 4. – С. 157 – 163.

19. Мозжерина Е. С. Автоматическое построение онтологии по коллекции текстовых документов // Электронные библиотеки: Перспективные Методы и Технологии, Электронные коллекции – RCDL 2011 – Воронеж, 2011 – С. 293 – 298.


Важное замечание

При написании данного реферата магистерская работа еще не завершена. Окончательное завершение: декабрь 2012 года. Полный текст работы и материалы по теме могут быть получены у автора или его руководителя после указанной даты.