Классификация структурных свойств онтологий
Автор: Е.А. Шалфеева
1. Вступление
Последние 15 лет объектом пристального внимания в области искусственного интеллекта являются онтологии. Их создают, используют и изучают. Их используют при разработке программных средств (в том числе систем, основанных на знаниях) как часть результата деятельности аналитика. Они обеспечивают повторную используемость информации и обеспечивают уточнение смысла терминов, с помощью которых передается некоторая информация. На их основе (с их помощью) могут формироваться базы знаний для решения различных интеллектуальных систем, в частности, экспертных систем.
С учетом использования онтологий их свойства могут влиять на легкость понимания самой онтологии, на понимание информации, передаваемой с помощью терминов онтологии, на возможность повторного использования информации, на свойства программного средства (системы, основанной на знаниях), создаваемого на основе онтологии.
В современных проектах по созданию и эффективному использованию распределенных широкомасштабных библиотек многократно используемых онтологий большое внимание уделяется качеству онтологий, а именно «тестированию и выявлению ошибок в онтологиях» [1].
В литературе описан ряд свойств различных онтологий. Разные авторы предлагают разные наборы свойств либо наборы критериев качества онтологий. Как правило, эти свойства характеризуют уже созданную онтологию по отношению к той области знаний, которую она представляет. По их названиям часто «интуитивно понятно», что означает свойство, но толкования, встречающиеся в разных источниках различны. По-видимому, это связано с тем, что заинтересованные в оценивании специалисты преследуют разные цели и изучают онтологии, «не похожие» друг на друга. Есть в литературе примеры обращения к свойствам фрагментов онтологии и к отдельным ее определениям. Среди них многие не имеют краткого лаконичного названия, в отличие от вышеупомянутых критериев качества, они обычно представляют собой подробные описания случаев «нарушения желаемых свойств» для конкретных примеров онтологий на конкретном языке, а методы их оценивания описаны обычно нестрого и зависят от этого языка. Хотя эти свойства имеют «узкую» сферу применения, они позволяют улучшать модель онтологии еще в процессе ее создания.
Цель работы. Для систематического изучения свойств онтологий и их применения на практике необходима такая классификация свойств онтологий, которая охватывает свойства самых разных онтологий, не ограничивая исследователей в обнаружении новых свойств. Поэтому целью работы является разработка классификации известных из литературы свойств онтологий, удобной для систематического оценивания онтологий на практике.
Такая классификация необходима для выбора наиболее полного набора свойств при оценивании произвольной онтологии в зависимости от «типа» онтологии и от преследуемых целей. Такая классификация может быть положена в основу единого подхода к оцениванию и определения в однозначных терминах свойств онтологий, а затем и к объективному оцениванию самих онтологий.
Постановка задачи. Работа предполагает прояснение ситуации с определением понятий «онтология» и «свойство онтологии», анализ существующих классификации свойств и обсуждение возможности их использования для систематического оценивания онтологий и их моделей на практике. Представить классификацию свойств, нацеленную на охват и упорядочение всех известных из литературы свойств, а также на «накопление» ранее не обсуждавшихся, но присущих онтологиям свойств. С учетом наличия в структуре онтологий различных видов связей детализировать классификацию различных структурных свойств.
На сегодняшний день нет общепринятого определения понятия «онтология», оно имеет разное толкование в разных «сообществах» [2, 3, 4]. Не удивительно поэтому, что многообразны по форме и содержанию и сами модели, называемые онтологиями. В такой ситуации нет возможности использовать единый подход к оцениванию онтологий, что подтверждается различиями списков свойств, предлагаемых в литературе к оцениванию.
Встречаются определения онтологии, изложенные с учетом ее роли, с учетом ее составляющих компонентов, без учета того и другого. Чрезвычайно затруднительно выбрать из нескольких десятков известных определений то, которое облегчило бы систематизацию онтологий и их свойств. Чтобы выделить общий смысл представленных в литературе определений понятия «онтология» и сделать различия в этих определениях несущественными, обратимся к классическому понятию "информации" [5].
Соответствие между сообщением и информацией (информация передается посредством сообщения) не является взаимно-однозначным. Решающим для связи между сообщением S и информацией I является некоторое отображение int (правило интерпретации):
Пусть {t1, … tn} – множество терминов, а V - множество их возможных значений. Будем называть вербальным представлением информации такое сообщение, которое имеет вид некоторого отображения множества терминов {t1, … tn} в множество значений V. Смысл терминов t1, … tn может быть представлен концептуализацией Conc таких вербальных представлений информации, которые имеют интерпретацию.
Онтология есть явное описание (на некотором языке L) смысла терминов, неявно определенных концептуализацией Conc:
O = <Conc, L>.
Вопросам качества онтологий и их свойствам посвящено множество публикаций. Но термин свойство (например, property) онтологии в литературе, относящейся к исследованию свойств онтологии, употребляется редко. Еще реже можно встретить толкование этого термина.
Понятие свойство онтологии не определено, в частности, в глоссарии онтологических терминов, написанном by John F. Sowa [6]. Не удается найти разъяснение такому понятию в статьях, рассматривающих свойства и качество онтологий.
Свойством вообще считается качество, признак, составляющий отличительную особенность кого-(чего-)нибудь [7].
Англоязычными терминами, передающими смысл понятия «свойство» для онтологии можно считать property, characteristics, features, factors. Слово «property» применяется, например, для желаемых свойств (desired properties) при оценивании качества концептуальных моделей бизнеса и для свойств онтологий «пределы знаний» (scope), исчерпываемость (exhaustiveness), степень детализации (granularity) [8].
В статьях употребляются такие понятия как критерии качества для исследования качества концептуальных моделей [9, 10], критерии для оценивания онтологии [8], характеристики онтологий [11], характеристики качества, наследуемые онтологиями от information science, систем, основанных на знаниях и языков программирования, факторы, свойственные (factors peculiar to) онтологиям, аспекты качества [11].
В [12] одни и те же свойства концептуальной модели и ее компонентов называют словом «характеристики» (characteristics) и «особенности» (features). В [13] обсуждаются критерии онтологической полноты (и качества специализированных онтологий). В [14] рассматривается модульность и критерии модульности (Criteria for partitioning definitions).
Имея цель систематизировать подход к оцениванию онтологий, предлагается следующее определение понятия «свойство отнологии». Под свойством онтологии понимается любая отличительная особенность ее от других онтологий, любой признак, придающий ей схожесть с другими онтологиями, а также любая характерная особенность произвольного фрагмента онтологии, обладающего смыслом (отдельного определения, совокупности определений, онтологического соглашения, модуля).
Примерами таких свойств являются общность понятий (независимость понятий от специфической области приложения) [9]; краткость (полезность и четкость собранной в онтологии информации), документированность формального определения; наличие\отсутствие рекурсий (циклов) между определениями онтологии [8]; число других модулей, содержащих термины, используемые в данном модуле.
Таким образом, можно определить свойство онтологии (property (O)) как
отображение всей онтологии в некоторую область значений свойства онтологии или
отображение модуля Mi в область значений свойства модуля или
отображение определения термина Tij (сущности, типа сущностей, отношения) в область значений свойства соответствующего понятия или
отображение совокупности определений терминов и онтологических
соглашений
в область значений свойства совокупности терминов (в частности,
модуля).
Анализ литературы, касающейся свойств в вышеупомянутом толковании (т.е. того, что в литературе названо особенностями, критериями, характеристиками и т.п.) онтологий «дает основание» сделать следующие заключения:
наборы свойств, рекомендуемых для исследования онтологий, различны [8, 9, 10, 11, 12];
2) отсутствует однозначность в использовании термина для обозначения некоторого свойства и толкования этого свойства: определения свойств, имеющих схожие названия, как правило, представляются авторами [9,12,15] в разных терминах и имеют различную семантику, а некоторые схожие по смыслу свойства иногда, наоборот, имеют разные названия.
Следующие примеры демонстрируют различные определения свойства согласованности.
семантическая согласованность означает, что модели ясны и организованы в соответствии с прикладной областью [12];
согласованность (consistency) понятий в концептуальных моделях означает согласованность понятий с «реальным миром» плюс согласованность внутри определения понятия [8];
согласованность между определениями и аксиомами (Consistency) означает невозможность вывести противоречивые утверждения с использованием других определений и аксиом [8, 15].
Представлены в литературе также свойства, выраженные «в терминах внутреннего содержимого» онтологий (или описываемые в терминах конкретных языков представления онтологий). Так, например, в [10] отсутствие свойства гомогенности оценивается с помощью двух внутренних подсвойств и сопровождается «рекомендациями» для улучшения свойства.
Наличие «частичных» атрибутов у сущности означает следующее: если отдельный атрибут сущности является «частичным», т.е. может быть присущ не всем представителям, то введение подкласса для тех сущностей, которые имеют такое свойство, обеспечивает гомогенность класса.
Наличие пересекающихся подклассов. Для моделей, в которых подклассы одного класса не являются непересекаемыми (disjoint) можно улучшить гомогенность введением общего для них подкласса, т.е. путем специализации этих подклассов.
Такие свойства имеют «узкую сферу применения», и не всегда понятно, как эту информацию можно использовать для оценивания произвольной онтологии. Кроме того, свойств, детализированных до такого уровня, представлено в общедоступной литературе слишком мало.
Подобные свойства онтологии (свойства определения термина) представляют собой, например, отображение Tij (сущности) в шкалу с такими значениями: от 0 до 100 - доля (%) «частичных» атрибутов у сущности, от 0 до 100 - доля (%) нужных терминов в онтологии, или отображение пары сущностей Tim и Tin, являющихся потомками сущности Tij, в шкалу с такими значениями: {пересекаемы\ не пересекаемы}.
Таким образом, возможность систематического оценивания онтологий на практике ограничена ввиду вышеперечисленных причин: 1) различия списков свойств, рекомендуемых для исследования онтологий, 2) отсутствия однозначности в обозначении и толковании свойств, 3) недостатка детально определенных свойств.
Многообразие свойств онтологий естественно вынуждает классифицировать их в зависимости от стоящих перед исследователем целей. Известны разные подходы к классификации. Но, к сожалению, на практике они не слишком облегчают выбор подходящих свойств для оценивания произвольной онтологии.
Некоторые авторы предлагают относить некоторые свойства (или критерии) к «внешнему» качеству моделей онтологий (т.е. удовлетворению пользователей), а другие свойства - к «внутреннему» качеству понятий (the intrinsic properties of concepts) [9]. Однако и определения внешних свойств и определения внутренних свойств сформулированы «со ссылкой на реальный мир». Например, внешнее свойство Completeness определяется в терминах достаточной выразительности для охвата существенных аспектов «реального мира». А внутреннее свойство Orthogonality определяется через независимость\связанность аспектов «реального мира» и представляющих их понятий [9].
В качестве другой основы для классификации предложены три «размерности» для оценивания качества концептуальных схем: синтаксическая, семантическая и прагматичная [10, 20]. Однако попытка «уложить» в эту классификацию свойства касающиеся структуры совокупности понятий, наталкивается на противоречия: свойства не относятся «впрямую» к синтаксической корректности [11] и к семантической обоснованности (отражению предметной области). Прагматические свойства моделей могут быть обусловлены некоторыми синтаксическими и семантическими свойствами.
Несколько проще «распределить» известные из литературы свойства в соответствии с классификацией, разделяющей свойства на общие критерии качества, критерии функциональности и критерии легкости использования [9].
Ни одна из классификаций не позволяет продемонстрировать разнообразие свойств, касающихся структуры.
Для того чтобы обеспечить систематический подход к исследованию свойств онтологий, надо иметь «универсальную» классификацию свойств, которая бы имела отношение к произвольной онтологии. Примером такой классификации является следующая – в ней свойства разбиты на две категории: 1) определяемые при использовании и 2) определяемые при создании онтологий. В каждой из категорий имеется дальнейшее «разбиение на группы». Свойства первой категории обнаруживаются и определяются по отношению к «моделируемой области», а второй - безотносительно к «области».
Свойства, определяемые при использовании онтологий
Свойства, относящиеся к функциональности онтологии, т.е. к тому, какие аспекты моделируемой области выражаются с помощью понятий (в вышеупомянутых классификациях это соответствует внешнему качеству, категории семантических свойств [10, 20], критериям функциональности [9]).
Свойства, относящиеся к легкости использования онтологии т.е. к тому, как эти аспекты моделируемой области выражены с помощью понятий (это соответствует критериям внешнего качества [18, 19], категории прагматических свойств [11, 20], критериям легкости использования [9]).
Свойства, определяемые при создании онтологий
Свойства, относящиеся к архитектуре онтологии (это соответствует критериям внутреннего качества, категории семантических свойств, критериям легкости использования [9]).
свойства онтологии как совокупности (или иерархии) модулей;
свойства модуля;
Свойства определений (это соответствует критериям внутреннего качества, категории синтаксических и семантических свойств, критериям функциональности [9]).
Свойства, относящиеся к синтаксису определений, - свойства наличия\ отсутствия\ корректности написания компонентов в определении в частности, свойства определения понятия или определения отношения,
Свойства, относящиеся к содержанию определений - свойства «соответствия» определяемых терминов друг другу;
Свойства онтологического соглашения - свойства наличия\ отсутствия компонентов соглашения или характеристики «сложности» соглашения о связях терминов.
Свойства структуры отношений в онтологии - это свойства совокупности связей между понятиями в рамках некоторой совокупности определений и\или онтологических соотношений, например, целого модуля (это соответствует критериям внутреннего качества, категории семантических свойств, критериям функциональности [9]).
Свойства, определяемые при использовании онтологий, представлены в литературе в таких терминах, как: присутствие нужного класса в модели, согласованность понятий с «реальным миром», полнота множества атрибутов [8,13,15], выразительность понятия, независимость понятия от специфической области приложения, легкость адаптирования понятия к индивидуальным потребностям и т.п. [9,14,21].
Такие «системы терминов» в описании свойств, «определяемых при использовании», затрудняют задачу объективного оценивания онтологий.
Вторая категория свойств - свойства, определяемые при создании онтологий, рассматриваются подробно в следующем параграфе. Они являются свойствами различных фрагментов онтологии, т.е. свойствами структуры онтологии. Среди них заметная роль принадлежит свойствам, относящимся к архитектуре онтологии. Они характерны только для модульных онтологий, и полезны для контроля разбиения онтологии на модули.
Следующий пример показывает цикличность связей между модулями известной онтологии Ontolingua.
Рис.1 Пример циклических связей модулей в онтологии Ontolingua.
Особое внимание к свойствам, определяемым при создании онтологий, объясняется их перспективностью в отношении объективного и своевременного (уже при создании онтологии) оценивания важных свойств онтологии. Свойства этой категории обнаруживаются и определяются по отношению к «внутреннему содержимому» онтологии – ее компонентам и структуре связи между компонентами.
Как отмечено ранее, структура онтологий варьируется от «однородной», такой как таксономия, до представляющей весь возможный спектр связей между понятиями. Проблема состоит в том, возможно ли представить структурные свойства онтологий так, чтобы они были пригодны для оценивания произвольной онтологии.
Для того чтобы представление структурных свойств максимально «охватило» спектр связей между понятиями в онтологиях, необходимо обратиться к опыту проектировщиков онтологий и рассмотреть системы понятий, используемые для описания свойств онтологий.
5.1. Учитывая «спектр общих вопросов», к которым онтологии обращаются [4], рассмотрим структуру онтологии. Считается, что связи между понятиями в реальном мире и его моделях бывают различного типа, например, таксономические связи, выражающие отношения «является видом» или отношение «общее\специфичное», композиционные связи, выражающие отношение «является частью», и «топологические» связи (Topological relationships) или проблемно-специфичные (Domain specific relations), показывающие «пути» физических взаимодействий (interactions) между понятиями или обеспечивающие информацией о пространственном их расположении [4, 22, 23]. Каждая из таких типов связей представлена в конкретных онтологиях множеством вариантов.
Таксономические связи. К наиболее типичным таксономическим отношениям относятся отношение, ставящее две сущности в зависимость «частное – общее» (является потомком) [24,25,26], исчерпывающее разбиение на подклассы (Exhaustive-Subclass-Partition). К таксономическим может быть отнесено и отношение является представителем (Instance-of) [24,26]. Композиционные связи. Согласно [4 и 22] в «искусственном интеллекте» и концептуальном моделировании различают несколько типов отношений часть-целое (part-whole), среди которых наиболее популярны:
компонент-объект (component-object) (физическая или концептуальная часть [22, 24,27,27];
ингредиент, вещество – для объекта (stuff-object) (например, мука в хлебе, пластик – материал для монитора) [22,24],
член из набора (member-collection) (Сущность является членом множества (набора, коллекции) однородных сущностей [24], [27]).
«Топологические» связи. Согласно анализу реальных онтологий [4, 27], «топологическими» (или проблемно-специфичными) являются, например, такие связи:
Сущность имеет атрибутом что-то (отношение объект – его свойство);
Следующая «группа» связей - связи сущностей с процессами и связи сущностей с сущностями посредством процессов: Сущность поддерживает Процесс, Сущность является инструментом Процесса, Актор\Сущность участвует в Процессе, Актор\Сущность выполняет Процесс, Актор руководит\управляет процессом, и т.п.;
Другая группа связей - причинно-следственные связи: Процесс влияет на прохождение другого Процесса (например, препятствует, оберегает от), Процесс влияет на Сущность, Процесс вызывает другой Процесс, Абстракция является предпосылкой для абстракции и др.;
Временн`ые связи (или связи сущностей, протекающих во времени): Процесс связан по времени с другим процессом, Временной интервал является частью другого, Временной интервал связан с другим интервалом, Процесс является частью другого процесса;
Пространственные связи: Сущность частично располагается в другой сущности, Объект пространственно связан с чем-то (находится рядом, пересекается…), Организм обитает в сущности, Сущность наполняет другую Cущность.
Все рассматриваемые отношения являются бинарными отношениями. Для анализа структуры этого достаточно, поскольку к таковым можно свести любые n-арные отношения.
5.2. При обсуждении в литературе «свойств, определяемых при создании» используются следующие «системы понятий».
В [15] употребляются понятия: класс, подкласс, функция, отношение, атрибут, область значения, область определения. Из них формируются «фразы» - компоненты определений свойств, такие как определение класса, определение функции или отношений, явное\неявное задание подкласса, уточнение области значений функции, связь «класс является подклассом», связь «класс имеет единственный заданный атрибут», класс является областью определения функции и т.п.
В [10] употребляются понятия: класс, подкласс, суперкласс, сущность, атрибут сущности. Из них формируются «фразы» - компоненты определений свойств, такие как подкласс сущности (или специализация для этой сущности), частичный атрибут сущности, взаимная пересекаемость\непересекаемость подклассов одного класса, общий для двух классов подкласс, атрибут "лексического типа" у сущности, сущность имеет атрибут с фиксированным диапазоном значений и т.п.
В [28] употребляются категория, теория, связь включения (inclusion links). Из них формируются фразы-компоненты определений свойств: число базовых категорий знания, отражающих соглашение в сообществе, число связей включения теорий, множество теорий, непосредственно (directly) или косвенно (indirectly) включаемых в данную теорию.
Универсальная классификация свойств должна базироваться на такой универсальной системе понятий, чтобы вышеуказанные термины могли быть «в нее переведены». Следующие два подпараграфа представляют как систему понятий, так и способ переопределения в них существующих структурных свойств.
5.3 Указанные в 5.2. виды связей сущностей, в общем случае, могут не присутствовать в онтологии. Для того чтобы эффективно сопоставлять информацию «разных ракурсов рассмотрения», в онтологии имеет смысл различать следующие структурные модели [16, 28, 29]:
таксономию онтологии, представляющую связи «обобщение - специализация» таких видов как «предок-потомок», «тип\вид\класс-представитель»; наиболее естественно объединить эту структуру со связями имеет атрибутом для облегчения анализа атрибутов, присущих «общему» либо только «специфичному» понятию онтологии;
партономию онтологии, представляющую связи «часть-целое»; совместное рассмотрение этой структуры со связями имеет атрибутом также оправданно;
модель процессов, связанных с сущностями, представляющую текущие или постоянно меняющиеся сущности, процессы, сильно зависящие от некоторых объектов;
модель временн`ых отношений, представляющую «расположение» различных сущностей «на оси времени»;
модель пространственных отношений, представляющую взаимное «расположение» различных сущностей «в пространстве»;
модель воздействия («сценария»), отражающую причинно-следственные связи между сущностями, такие как вызывает, причиняет (вызван);
отношений использования информации, отражающую связи цель, связи функции с аргументами, связи состояний сущностей (объектов) (т.е. значений их атрибутов) (и называемую также функциональной сетью или вычислительной моделью),
а также других видов связей.
Это означает, что базовая система понятий для определения структурных свойств онтологий сводится к совокупности всех видов связей, относящихся к каждой из вышеперечисленных моделей.
Тогда свойства структуры отношений в онтологии (совокупности определений) могут быть классифицированы так:
Свойства однородной структуры
свойства таксономии;
свойства партономии;
свойства структуры отношений причинности;
свойства структуры пространственных отношений
…
«совместные» структурные свойства двух видов структуры (чаще сопоставление с таксономией)
свойства таксономии и структуры отношений причинности;
свойства таксономии и партономии;
свойства партономии и структуры пространственных отношений;
и другие.
6. Заключение
Доступные литературные источники дают некоторый «ориентир» в вопросах оценивания свойств и качества онтологий. Однако они не дают «руководства» для оценивания важных свойств онтологии. Как правило, приводятся нестрогие определения желаемых свойств онтологий, и эти свойства обычно предполагают участие в оценивании онтологии эксперта предметной области либо других пользователей. Для того чтобы выбрать нужные свойства из представленных в литературе надо, чтобы оценщик онтологии и автор, представивший определения свойств, имели единое представление, по меньшей мере, о том, для каких онтологий и для каких целей эти свойства уместны (или даже имели единое представление о том, что считать онтологией).
Представленная универсальная классификация позволяет упорядочить множество обсуждаемых в разных литературных источниках свойств и позволяет выбрать нужные свойства для оценивания произвольной онтологии. Оценщику достаточно выбрать соответствующие своим целям (и типу онтологии) подмножества свойств (т.е. отдельные «ветки» в иерархии свойств) универсальной классификации. Детально классифицированные здесь структурные свойства являются объективно измеряемыми и должны иметь однозначно толкуемые определения. Это обеспечивает систематический подход к исследованию свойств онтологий на практике.
1. Teeuw W.B., van den Berg H. On the Quality of Conceptual Models // Proceedings of the ER'97 workshop on behavioral models and design transformations: Issues and opportunities in conceptual modeling / Ed. by Liddle S. W. Los Angeles, CA, USA, November 6-7, 1997. http://osm7.cs.byu.edu/ER97/workshop4/tvdb.html.
2. Assenova P., Johannesson P. Improving quality in Conceptual Modelling by the use of schema transformations. pdf, 1996. http://www.dsv.su.se/~petia/Publications/kval.pdf
3. Colomb R.M. Quality of ontologies in Interoperating Informational Systems, Technical Report 18/02 ISIB CNR Italy, 2002. http://www.loa-cnr.it/Papers/ISIB-CNR-TR-18-02.pdf.
4. Rozman I., Welzer T. et al. Reusable conceptual models as a support for the higher information quality. http://dbtlab.uni-mb.si/tatjana/icpqr99.pdf
5. Colomb R.M., Weber R. Completeness and Quality of an Ontology for an Information System // International Conference on Formal Ontology in Information Systems (FOIS’98) / Ed. by N. Guarino. Trento, Italy, 6-8 June, 1998. Amsterdam, IOS-Press P. 207-217.
6. van Heijst G., Schreiber A.T., and Wielinga B.J. Using Explicit Ontologies in KBS Development. // International Journal of Human and Computer Studies,1996, 46 (2-3) P. 183-292.
7. Gomez-Perez A. Some Ideas and Examples to Evaluate Ontologies. Knowledge Systems Laboratory, October, 1994. http://www-ksl.stanford.edu/KSL_Abstracts/KSL-94-65.html
8. Smits R. H., Harris B.A. Ontology or taxonomy: a CMMs-CSS sufficiency analysys. http://teams.drc.com/fast/FAST%20Project /E-6149U.htm
9. van Sinderen M.J. On the design of application protocols, Ph.D. Thesis, University of Twente, Enschede, The Netherlands, 1995.
10. Fenton N.E., Pfleeger S.L. Software metrics: A rigorous and practical approach. Second edition. International Tompson Computer Press, 1996. 638 p.
11. Meyer B., Object-Oriented software construction. Second edition, New Jersey, Prentice Hall, 1997.
12. Lindland O.I. et al. Understanding Quality in Conceptual Modeling // IEEE Software, 11(2), March 1994. P. 42-49.
13. Gruber T. R. Toward Principles for the Design of Ontologies Used for Knowledge Sharing. 1993. http://citeseer.ist.psu.edu/cache/papers/cs/490/http:zSzzSzwww-ksl.stanford.eduzSzknowledge-sharingzSzpaperszSzonto-design.pdf/gruber93toward.pdf
14. Rogers J.E., Rector A.L. GALEN's Model of Parts and Wholes: Experience and Comparisons, Journal of the American Medical Informatics Association, Fall Symposium Special Issue, pp.819-823, November, 2000.
15. Engineering Ontologies (short version). http://ksi.cpsc.ucalgary.ca/KAW/KAW96/borst/kaw96doc.html
16. SUMO Ontology. http://ontology.teknowledge.com/
17. Gruber T., What is an Ontology? http://www-ksl.stanford.edu/kst/what-is-an-ontology.html
18. Нариньяни А. С. ТЕОН-2: От тезауруса к онтологии и обратно // http://www.dialog-21.ru/archive_article.asp?param=7360&y=2002&vol=6077
19. Ontolingua. http://ontology.ip.rm.cnr.it/onto/ON9.3-OL-HTML
20. Стандарт онтологического исследования IDEF5. http://www.idef.com/idef5.html
21. Бабак В.Ф., Рыженко И.Н. Совершенствование методологии проектирования информационных систем. http://zeus.sai.msu.ru:7000/cfin/articles/mpis.shtml
