Методика тестирования для определения когнитивной сложности моделей для различных предметных областей

Григорьев А. В. Методика тестирования для определения когнитивной сложности моделей различных предметных областей // Научные труды Донецкого государственного технического университета. Серия: Информатика, кибернетика и вычислительная техника. — Донецк: ДонГТУ, 1999. — Вып. 6 (ИКВТ-99). — С. 246–251.

А. В. Григорьев

Кафедра ПМиИ, ДонГТУ

E-mail: grigorie@r5.dgtu.donetsk.ua

Аннотация

Рассматриваются вопросы построения тестов для определения допустимой когнитивной сложности для операторов компьютеров. Предложена методика определения когнитивной сложности моделей для различных предметных областей.

Введение

В настоящее время достаточно хорошо исследованы фундаментальные и некоторые прикладные аспекты организации функционирования систем «человек-машина». В работе [1] сформулирован ряд принципов построения таких систем. Наиболее полно данные принципы реализованы в концепции адаптивного компьютера [2]. Согласно данной концепции внутрикомпьютерная среда должна включать: блок зондирования характеристик оператора; математическую модель (ММ) оператора; генератор ММ оператора; ММ рабочей среды; генератор ММ рабочей среды. Блок зондирования обеспечивает получение долгосрочных и актуальных характеристик оператора. Долгосрочные характеристики определяются психофизиологическим типом человека (сангвиник и т.п.), а актуальные характеристики зависят от многочисленных внешних факторов и внутреннего состояния человека. Для определения долгосрочных характеристик применяются, например, тесты MMPI, Айзека, Стреляу; для определения актуальных характеристик - тест Люшера, теппинг-тест, и т.п. В качестве интегральной модели актуальных характеристик оператора [2] используется показатель уровня внимания, заданный как функция времени. Для настройки данной модели на состояние конкретного пользователя используется методика управления проведением дополнительных тестов.

Системы искусственного интеллекта имеют ряд специфических этапов работы (обучение, вывод решения и т.д.), для которых необходим учет ряда специфических характеристик оператора. Спецификой обладают и конкретные подклассы СИИ, например, интеллектуальные системы автоматизации проектирования (САПР), комплексы автоматизации системного анализа (СА) и системы автоматизации научных исследований (АСНИ). Общей спецификой перечисленных систем является необходимость оценки и ограничения когнитивной сложности (КС) представления моделей объектов. Проведем анализ существующие методов решения задачи ограничения КС на примере ряда работ. В работе [3], посвященной разработке языка SA (язык структурного анализа), предназначенного для передачи понимания, проблема ограничения сложности взаимодействия человека и системы SA решается путем применения принципа «все, о чем есть смысл говорить, должно быть представлено не более, чем из шести частей». Такой подход основан на известном в психологии «законе 7±2« [4]. Данный закон утверждает, что устойчивая коммуникация возможна лишь с 7±2 коммуникантами. В работе [5], посвященной разработке языка для описания систем взаимодействующих процессов, вводятся корреляция КС моделей и показателей структурной сложности систем взаимодействующих процессов. С этой целью проведено тестирование различных категорий пользователей ЭВМ. Показана возможность выявления диапазона значений показателей структурной сложности, обеспечивающего необходимый для безошибочной работы уровень понимаемости (>95%) системы функциональных процессов. Спецификой перечисленных работ является наличие концептуальной модели предметной области (ПО) различной сложности, языка для описания моделей, а так же меры для ограничения когнитивной сложности, основанной на интерпретации понятия структурной (системной) сложности. Можно сделать следующие выводы:

• интегральная характеристика оператора должна учитывать ограничения на КС моделей;
• необходимо дополнительно определить специфические долговременные и актуальные характеристики операторов;
• необходимо обеспечить построение меры КС на базе оценок структурной (системной) сложности моделей для различных предметных областей, языков представления модели и унифицированной концептуальной модели ПО.

1 Постановка задачи тестирования

В течении нескольких лет среди студентов ДонГТУ 4-х и 5-х курсов специальностей «Программное обеспечение» (ПО) и «Менеджмент информационных систем» (МИ) проводилось тестирование на восприятие КС. Тесты проводились, соответственно, в курсах «Автоматизация проектирования сложных объектов и систем» и «Моделирование экономических и производственных процессов». Целью тестирования было определение корреляции восприятия КС с долговременными и актуальными характеристиками операторов для различных групп экспертов, различных ПО и форм представления моделей. Студенты тестировались на общем наборе тестовых примеров (таб. 1).

В зависимости от типа ПО тестируемые условно делились на две категории: эксперты в данной предметной области и дилетанты. Каждая ПО и тип языка представления модели был представлен одинаковым числом тестовых примеров. Состав тестовых примеров обеспечивал полный спектр по числу отношений различных типов:

• все примеры интерпретировались как структурно-функциональные модели, задающие некоторый состав отношений в соответствии с принятой унифицированной концептуальной моделью ПО [6,7];
• в состав примеров включались как явно «необозримые» примеры, так и «слишком» простые примеры;
• с точки зрения структурной составляющей модели примеры отличались как составом типов блоков и типов данных, так и наличием, числом измерений, а так же размером регулярных составляющих модели (массивов);
• графики рассматривались как форма задания функциональной макромодели объектов при заданной структурной модели границы объектов;
• таблицы и принципиальные схемы (ПС) рассматривались как формы задания функциональных микромоделей при явном (для ПС) или неявном (для таблиц) задании структурной модели границ объектов.

2 Организация тестирования

Приведенный ниже порядок тестирования операторов задает алгоритм работы блока зондирования. Тестируемым предлагалось исследовать КС моделей сложных систем для некоторой ПО. Тест имеет три этапа.

Этап 1. Предварительно перед тестированием каждый из тестируемых задавал субъективные характеристики для себя как эксперта в данной ПО. Для этого требовалось по шкале 1-5 задать уровни таких долговременных характеристик: компетентность в данной ПО; зрительная память; абстрактное мышление. Указывается пол эксперта: мужской или женский. Т.о. осуществлялся учет отличных характеристик экспертов.

Учитывался и ряд общих характеристик экспертов. Например, общие характеристики студентов-экспертов специальности ПО: возраст - 21 год; уровень подготовки - профессиональные программисты - бакалавры, 4 курс; уровень знакомства со схемотехникой - средний, изучены курсы электроники, электротехники и САПР.

Этап 2. На данном этапе требовалось оценить некоторое количество моделей по шкале 1-5 по степени возможности выполнения экспертом следующего ряда операций: зрительный анализ; понимание; запоминание; возможный контроль функционирования. Была определена трактовка этих операций:

1) Выполнить зрительный анализ - означало, не вникая в смысл, охватить схему глазами («обозримость»);

2) Понять схему означало: определить, что дано на входе схемы, а что получается на выходе; определить порядок функционирования блоков внутри схемы;

3) Запомнить схему - означало для эксперта быть способным воспроизвести схему в общих чертах на бумаге;

4) Обеспечить контроль функционирования схемы - означало, что в ходе моделирования схемы эксперт не утрачивает контроль за функционированием отдельных составляющих и всей схемы в целом.

Все четыре перечисленные характеристики являются актуальным характеристикам оператора.

Этап 3. Тестируемым предлагалось дать экспертную оценку относительной КС (ОКС) всех моделей. Оценка проводилась в два шага.

На первом шаге тестируемым предлагалось определить относительную сложность для некоторого набора пар примеров, что означало задание частичного порядка на множестве примеров.

На втором шаге тестируемые строили полный линейный порядок КС всех примеров по шкале 1-8, ставя более высокие номера более сложным моделям. При этом не допускались группы эквивалентности прототипов по сложности. Таким образом, экспертом задавалась шкала ОКС для набора прототипов.

Примечание. Этап 1 может быть расширен специализированными тестами для определения отличных долговременных характеристик экспертов. Однако результаты статистического анализа тестов показывают высокую степень близости совокупности актуальных оценок для экспертов, имеющих эквивалентные субъективно заданные долговременные характеристики. Это позволяет утверждать, что «этап 1» в данном виде обладает достаточным уровнем полноты и достоверности.

3 Обработка результатов тестирования

Обработка результатов тестирования состояла в построении модели оператора. Были определены следующие цели:

1) упорядочить полную систему оценок в соответствии с частичным порядком на подмножестве оценок, связанных с ОКС прототипов, т.е. построить шкалу абсолютной КС прототипов \(Ш_А\);

2) ввести на шкале \(Ш_А\) интервал допустимых значений КС;

3) исходя из граничных оценок на \(Ш_А\), определить истинность условий ограничения для некоторого прототипа, имеющего соответствующую оценку;

4) обеспечить возможность расчета абсолютной КС прототипов на основе модифицированной меры структурной (системной) сложности.

3.1 Построение шкалы весомости операций для определения КС.

Были выделены группы экспертов по ПО, эквивалентных по значениям общих и отличных долговременных характеристик. Для каждой группы была рассчитана корреляция между ОКС прототипа (КСП) по шкале и значениями оценок для прототипов в различных группах экспертов. Ее усредненные значения представлены таб. 2.

Анализ позволил сделать следующий ряд выводов:

1) Существуют такие зависимости между КСП, оценками сложности и уровнем компетентности экспертов: для наиболее компетентных экспертов КСП определяется сложностью запоминания; для средне компетентных экспертов КСП определяется сложностью контроля функционирования; для мало компетентных экспертов КСП определяется сложностью охвата глазами, т.е. обозримости.

2) На границе между группами наблюдается равенство по важности смежных в данном списке параметров сложности.

3) Для наиболее подготовленных соблюдается такой порядок важности параметров: запоминание - контроль функционирования - обозримость.

Для наименее подготовленных соблюдается тот же порядок, но установленный наоборот, т.е.: обозримость - контроль - запоминание;

4) «Понимание» в данной его формулировке и месте в порядке определения относительной КСП менее всего влияет на КСП.

5) Пол практически не влияет на восприятие сложности.

На рис. 1 приведены графики зависимости центрированного показателя корреляции сложности выполнения отдельных операций над прототипами и относительной КСП для различных уровней компетентности экспертов. Т.о. на основе шкалы \(Ш_О\) для каждой группы экспертов оказалось возможным ввести линейный порядок на множестве операций, задающий их «важность» для определения КСП, т.е. шкалу \(Ш_П\).

3.2 Построение шкалы абсолютной КСП

Анализ результатов тестирования показывает, что возможны ситуации, когда из-за субъективного фактора система оценок и значения ОКС противоречат как друг - другу так и условиям тестирования. Например: 1) Совокупность явно больших по значению оценок имеет более низкую ОКС (или наоборот); 2) Имеются различные значения ОКС для одинаковых систем оценок (или наоборот). Был сделан вывод, что более достоверной мерой КС в этом случае является ОКС, т.к. нет гарантии, что система характеристик обладает 100%-й полнотой по отношению к КС и, соответственно, что значения системы оценок - обладают 100%-й достоверностью по отношению к ОКС. Задача построения шкалы абсолютной когнитивной сложности прототипов решалась следующим образом. Пусть дано:

• шкала, \(Ш_О\) т.е. ОКС для ряда прототипов;
• множество совокупностей значений оценок \(О'\), т.е. декартово произведение \(О'=О_1 \times .. \times О_n\);
• частичное отображение \(F_O:Ш_O \leftrightarrow O'' \in O'\), при том, что верно

\[\forall o_i'' \le o_j'' \quad для \quad i \le j\tag{1}\]

Решение. Строим функцию \(P_O\), задающую отношение порядка на \(O'\) при том, что удовлетворяется (1). Регрессионный анализ для построения \(P_O\) в данном случае не возможен по причине того, что для \(O'\) имеются только неравенства, задающие отношения порядка в соответствии с \(Ш_O\). Предлагается следующая эмпирическая форма построения функции

\[ P_{0}:\; P_{0}(O_{1},\ldots,O_{n}) \;=\; \sum_{i=1}^{n} O_{i}\cdot K_{i}, \]

где: \(K_i\) - уровни корреляции \(K_i(O_i,ОКС)\), рассчитанные для ряда прототипов. Шкала \(Ш_П\) в этом случае служит для задания веса на множестве операций. Предложенная эмпирическая формула имеет высокий коэффициент корреляции (0,94) с ОКС, что оправдывает ее применимость.

3.3. Определение на Ша границ допустимой КСП включает два этапа:

1). Определение нижней границы допустимой КСП:

• каждая оценка , имеющая значение \[O_i \le 3\tag{2}\] определяет «слишком» сложный прототип;
• если в составе системы оценок хотя бы для одной оценки выполняется условие (2), то прототип объявляется «слишком» сложным;
• наибольшая по номеру \(Ш_А\)в совокупность значений оценок, т.е. класс эквивалентности \(Э_2\), для которого выполняется условие (2) есть точная нижняя грань допустимой КСП на \(Ш_А\);
• прототип, принадлежащий классу эквивалентности \(Э_2\) и имеющий наибольшую относительную когнитивную сложность, объявляется в качестве нижней точной грани КСП.

2). Определение верхней границы допустимой сложности:

• класс эквивалентности \(Э_5\), такой, что верно \(\{O_i\}_{i,i}\) : всяк. \(O_i=5\), т.е. точная верхняя грань \(Ш_А\) системы оценок может быть объявлен как «слишком» простой;
• прототип, принадлежащий классу эквивалентности \(Э_5\) и имеющий наименьшую относительную сложность, объявляется в качестве верхней точной грани КСП.

Классы эквивалентности и могут варьироваться, исходя из текущего состояния актуальных характеристик операторов.

Заключение

На основе концепции адаптивного компьютера разработана методика определения шкалы и границ допустимой КСП для данного оператора. На основе абсолютной шкалы , полученной при тестировании пользователя, обеспечивается возможность расчета недоопределенных весовых коэффициентов меры структурной сложности. Таким образом, обеспечивается возможность построения меры абсолютной КС для произвольных прототипов.

Литература

• Павлов В. В. Системы «человек—машина»: проблемы и синтез. — Киев: Высшая школа, Головное издательство, 1987. — 55 с.
• Кочетенко Е. М. Построение и алгоритмы внутримашинной системы знаний о человеке-операторе в рамках концепции адаптивного компьютера // Сб. трудов первой междунар. науч.-практ. конф. по программированию «УкрПРОГ’98». — Киев, 1998. — С. 487–492.
• Росс Д. Структурный анализ (SA): язык для передачи понимания // Требования и спецификации в разработке программ / пер. с англ. — М.: Мир, 1984. — С. 240–284.
• Шиян А. А. Типы людей и их взаимодействие с компьютером // Сб. трудов первой междунар. науч.-практ. конф. по программированию «УкрПРОГ’98». — Киев, 1998. — С. 482–486.
• Балашов К. В. Когнитивная сложность систем взаимодействующих процессов // Сб. науч. трудов конф. по искусственному интеллекту «КИИ-94». — Рыбинск, 1994. — Т. 1. — С. 154–158.
• Григорьев А. В. О построении унифицированной концептуальной модели предметной области // Сб. трудов шестой междунар. конф. «Знания — диалог — решения». — Ялта, 1997. — Т. 1. — С. 427–434.
• Григорьев А. В. Методы и средства работы с недоопределёнными моделями в технологии метаэвристических оболочек // Сб. трудов первой междунар. науч.-практ. конф. по программированию «УкрПРОГ’98». — Киев, 1998. — С. 427–434.