МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ В СИСТЕМАХ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ

Интеллектуальные транспортные системы

Авторы: Н. Аллилуева, А. Григорьева
Источник: Одесский национальный политехнический университет, 2003 Ссылка

Аннотация

Рассматривается использование основных моделей представления знаний для формирования тестовых заданий открытой и закрытой форм

Одной из наиболее важных проблем, с которыми приходится сталкиваться при обработке знаний или при построении систем, основанных на знаниях, является представление последних [1]. Для манипулирования всевозможными знаниями из реального мира с помощью компьютера необходимо осуществлять их моделирование. Решение о выборе способа представления оказывает огромное влияние на любую составную часть систем с базами знаний.

Существуют десятки моделей (или языков) представления знаний для различных предметных областей. В большинстве случаев выделяют 4 типичные модели: логическая, продукционная, семантическая сеть и фреймовая [2]. Наибольшее применение в современных системах тестирования находят продукционные модели и семантические сети. Для построения продукционных моделей можно применить кортеж элементарной единицы данных: (имя объекта, свойство объекта, значение свойства)[3]. При формировании теста правильно составленный вопрос и эталонный ответ вместе представляют законченное утверждение заданной предметной области, в котором можно выделить элементы кортежа данных. Явление (или идея) в таком утверждении обычно соотносится с объектом (имя объекта) и некоторой характеристикой объекта (свойство объекта), принимающей некоторое значение (значение свойства). Для одного утверждения можно сформулировать три вопроса, поочередно проверяющие знание каждого из элементов кортежа единицы данных.

Например, в вопросе тестового задания: «Каким символом обозначается абсолютная ссылка на ячейку в электронных таблицах Microsoft Excel?» и эталонном ответе: «$», согласно кортежу элементарной единицы данных имя объекта – «ячейка», свойство объекта – «абсолютная ссылка», значение свойства – «$». Т.е. известно имя объекта и его свойство, а неизвестным, т.н. обучающим элементом, знание которого проверяется, является значение свойства объекта. Второй вопрос: «В электронных таблицах Microsoft Excel адрес ячейки, записанный в виде $D$7, является … » подразумевает неизвестным свойство объекта, при этом для получения однозначного ответа заданы имя объекта и значение его свойства. Эталонный ответ в этом случае: «… абсолютной ссылкой». Третий вопрос: «Какой элемент электронных таблиц Microsoft Excel характеризуется абсолютной ссылкой, записанной в виде $D$7?» предполагает эталонный ответ: «ячейка». Известными элементами кортежа данных в таком вопросе являются свойство объекта и его значение, неизвестным – имя. Ответы на вопросы рассмотренного теста однозначны.

Используя продукционный подход к формированию тестовых заданий, предлагается мыслительную деятельность тестируемого во время ответа на вопрос представить в виде моделей элементарной единицы знаний:

Однако существуют тестовые задания, предполагающие неоднозначные ответы. Например, на вопрос: «Перечислить типы ссылок на ячейку в электронных таблицах Microsoft Excel» следует эталонный ответ: «абсолютная, относительная, смешанная». В этом вопросе задано имя объекта – «ячейка» и свойство объекта – «ссылка», которое в свою очередь является объектом для свойств «абсолютная», «относительная», «смешанная». Такое представление элементарной единицы данных может быть реализовано с помощью модели семантической сети, где в качестве понятий выступают имена объектов (ячейка, ссылка), а в качестве отношений – связи между ними (тип, свойство, значение).

Рассмотренный принцип формирования тестовых заданий позволяет формулировать вопросы, проверяющие знание каждого элемента в кортеже элементарной единицы данных заданного утверждения. Этот принцип может быть использован в Автоматизированной системе контроля знаний при создании тестовых заданий закрытой формы с предложенными ответами, из которых несколько правильных. Тестовое задание открытой формы не содержит предложенные варианты ответа и представляет собой утверждение с неизвестной переменной, которое предусматривает свободный ответ тестируемого. При организации системы контроля знаний форма представления таких ответов является наиболее естественной, а задача реализации оценки ответа – наиболее сложной. Составление открытых тестовых заданий начинается с постановки вопроса. Далее формируется полный и правильный ответ таким образом, чтобы ключевое слово было в начале ответа, а учебный элемент, знание которого необходимо проверить, – в конце. Из верного ответа изымается соответствующий учебный элемент, и тестовое задание готово. Такие задания используются для выявления знания терминов, определений, понятий и выполняются тестируемым по собственному усмотрению. Для организации работы с текстовыми ответами предлагается метод, основанный на применении эталонных и дополнительных ответов, информация о которых занесена в базу данных тестовых заданий. Для каждого вопроса открытого теста существует один эталонный и множество дополнительных ответов. Эталонный ответ заносится преподавателем при подготовке вопроса, а дополнительные ответы являются ответами студентов и записываются в базу данных непосредственно при тестировании. И эталонным, и дополнительным ответам присваивается дифференцированная оценка в диапазоне 0…1 в зависимости от степени их правильности. Эффективность работы такого метода в основном зависит от объема и многообразия базы данных системы при ее заполнении дополнительными ответами.

Тестируемому необходимо самостоятельно с помощью клавиатуры ввести ответ на текущий вопрос. В процедуре оценивания его ответ сравнивается с эталоном и при их полном совпадении считается правильным. Регистр символов и наличие пробелов между ними не учитываются. При несовпадении с эталоном ответ тестируемого сравнивается с дополнительными ответами, находящимися в базе данных системы, и при совпадении оценивается соответствующим баллом. Если совпадений не обнаружено, ответ оценивается нулевым баллом. Дополнительными ответами являются ответы студентов, которые при первом сравнении не совпадали с эталоном. Среди этих ответов могут быть неполные или неточные, одним словом не совсем правильные ответы, которые, однако, заслуживают какой-то дифференцированной оценки. Все они заносятся в базу данных системы и при первой возможности должны быть просмотрены и оценены преподавателем. При формировании вопросов открытой ормы в системах компьютерного тестирования предлагаемый метод организации работы с текстовыми ответами расширяет возможности дифференциации оценки, повышая тем самым объективность тестового контроля знаний. Применение открытых тестовых заданий позволяет приблизить организацию процесса компьютерного тестирования к естественному диалогу преподавателя и студента.

Список использованной литературы

1. Представление и использование знаний: Пер. с япон. / Под ред. X. Уэно, М. Исидзу-ка. – М.: Мир, 1989. – 220 с.
2. Базы данных. Интеллектуальная обработка инормации / В.В. Корнеев, А.Ф. Гаре-ев, СВ. Васютин, В.В. Райх. – М.: Нолиндж, 2001. – 496 с.
3. Tsichritzis D. C., Lochovsky F. H. Data Models. – New Jersey: Englewood Cliffs, 1982. – 344 p.
4. Тертышная Т. И., Колесникова Е. В., Гогунский В. Д. Автоматизированная система контроля знаний // Тр. Одес. политехи. ун-та. – Одесса, 2001. – Вып. 1(13). – С. 125 – 128.