Одной из наиболее важных проблем, с которыми приходится сталкиваться при обработке знаний или при построении систем,
основанных на знаниях, является представление последних [1]. Для манипулирования всевозможными знаниями из реального мира
с помощью компьютера необходимо осуществлять их моделирование. Решение о выборе способа представления оказывает огромное
влияние на любую составную часть систем с базами знаний.
Существуют десятки моделей (или языков) представления знаний для различных предметных областей. В большинстве случаев
выделяют 4 типичные модели: логическая, продукционная, семантическая сеть и фреймовая [2]. Наибольшее применение в
современных системах тестирования находят продукционные модели и семантические сети.
Для построения продукционных моделей можно применить кортеж элементарной единицы данных: (имя объекта, свойство объекта,
значение свойства) [3]. При формировании теста правильно составленный вопрос и эталонный ответ вместе представляют законченное
утверждение заданной предметной области, в котором можно выделить элементы кортежа данных. Явление (или идея) в таком утверждении
обычно соотносится с объектом (имя объекта) и некоторой характеристикой объекта (свойство объекта), принимающей некоторое значение
(значение свойства). Для одного утверждения можно сформулировать три вопроса, поочередно проверяющие знание каждого из элементов кортежа единицы данных.
Например, в вопросе тестового задания: “Каким символом обозначается абсолютная ссылка на ячейку в электронных таблицах Microsoft Excel?” и эталонном
ответе: “$”, согласно кортежу элементарной единицы данных имя объекта – “ячейка”, свойство объекта – “абсолютная ссылка”, значение свойства – “$”.
Т.е. известно имя объекта и его свойство, а неизвестным, т.н. обучающим элементом, знание которого проверяется, является значение свойства объекта.
Второй вопрос: “В электронных таблицах Microsoft Excel адрес ячейки, записанный в виде $D$7, является … ” подразумевает неизвестным свойство объекта,
при этом для получения однозначного ответа заданы имя объекта и значение его свойства. Эталонный ответ в этом случае: “… абсолютной ссылкой”.
Третий вопрос: “Какой элемент электронных таблиц Microsoft Excel характеризуется абсолютной ссылкой, записанной в виде $D$7?” предполагает эталонный
ответ: “ячейка”. Известными элементами кортежа данных в таком вопросе являются свойство объекта и его значение, неизвестным – имя. Ответы на вопросы
рассмотренного теста однозначны.
Используя продукционный подход к формированию тестовых заданий, предлагается мыслительную деятельность тестируемого во время ответа на вопрос представить в виде моделей элементарной единицы знаний:
– ЕСЛИ (Имя объекта = “ячейка”) И (Свойство объекта = “абсолютная ссылка”) ТО (3начение свойства = “$”);
– ЕСЛИ (Имя объекта = “ячейка”) И (3начение свойства = “$D$7”) TO (Свойство объекта = “абсолютная ссылка”);
– ЕСЛИ (Свойство объекта = “абсолютная ссылка”) И (3начение свойства = “$D$7”) ТО (Имя объекта = “ячейка”).
Однако существуют тестовые задания, предполагающие неоднозначные ответы. Например, на вопрос: “Перечислить типы ссылок на ячейку в электронных таблицах Microsoft Excel”
следует эталонный ответ: “абсолютная, относительная, смешанная”. В этом вопросе задано имя объекта – “ячейка” и свойство объекта – “ссылка”, которое в свою очередь
является объектом для свойств “абсолютная”, “относительная”, “смешанная”. Такое представление элементарной единицы данных может быть реализовано
с помощью модели семантической сети, где в качестве понятий выступают имена объектов (ячейка, ссылка), а в качестве отношений – связи между ними (тип, свойство, значение).
Рассмотренный принцип формирования тестовых заданий позволяет формулировать вопросы, проверяющие знание каждого элемента в кортеже элементарной единицы данных заданного утверждения.
Этот принцип может быть использован в Автоматизированной системе контроля знаний при создании тестовых заданий закрытой формы с предложенными ответами, из которых несколько правильных.
Тестовое задание открытой формы не содержит предложенные варианты ответа и представляет собой утверждение с неизвестной переменной, которое предусматривает свободный ответ тестируемого.
При организации системы контроля знаний форма представления таких ответов является наиболее естественной, а задача реализации оценки ответа – наиболее сложной. Составление открытых
тестовых заданий начинается с постановки вопроса. Далее формируется полный и правильный ответ таким образом, чтобы ключевое слово было в начале ответа, а учебный элемент, знание
которого необходимо проверить, – в конце. Из верного ответа изымается соответствующий учебный элемент, и тестовое задание готово. Такие задания используются для выявления
знания терминов, определений, понятий и выполняются тестируемым по собственному усмотрению.
Для организации работы с текстовыми ответами предлагается метод, основанный на применении эталонных и дополнительных ответов, информация о которых занесена в базу данных
тестовых заданий. Для каждого вопроса открытого теста существует один эталонный и множество дополнительных ответов. Эталонный ответ заносится преподавателем при подготовке
вопроса, а дополнительные ответы являются ответами студентов и записываются в базу данных непосредственно при тестировании. И эталонным, и дополнительным ответам
присваивается дифференцированная оценка в диапазоне 0…1 в зависимости от степени их правильности. Эффективность работы такого метода в основном зависит от объема
и многообразия базы данных системы при ее заполнении дополнительными ответами.
Тестируемому необходимо самостоятельно с помощью клавиатуры ввести ответ на текущий вопрос (рис. 2). В процедуре оценивания его ответ сравнивается с эталоном
и при их полном совпадении считается правильным. Регистр символов и наличие пробелов между ними не учитываются. При несовпадении с эталоном ответ тестируемого
сравнивается с дополнительными ответами, находящимися в базе данных системы, и при совпадении оценивается соответствующим баллом. Если совпадений не обнаружено,
ответ оценивается нулевым баллом. Дополнительными ответами являются ответы студентов, которые при первом сравнении не совпадали с эталоном. Среди этих ответов
могут быть неполные или неточные, одним словом не совсем правильные ответы, которые, однако, заслуживают какой-то дифференцированной оценки. Все они заносятся
в базу данных системы и при первой возможности должны быть просмотрены и оценены преподавателем.
При формировании вопросов открытой ормы в системах компьютерного тестирования предлагаемый метод организации работы с текстовыми ответами расширяет возможности
дифференциации оценки, повышая тем самым объективность тестового контроля знаний. Применение открытых тестовых заданий позволяет приблизить организацию процесса
компьютерного тестирования к естественному диалогу преподавателя и студента.
Литература
1. Представление и использование знаний: Пер. с япон. / Под ред. X. Уэно, М. Исидзу-ка. – М.: Мир, 1989. – 220 с.
2. Базы данных. Интеллектуальная обработка инормации / В.В. Корнеев, А.Ф. Гаре-ев, СВ. Васютин, В.В. Райх. – М.: Нолиндж, 2001. – 496 с.
3. Tsichritzis D.C., Lochovsky F.H. Data Models. – New Jersey: Englewood Cliffs, 1982. – 344 p.
4. Тертышная Т.И., Колесникова Е.В., Гогунский В.Д. Автоматизированная система контроля знаний // Тр. Одес. политехи. ун-та. – Одесса, 2001. – Вып. 1(13). – С. 125 – 128.
