СТРУКТУРА ЭКСПЕРТНОЙ СИСТЕМЫ ПРОВЕРКИ ЗНАНИЙ ПО РЕЗУЛЬТАТАМ ТЕСТИРОВАНИЯ

Казаченко Е.В., Фонотов А.М.

Донецкий национальный технический университет г. Донецк Кафедра автоматизированных систем управления

E-mail: kazkate@gmail.com

Аннотация Казаченко Е.В., Фонотов А.М. Структура экспертной системы проверки знаний

по результатам тестирования. В статье рассмотрены методы оценки знаний, их досто- инства и недостатки, а также возможность применения нечеткой логики к оцениванию знаний по результатам тестирования.

Общая постановка проблемы. В настоящее время для оценки знаний чаще всего применяется стандартная схема индивидуального оценивания методом экспертных оценок, в которой оценка знаний проводится экспертом либо группой экспертов.

Этот подход имеет серьезные недостатки: субъективизм, заключающийся в том, что разные преподаватели могут по-разному оценить способности одного и того же студента; отсутствие широкой шкалы оценивания; «локальность» оценки, которая имеет смысл только в рамках небольшой группы оцениваемых; трудоемкость массового тестирования; задание, как правило, не охватывает весь предмет, что не позволяет оценить реальные знания испы- туемого.

Актуальность проблемы заключается в том, что традиционные методы контроля не позволяют достаточно объективно определять качество и уровень знаний, что требуется для внешнего тестирования абитуриентов или тестирования при приеме на работу.

Тестовые задания по своей форме могут быть нескольких типов: на выбор; на соот- ветствие; на ранжирование; на конструирование; ситуационные.

Несмотря на такое многообразие форм тестовых заданий в автоматизированных сис- темах тестирования чаще всего используются простые алгоритмы формирования итоговой оценки: аддитивные алгоритмы и аддитивные алгоритмы со штрафными баллами [3].

Для контроля оценки результатов тестирования применяются адаптивные и неадап- тивные методы контроля знаний [1]. При неадаптивных методах в процессе контроля все студенты проходят одну и ту же, заранее определенную, последовательность кадров прове- рочных заданий, которая не зависит от действий обучаемого во время контроля.

Адаптивные методы максимально используют данные из модели студента (уровень подготовленности студента, уровень беспокойства-тревоги, правильность ответа и др.) и/или модели учебного материала (взаимосвязи между проверяемыми понятиями). Применение адаптивных методов формирования тестов дает возможность более точного оценивания [3].

Разработанная на Западе теория создания тестов (IRT [3, 5]) предназначена для оценки латентных параметров испытуемых и заданий теста. Основным принципом IRT является ус- тановление вероятностей связи между наблюдаемыми результатами тестирования и латент- ными параметрами испытуемого и заданий теста [4]. Эта связь выражается в виде:

P=(xij=1)=f (θi – βi)

(1)

где xij - элемент матрицы ответов, равный 1, если ответ i-го испытуемого на j-е задание верный, 0 – в противном случае;

θi - уровень подготовки i-го испытуемого, i=1..N; βi - трудность j-го задания, j=1..n;

f - логистическая функция, зависящая от выбранной модели IRT.

Среди моделей IRT различают однопараметрическую модель Раша, двухпараметриче- скую модель Бирнбаума, трехпараметрическую модель Бирнбаума.

Оценка знаний может проводиться с использованием различных моделей оценивания: с учетом только правильности ответов студентов или учитывающих параметры заданий и уровень усвоения знаний. Для реализации моделей оценки знаний применяются линейные алгоритмы, экспертные системы, нейронные сети, аппарат нечеткой логики [4].

Несмотря на достаточно большое количество работ по рассматриваемой теме [1, 4, 5], можно выделить ряд общих недостатков современных методов автоматизированного оцени- вания знаний по результатам тестирования:

использование одной методики составления теста, что сужает возможности тес-

тирования;

негибкость процедур расчета итоговой оценки, вследствие применения методов использующих алгоритм накопления баллов, методов ранжирования, методов поощрения и штрафов;

высокая трудоемкость формирования высокоэффективных тестов, или сведение процедуры формирования теста к случайному выбору вопросов;

использование заранее сформированных тестов, что исключает возможность ис- пользования адаптивных методик тестирования или делает их недостаточно гибкими.

Постановка задач исследования. Целью работы являются снижение трудоемкости составления адаптивных тестов за счет внедрения системы автоматической генерации тес- тов; повышение качества оценивания; снижение трудоемкости за счет автоматизации про- цесса проверки результатов тестирования и выставления оценки.

Назначение системы – адекватное оценивание специальных знаний лица проходящего тестирования на основе адаптивного комплексного тестирования по заданной предметной области.

Задачи: разработать экспертную систему оценивания знаний, которая будет позволять автоматически генерировать тесты; проводить тестирование; выставлять адекватную оценку высокой степени точности; формировать пояснения выставленной оценки и рекомендации по углублению знаний в той или иной области; давать рекомендации разработчикам тестов по качеству тестовых заданий и тесту в целом [2].

Решение задачи и результаты исследований. Система проверки знаний по резуль-

татам тестирования реализуется с применением аппарата нечеткой логики для оценки знаний тестируемого.

Рассмотрим структуру экспертной системы оценки знаний (рис. 1):

Подсистемы тестирования – реализует интерфейс взаимодействия испытуемого и экспертной системы оценки знаний.

Блок УПП дисциплин – подсистема, отвечающая за наполнение и хранение ин- формации о дисциплинах, взаимосвязях между темами дисциплин и определяющая степень важности той или иной темы.

Подсистема оценки качества теста на основе генетического алгоритма – реализует автоматическую генерацию тестов определенного качества.

Подсистема формирования адаптивных тестов – позволяет задать требуемый уро- вень качества создаваемых тестов и определить значения параметров создаваемого теста. В качестве таких параметров используется число пропусков в разрезе тем, число выполненных лабораторных работ и качество их выполнения.

База вопросов – хранилище вопросов по заданной тематике. Через интерфейс Подсистемы формирования адаптивных тестов, преподаватель получает возможность фор- мировать тестовые вопросы различных типов, задавать взаимосвязи между ними, задавать положительный либо отрицательный вес каждого ответа на сформулированный вопрос.

База знаний – представляет собой нечеткую базу знаний, которая позволяет дать оценку ответу на каждое тестовое задание и контрольное испытание в целом.

Подсистема интеллектуальной оценки знаний на основе нечеткой логики – позво- ляет адекватно оценить знания испытуемого учитывая качество теста, уровень теоретических

ипрактических знаний испытуемого по каждой теме и в общем по всему курсу.

База результатов тестирования. Все результаты тестирования сохраняются и ис- пользуются при составлении аналитических отчетов успеваемости студентов.

Подсистема пояснений реализует алгоритм формирования поясняющих фраз на лин- гвистическом языке (украинский, русский, английский), которые предназначены для разъяс- нения испытуемому его ошибок и просчетов.

Рис. 1. Обобщенная структура создаваемой экспертной системы Основой экспертной системы оценки знаний, является подсистема интеллектуальной

оценки знаний на основе нечеткой логики. Система реализована в двух уровнях. На первом уровне производится оценка знаний студента по каждой теме в отдельности, на втором уров- не формируется итоговая оценка. Рассмотрим подробно реализацию этой подсистемы.

Для комплексной оценки знаний необходимо учесть ряд взаимосвязанных факторов, таблица 1. Для каждого фактора создадим лингвистическую переменную*.

Таблица 1 Факторы оценки знаний

№

Наименование

Описание

1

Уровень практических

Фактически оценивается уровень подготовки студента на

 

знаний

основе выполненных лабораторных работ. Выставляется

 

 

преподавателем (экспертом).

2

Посещаемость

Определяется на основе журнала посещений.

3

Знание темы Ti

Интегральная оценка знаний испытуемого по определен-

 

 

ной теме. Является выходной лингвистической перемен-

 

 

ной первого уровня экспертной системы оценки знаний.

* Для каждой темы курса создается своя лингвистическая переменная. Лингвистическая переменная «оценка» - выходная переменная ЭС.

Лингвистическая переменная задается терм-множеством Т, универсальным множест- вом Х, множество синтаксических модификаторов G, функцией принадлежности F.

Множество термов для лингвистической переменной «Уровень практических знаний» приведен в таблице 2.

Таблица 2 Термы для лингвистической переменной «Уровень практических знаний»

Уровень

Шкала

Критерий

 

Низкий

0 .. 3

 

При сдаче лабораторных работ студент выполнил необходимый

 

 

 

 

минимум требований.

Средний

3 .. 6

 

При сдаче лабораторных работ студент выполнил требуемый

 

 

 

 

минимум, хорошо отвечал на поставленные вопросы.

Высокий

6 .. 9

 

При подготовке к лабораторным работам студент проводил ана-

 

 

 

 

лиз поставленной проблемы. Ответы на дополнительные вопро-

 

 

 

 

сы были лаконичные и точные.

Повышенный

9 .. 12

 

При подготовке к лабораторным работам студент проводил ана-

 

 

 

 

лиз поставленной проблемы. Решение поставленных задач было

 

 

 

 

не только верным, но и оригинальным.

Множество термов для лингвистической переменной «Посещаемость» приведено в

таблице 3.

 

 

 

 

 

 

Таблица 3 Термы для лингвистической переменной «Посещаемость»

Уровень

 

Шкала

 

Критерий

Плохая

 

0

.. 4

 

 

Пропущено более 30% занятий

Средняя

 

4

.. 8

 

 

Пропуски занятий составили от 10 до 30%.

Хорошая

 

8

.. 12

 

Пропущено менее 10% занятий

Множество термов для лингвистической переменной «Знание темы» приведено в таб-

лице 4.

 

 

 

 

 

 

Таблица 4 . Термы для лингвистической переменной «Знание темы»

Уровень

 

Шкала

 

Критерий

Плохая

 

1

.. 2

 

 

Значение лингвистических переменных этого типа

Средняя

 

2

.. 3

 

 

формируется на первом уровне экспертной системы.

Хорошая

 

3

.. 4

 

 

 

Отличная

 

4

.. 5

 

 

 

Для формирования нечетких переменных на основании лингвистических переменных используется треугольная функция принадлежности, значение которой в точке Х вычисляет-

ся по формуле (2).

 

 

 

 

 

 

b x

 

 

 

1

 

, a x b

 

 

b a

 

 

 

 

 

 

 

x c

 

 

 

 

 

 

(2)

MF (x)  1

 

, b x b

,

c b

 

 

 

 

 

 

 

 

 

0, в _ остальных _ случаях

 

 

где a, b, и с - левая граница, точка максимума и правая граница функции принадлеж- ности соответственно.

Для формирования итоговой оценки, которая является выходной лингвистической пе- ременной, применяется база знаний, которая представлена в виде набора продукций и фор- мируется преподавателем (экспертом) для каждой учебной дисциплины. С помощью меха- низма продукций, который составляет часть системы нечеткого вывода, преподаватель полу-

чает возможность задать зависимости между изученными темами, дифференциально подой- ти к оценке посещаемости, задать уровень значимости каждой темы курса.

Для итогового формирования оценки используется алгоритм нечеткого вывода Мам-

дани.

Как уже упоминалось выше, система позволяет генерировать тестовые задания разной сложности. Для автоматического формирования тестовых заданий используется генетиче- ский алгоритм, представленный на рисунке 2.

1

Создание исходной популяции

 

 

2 Оценка фитнес-функции особей в популяции модели Бирнбаума

3Выбор родителей для процесса размножения (работает оператор селекции - репродукции)

4Создание потомков выбранных пар родителей (работает оператор скрещивания - кроссинговера)

5Мутация новых особей (работает оператор мутации)

6Расширение популяции за счет добавления новых только что порожденных особей

7Сокращение расширенной популяции до исходного размера (работает оператор редукции)

нет

8 Критерий останова работы алгоритма выполнен?

да

9Поиск лучшей особи в конечной популяции. Результат работы алгоритма.

Рис. 2. Простой генетический алгоритм В качестве фитнесс-функции генетического алгоритма была выбрана трехпараметри-

ческая модель Бирнбаума, т.к. она кроме всего вышеперечисленного, также учитывает веро- ятность угадывания ответа, исходя из формулировки задания. Такая ситуация может возник- нуть, например, при неграмотном подборе дистракторов (вариантов ответа) на задание за- крытого типа. Зависимость подчиняется следующей формуле:

Pij

c j

(1c j

)

 

1

 

 

 

 

 

 

 

(3)

 

exp(d j

(i

i ))

 

 

 

1

,

где cj – вероятность угадывания.

Независимо от выбора модели, изучаются также принципы взаимодействия различ- ных параметров друг с другом.

В трехпараметрической модели Бирнбаума вероятности правильного (соответственно, неправильного(5) решения тестового задания равны:

p(, , y)

 

e y ()

 

(4)

e

y ()

1

 

 

 

 

 

1

 

 

 

q(, , y) e y () 1 (5)

Пусть тест содержит n заданий. Будем считать известными не только трудности зада- ний δ1, δ2,...,δn, но и дифференцирующие особенности всех заданий γ1, γ2,...,γn. Сохраним прежнее обозначение для характеристической функции. Тогда логарифмическая функция правдоподобия равна:

n

 

 

n

 

ln(F ()) xi

yi (i ) ln(e yi (i ) 1)

(6)

i1

 

 

i1

 

Необходимое условие максимума функции (6) приводит к уравнению:

 

n

n

 

 

 

yi p(,i , yi ) xi

yi

,

(7)

i1

i1

 

 

из которого должен определяться уровень подготовленности испытуемого. С помощью модели Бирнбаума оценивается качество и сложность теста.

Выводы. Разрабатываемая система призвана повысить качество оценивания знаний, формализовать и автоматизировать методику формирования адаптивных тестов со связан- ными тестовыми заданиями, оценить качество формируемых системой тестов, предоставить возможность оценивания знаний как в общем по дисциплине, так и по отдельным темам в частности.

В ходе анализа существующих методов решения поставленной задачи принято реше- ние использовать адаптивные методы тестирования, как наиболее точные и нацеленные на всестороннее оценивание знаний тестируемого в совокупности с экспертной системой, осно- ванной на теории нечеткой логики.

Для автоматического формирования адаптивных тестов предлагается использовать аппарат генетических алгоритмов.

Экспертная система оценки знаний по результатам тестирования позволит снизить трудоемкость проведения текущих и окончательных контролей знаний. Позволит проводить многопараметрический анализ успеваемости студентов по различным темам учебного курса. Даст возможность выявить темы, усвоение которых вызвало наибольшие трудности.

Литература

1.Модели и методы адаптивного контроля знаний [Электронный ресурс] / Л. В.Зайцева, Н. О. Прокофьева // Educational Technology & Society – 2004. – № 7 (4). Режим доступа к журн.: – URL: http://ifets.ieee.org/russian/depository/v7_i4/html/1.html.

2.Минин М.Г. Диагностика качества знаний и компьютерные технологии обучения. Томск: Изд-во ТГПУ,2000. 216 с.

3.Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учеб- ное пособие. – М.: Логос, 2002. – 432 с.: ил.

4.Rash G. Probabilistick Models for Some Intelligence and Attainment Tests, 1960, Copenhagen, Denmark: Danish Institute for Educational Re-search.

5.Экспертные системы: структура и классификация. – URL: http://www.ssti.ru