Реферат

Содержание

ВВЕДЕНИЕ

1 АКТУАЛЬНОСТЬ ТЕМЫ

2 СВЯЗЬ РАБОТЫ С НАУЧНЫМИ ПРОГРАММАМИ, ПЛАНАМИ, ТЕМАМИ

3 ЦЕЛЬ И ЗАДАЧИ РАЗРАБОКИ И ИССЛЕДОВАНИЯ

4 НАУЧНАЯ НОВИЗНА

5 ПРАКТИЧЕСКОЕ ЗНАЧЕНИЕ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ

6 ОБЗОР ИССЛЕДОВАНИЙ И РАЗРАБОТОК ПО ТЕМЕ

7 МАТЕМАТИЧЕСКАЯ ПОСТАНОВКА ЗАДАЧИ

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ВВЕДЕНИЕ

В настоящее время для оценки знаний чаще всего применяется стандартная схема индивидуального оценивания методом экспертных оценок, при которой, оценка знаний проводится экспертом либо группой экспертов.

Этот подход имеет серьезные недостатки:

1. субъективизм, заключающийся в том, что разные преподаватели могут по-разному оценить способности одного и того же студента;
2. отсутствие широкой шкалы оценивания;
3. «локальность» оценки, которая имеет смысл только в рамках небольшой группы оцениваемых;
4. трудоемкость массового тестирования;
5. задание, как правило, не охватывает весь предмет, что не позволяет оценить реальные знания испытуемого.

В связи с этим актуальной является задача оценки результатов тестирования как метода объективной оценки знаний.

Одним из преимуществ тестирования является высокий формализм этого метода, а, следовательно, возможность его автоматизации с целью снижения трудоемкости и повышения качества оценивания знаний.

Существуют адаптивные и неадаптивные методы контроля знаний [1]. При неадаптивных методах в процессе контроля все студенты проходят одну и ту же, заранее определенную последовательность кадров проверочных заданий, которая не зависит от действий обучаемого во время контроля.

Адаптивные методы максимально используют данные из модели студента (например, уровень подготовленности студента, уровень беспокойства-тревоги, правильность ответа и др.) и/или модели учебного материала (например, взаимосвязи между проверяемыми понятиями).

Тестовые задания по своей форме могут быть нескольких типов:

• на выбор;
• на соответствие;
• на ранжирование;
• на конструирование;
• ситуационные.

Несмотря на такое многообразие форм тестовых заданий в автоматизированных системах тестирования чаще всего используются простые алгоритмы формирования итоговой оценки: аддитивные алгоритмы и аддитивные алгоритмы со штрафными баллами [7]. В связи с этим, считаю необходимым, рассмотреть возможность применения аппарата нечеткой логикидля реализации экспертной системы оценки знаний.

1 АКТУАЛЬНОСТЬ РАБОТЫ

Контроль знаний студентов может быть осуществлен с использованием разных методов формирования оценки. Существуют методы оценки знаний с использованием моделей, учитывающих только правильность ответов студентов, и моделей, учитывающих параметры заданий и уровень усвоения знаний.

Несмотря на достаточно большое количество работ по рассматриваемой теме [1, 4, 5, 7], можно выделить ряд общих недостатков современных методов автоматизированного оценивания знаний по результатам тестирования:

• использование одной методики составления теста, что сужает возможности тестирования;
• негибкость процедур расчета итоговой оценки, вследствие применения методов, использующих алгоритм накопления баллов, методов ранжирования, методов поощрения и штрафов;
• высокая трудоемкость формирования высокоэффективных тестов, или сведение процедуры формирования теста к случайному выбору вопросов;
• использование заранее сформированных тестов, что исключает возможность использования адаптивных методик тестирования или делает их недостаточно гибкими.

2 СВЯЗЬ РАБОТЫ С НАУЧНЫМИ ПРОГРАММАМИ, ПЛАНАМИ, ТЕМАМИ

Данная работа выполнялась на протяжении 2009-2010 гг. в соответствии с научными направлениями кафедры Автоматизированных систем управления Донецкого национального технического университета.

3 ЦЕЛЬ И ЗАДАЧИ РАЗРАБОКИ И ИССЛЕДОВАНИЯ

Целью разрабатываемой системы является снижение трудоемкости составления адаптивных тестов за счет внедрения системы автоматической генерации тестов; повышение качества оценивания; снижение трудоемкости за счет автоматизации процесса проверки результатов тестирования и выставления оценки.

Назначение системы – адекватное оценивание специальных знаний лица проходящего тестирования на основе адаптивного комплексного тестирования по заданной предметной области.

Задачи:

• разработать экспертную систему оценивания знаний, которая будет позволять автоматически генерировать тесты;
• проводить тестирование;
• выставлять адекватную оценку высокой степени точности;
• формировать пояснения выставленной оценки и рекомендации по углублению знаний в той или иной области;
• давать рекомендации разработчикам тестов по качеству тестовых заданий и тесту в целом [2].

4 НАУЧНАЯ НОВИЗНА

Научная новизна исследования заключается в применении аппарата нечеткой логикидля реализации экспертной системы оценки знаний. Разработан новый подход к созданию адаптивных тестов и выставлению оценки высокой степени точности.

5 ПРАКТИЧЕСКОЕ ЗНАЧЕНИЕ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ

Практическая значимость исследования определяется тем обстоятельством, что усовершенствованная методика создания адаптивных тестов и выставления оценки высокой степени точности представляет интерес для экспертных систем обучения.

6 ОБЗОР ИССЛЕДОВАНИЙ И РАЗРАБОТОК ПО ТЕМЕ

Разработанная на Западе теория создания тестов (Item Response Theory – IRT [3, 5]) предназначена для оценки латентных (скрытых) параметров испытуемых и заданий теста. Основным принципом IRT является установление вероятностей связи между наблюдаемыми результатами тестирования и латентными параметрами испытуемого и заданий теста [4]. Эта связь выражается в виде:

(1)
где xij – элемент матрицы ответов, равный 1, если ответ i-го испытуемого на j-е задание верный, 0 – в противном случае;
?i – уровень подготовки i-го испытуемого, i=1..N;
?i – трудность j-го задания, j=1..n;
f – логистическая функция, зависящая от выбранной модели IRT (см. ниже).

Среди моделей IRT различают однопараметрическую модель Раша, двухпараметрическую модель Бирнбаума, трехпараметрическую модель Бирнбаума. В качестве модели обработки результатов для моей работы как основная была выбрана трехпараметрическая модель Бирнбаума, т.к. она кроме всего вышеперечисленного, также учитывает вероятность угадывания ответа на тестовое задание. Данный коэффициент показывает, насколько легко испытуемые могут угадать правильный ответ, исходя из формулировки задания, не обладая необходимыми знаниями. Такая ситуация может возникнуть, например, при неграмотном подборе дистракторов (вариантов ответа) на задание закрытого типа. Зависимость подчиняется следующей формуле:

(2)
cj – вероятность угадывания.

Независимо от выбора модели, изучаются также принципы взаимодействия различных параметров друг с другом. Поэтому, считаю целесообразным создание экспертной системы, которая будет рассчитывать различные параметры и давать понятные рекомендации по качеству теста.

7 МАТЕМАТИЧЕСКАЯ ПОСТАНОВКА ЗАДАЧИ

Система проверки знаний по результатам тестирования реализуется с применением аппарата нечеткой логики для оценки знаний тестируемого.

Основой экспертной системы оценки знаний, является подсистема интеллектуальной оценки знаний на основе нечеткой логики. Система реализована в двух уровнях. На первом уровне производится оценка знаний студента по каждой теме в отдельности, на втором уровне формируется итоговая оценка. Рассмотрим подробно реализацию этой подсистемы. Для комплексной оценки знаний необходимо учесть ряд взаимосвязанных факторов, таблица 1. Для каждого фактора создадим лингвистическую переменную*.

Таблица 1 – Факторы оценки знаний

№	Наименование	Описание
1	Уровень практических знаний	Фактически оценивается уровень подготовки студента на основе выполненных лабораторных работ. Выставляется преподавателем (экспертом).
2	Посещаемость	Определяется на основе журнала посещений.
3	Знание темы	Интегральная оценка знаний испытуемого по определенной теме. Является выходной лингвистической переменной первого уровня экспертной системы оценки знаний.

* Для каждой темы курса создается своя лингвистическая переменная.

Лингвистическая переменная «оценка» – выходная переменная ЭС.

Лингвистическая переменная задается терм-множеством Т, универсальным множеством Х, множество синтаксических модификаторов G, функцией принадлежности F. Множество термов для лингвистической переменной «Уровень практических знаний» приведен в таблице 2.

Таблица 2 – Термы для лингвистической переменной «Уровень практических знаний»

Уровень	Шкала	Критерий
Низкий	0 .. 3	При сдаче лабораторных работ студент выполнил необходимый минимум требований.
Средний	3 .. 6	При сдаче лабораторных работ студент выполнил требуемый минимум, хорошо отвечал на поставленные вопросы.
Высокий	6 .. 9	При подготовке к лабораторным работам студент проводил анализ поставленной проблемы. Ответы на дополнительные вопросы были лаконичные и точные.
Повышенный	9 .. 12	При подготовке к лабораторным работам студент проводил анализ поставленной проблемы. Решение поставленных задач было не только верным, но и оригинальным.

Множество термов для лингвистической переменной «Посещаемость» приведено в таблице 3.

Таблица 3 – Термы для лингвистической переменной «Посещаемость»

Уровень	Шкала	Критерий
Плохая	0 .. 4	Пропущено более 30% занятий.
Средняя	4 .. 8	Пропуски занятий составили от 10 до 30%.
Хорошая	8 .. 12	Пропущено менее 10% занятий.

Множество термов для лингвистической переменной «Знание темы» приведено в таблице 4.

Таблица 4 – Термы для лингвистической переменной «Знание темы»

Уровень	Шкала	Критерий
Плохая	1 .. 2	Значение лингвистических переменных этого типа формируется на первом уровне экспертной системы.
Средняя	2 .. 3
Хорошая	3 .. 4
Отличная	4 .. 5

Для формирования нечетких переменных на основании лингвистических переменных используется треугольная функция принадлежности, значение которой в точке Х вычисляется по формуле (2).

(2)
где a, b, и с – левая граница, точка максимума и правая граница функции принадлежности соответственно.

Для формирования итоговой оценки, которая является выходной лингвистической переменной, применяется база знаний, которая представлена в виде набора продукций и формируется преподавателем (экспертом) для каждой учебной дисциплины. С помощью механизма продукций, который составляет часть системы нечеткого вывода, преподаватель получает возможность задать зависимости между изученными темами, дифференциально подойти к оценке посещаемости, задать уровень значимости каждой темы курса.

Для итогового формирования оценки используется алгоритм нечеткого вывода Мамдани.

Как уже упоминалось выше, система позволяет генерировать тестовые задания разной сложности. Для автоматического формирования тестовых заданий используется генетический алгоритм, представленный на рисунке 2.

Рисунок 1. Генетический алгоритм, формирующий тестовые задания. Анимация состоит из 18 кадров с задержкой в 50мс между кадрами; задержка для повторного воспроизведения составляет 1с; количество циклов воспроизведения не ограничено; объем 47,5кБ.

В качестве фитнесс-функции генетического алгоритма была выбрана трехпараметрическая модель Бирнбаума, т.к. она кроме всего вышеперечисленного, также учитывает вероятность угадывания ответа, исходя из формулировки задания. Такая ситуация может возникнуть, например, при неграмотном подборе дистракторов (вариантов ответа) на задание закрытого типа. Зависимость подчиняется следующей формуле:

(3)
где cj – вероятность угадывания.

Независимо от выбора модели, изучаются также принципы взаимодействия различных параметров друг с другом.

В трехпараметрической модели Бирнбаума вероятности правильного (соответственно, неправильного(5) решения тестового задания равны:

(4)

(5)

Пусть тест содержит n заданий. Будем считать известными не только трудности заданий ?1, ?2,...,?n, но и дифференцирующие особенности всех заданий ?1, ?2,...,?n. Сохраним прежнее обозначение для характеристической функции. Тогда логарифмическая функция правдоподобия равна:

(6)

Необходимое условие максимума функции (6) приводит к уравнению:

(7)
из которого должен определяться уровень подготовленности испытуемого.

С помощью модели Бирнбаума оценивается качество и сложность теста.

ЗАКЛЮЧЕНИЕ

Разрабатываемая система призвана повысить качество оценивания знаний студентов, формализовать и автоматизировать методику формирования адаптивных тестов со связанными тестовыми заданиями, оценить качество формируемых системой тестов, предоставить возможность оценивания знаний как в общем по дисциплине, так и по отдельным темам в частности.

В ходе анализа существующих методов решения поставленной задачи принято решение использовать адаптивные методы тестирования, как наиболее точные и нацеленные на всестороннее оценивание знаний тестируемого в совокупности с экспертной системой, основанной на теории нечеткой логики.

Для автоматического формирования адаптивных тестов предлагается использовать аппарат генетических алгоритмов Экспертная система оценки знаний по результатам тестирования позволит снизить трудоемкость проведения текущих и окончательных контролей знаний у студентов. Позволит проводить многопараметрический анализ успеваемости студентов по различным темам учебного курса. Даст возможность выявить темы, усвоение которых вызвало наибольшие трудности.

СПИСОК ЛИТЕРАТУРЫ

1. Модели и методы адаптивного контроля знаний [Электронный ресурс] / Л. В.Зайцева, Н. О. Прокофьева // Educational Technology & Society – 2004. – № 7 (4). [Электронный ресурс]. Режим доступа: URL: http://ifets.ieee.org/russian/depository/v7_i4/html/1.html.
2. Минин М.Г. Диагностика качества знаний и компьютерные технологии обучения. Томск: Изд-во ТГПУ,2000. 216 с.
3. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.: ил.
4. Rash G. Probabilistick Models for Some Intelligence and Attainment Tests, 1960, Copenhagen, Denmark: Danish Institute for Educational Re-search.
5. Wright B.D., Stone M.H. Best Test Design. Mesa Press. 1979
6. Экспертные системы: структура и классификация. [Электронный ресурс]. Режим доступа: URL: http://www.ssti.ru
7. Мухамедиев Р.И., Ограниченность одноуровневых аддитивных моделей оценивания, «Вестник СумДУ», №4(88) 2006, 17-23с.
8. Аванесов В.С. Математические модели педагогического измерения. – М.: Б.и., 1994. – 26с.
9. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. – М : Прометей, 2000. – 169 с.
10. Челышкова М.Б. Применение математических моделей для разработки педагогических тестов. – Учебное пособие. – М.: Исследовательский центр, 1995. – 48 c.
11. Батыршин И.З. Основные операции нечеткой логики и их обобщения. – Казань: Отечество, 2001. – 100 с.
12. Леоненков А.В. Нечеткое моделирование в среде MATLAB fuzzyTECH. – СПб.: БХВ-Петербург, 2005. – 736 с.: ил.
13. Скобцов Ю.А. Основы эволюционных вычислений: учебное пособие для вузов/ Ю.А. Скобцов. – Донецкий нац. техн. ун-т. – Донецк: ДонНТУ, 2008.
14. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский; пер. с польск. И.Д. Рудинский – М.: Горячая линия-Телеком, 2006. – 452 с.
15. Кофман А. Введение в теорию нечетких множеств: Пер с франц. – М.: Радио и связь, 1982. – 432 с., ил.