Автореферат. Трофименко Разработка автоматизированной системы тестирования знаний студентов в области компьютерных технологий с использованием механизмов адаптации

Трофименко Екатерина Сергеевна

Факультет:
Компьютерных наук и технологий (КНТ)

Специальность:
«Информационные управляющие системы и технологии» (ИУС)

Кафедра:
Автоматизационные системы управления (АСУ)

Тема магистерской работы:
«Разработка автоматизированной системы тестирования знаний студентов в области компьютерных технологий с использованием механизмов адаптации»

Научный руководитель:
д-р техн. наук, проф., зав. кафедрой АСУ, Скобцов Юрий Александрович

Автореферат

Общая постановка задачи. Важной частью процесса обучения является контроль знаний, который позволяет получить всестороннюю оценку уровня знаний обучаемых. Одной из хорошо зарекомендовавших себя форм контроля знаний является тестирование. Тестирование обладает множеством определенных недостатков, однако, является единственным по-настоящему технологическим средством для измерения уровня знаний и незаменимо как инструмент, позволяющий должным образом организовать управление учебным процессом и обеспечить эффективный педагогический контроль.

Существует определенное многообразие типов тестовых заданий: закрытые (многоальтернативные и одноальтернативные), открытые, на установление соответствия между элементами, на установление правильной последовательности, ситуационные тестовые задания.[2] Одним из сложных и противоречивых вопросов при проведении тестирования является проблема оценивания знаний. Для эффективного решения данной проблемы необходимо использовать политомическую систему оценивания, в которой допускается несколько категорий ответа на задание, каждая из которых оценивается по-разному.[4]

Исследования в области построения системы контроля знаний показали необходимость разделения заданий на уровни сложности. Отсутствие разделения заданий на уровни сложности приводит к недостаточной объективности оценивания знаний и часто не коррелируется с истинным уровнем знаний обучаемых [4]. Распределение заданий по уровням сложности преподавателем делает субъективным процесс оценивания знаний обучаемых, потому что не всякое легкое задание для преподавателя является легким и для студентов. Таким образом, актуальным является разработка технологии распределения тестовых заданий по уровням сложности.[1]

Постановка задачи исследования.

Цель исследования: разработать систему тестирования знаний студентов в сфере компьютерных технологий; внедрить, экспериментально проверить и программно оптимизировать технологию адаптивного компьютерного тестирования.

Объект исследования: профессиональная подготовка студентов в сфере компьютерных технологий; система создания адаптивных тестовых заданий.

Предмет исследования: создание и использование технологии адаптивного компьютерного тестирования в профессиональной подготовке студентов в сфере компьютерных технологий.

Решение задачи и результаты исследований. Для создания тестовой последовательности необходимо включить в нее задания разных типов. Для расчета объективной оценки тестовых заданий разных типов для каждого из них используют свой специализированный подход. Для этого вводится коэффициент оценивания r_i. Ниже приведены виды тестовых вопросов и их система оценки

Одноальтернативные тестовые задания, задания на установление последовательности, открытые тестовые задания

r_i = 1 [правильный ответ/последовательность]

r_i = 0 [неправильный ответ/последовательность]
Многоальтернативные тестовые задания:

, где Q₁ – множество всех правильных вариантов ответа в задании, Q₂ – количество правильных вариантов ответа, выбранных обучаемым, Q₃ – количество неправильных вариантов ответа обучаемого
Задания на установление соответствия

, где Q₁ – количество пар для сопоставления, Q₂ – количество верно составленных пар
Открытые тестовые задания (таблицы)

, где Q₁ – количество ячеек, которые предлагается заполнить обучаемому, Q₂ – количество ячеек, которое обучаемый заполнил правильно
Многошаговые тестовые задания (одноальтернативные, последовательности)

, где i – номер шага, m_i – количество ошибок, допущенных на i-м шаге, n – количество шагов
Многошаговые тестовые задания (соответствие)

, где j – номер попытки прохождения шага, если на нем была допущена ошибка, Q_2ij – количество пар для составления на i-м шаге при j-й попытке, Q_1ij – количество верно составленных пар на i-м шаге при j-й попытке.
Многошаговые тестовые задания (многоальтернативные)

, где Q_1ij – количество правильных вариантов ответов на i-м на шаге при j попытке, Q_2ij – количество правильных ответов, выбранных тестируемым на i-м шаге, Q_3ij – количество неправильных ответов, выбранных тестируемым на i-м шаге при j-й попытке

Итоговая оценка выполнения всего теста R, состоящего из набора тестовых заданий, содержащего Z уровней сложности, определяется по формуле:

, где B – балльность системы, N – количество тестовых заданий, включенных в тест, z_i – уровень сложности i-го задания, – суммарная сложность теста, которая определяется по формуле:

IRT(Item Response Theory) – математическая теория оценки качества тестовых заданий и вычисления уровня знаний обучаемых. В фокусе изучения IRT находятся, не тесты, как системы заданий, а отдельные тестовые задания.

Основной математической моделью IRT является однопараметрическая логистическая функция Раша. В данной модели вводится понятие вероятности P правильного выполнения i-м испытуемым j-го тестового задания, зависящей от параметров испытуемого и задания. Таким образом функцией успеха называется зависимость P от уровня измеряемого свойства испытуемого и уровня трудности задания. [1] В однопараметрической логистической модели Раша данная вероятность определяется разностью уровней развития свойства испытуемого θ_i и уровня трудности задания β_j и определяется по формуле: P_j=1/(1+e^((β_j-θ_i)))

Позже было доказано, что задания обладают различной дифференцирующей способностью. Тогда, в соответствии с логистической моделью Бирнбаума вероятность успеха испытуемого составляет P_j=1/(1+e^(d_j (β_j-θ_i))) , где d_j – дифференцирующая способность задания. Понятие о дифференцирующей способности было введено с целью исключения из тестовой последовательности заданий с низкой дифференцирующей способностью, т.е. заданий, плохо различающих сильных и слабых испытуемых.

Возможна также и логистическая трехпараметрическая модель с функцией успеха (трехпараметрическая модель Бирнбаума) P=1/(1+e^((d_i d_j)/√(d_i^2+d_j^2 )(β_j-θ_i))) . Параметры трехпараметрической функции находятся применением метода максимального правдоподобия путем проведения ряда итераций, при этом в качестве начального приближения целесообразно использовать значения θ_i и β_j , полученные исходя из решения системы уравнений для однопараметрической модели, а в качестве d_i и d_j – значения sqrt(2) ≈1,41, что дает d_s=(d_i d_j)/√(d_i^2+d_j^2 )=1 т.е. значение, при котором модель Бирнбаума вырождается в модель Раша.

Для распределения тестовых заданий по уровням сложности предлагается модификация современной теории тестирования IRT. Модификация IRT заключается в следующем:

в классическом случае IRT предлагается для вычисления уровня знаний обучаемых. В данной модификации для определения уровней сложности тестовых заданий будет применяться как IRT, так и генетические алгоритмы.
использование моделей IRT для непрерывной системы оценивания знаний, частным случаем которой является дихотомическая;
одно-, двух- и трехпараметрические модели будут применяться не в отдельности, а в совокупности, в зависимости от типа тестовых заданий.

Задача распределения тестовых заданий по уровням сложности сводится к определению сложности тестовых заданий, исходя из экспериментальных данных предварительного тестирования. Недостатком современной теории тестирования IRT является наличие трех моделей, каждая из которых в отдельности применима для тестовых заданий определенного типа. [2] Таким образом, при попытке применения модели к разным типам тестовых заданий уменьшается точность вычисления параметров.

Одновременное применение одно-, двух- и трехпараметрических моделей сводится в интегрированную функциональную модель, рассчитанную на оценивание тестовых заданий по непрерывной шкале оценивания знаний, включающей тестовые задания разных типов:

β_j=f(P_1j (θ_i,res_ij ),P_2j (θ_i,a_j,res_ij ),P_3j (θ_i,a_j,c_j,res_ij)) , где β_j – параметр, определяющий сложность j-го тестового задания, – модифицированные одно-, двух- и трех- параметрические модели, построенные по непрерывной системе, θ_i – параметр, определяющий уровень знаний i-го обучаемого, res_ij – переменная, которая соответствует результату выполнения тестового задания и принимающая значения на интервале [0,1], что соответствует непрерывной шкале оценивания знаний, a_j – параметр характеристики дифференцирующей способности задания, c_j – параметр, характеризующий возможность правильного ответа на j-е задание в том случае, если этот ответ угадан.[1]

Достоинством интегрированной функциональной модели является ее возможность одновременно анализировать тестовые задания всех рассматриваемых выше типов. Технология использования интегрированной функциональной модели заключается в следующем. Вначале определяется тип тестового задания T_i. Затем, в зависимости от типа, рассчитываются оценки за ответы res_j, а для тестовых заданий закрытого типа дополнительно вычисляется вероятность угадывания правильного ответа c_j. [1]

Далее проводится сбор статистических данных по результатам тестирования знаний обучаемых. Начальный уровень их знаний θ_i^0 , начальный уровень сложности тестовых заданий β_j^0 вычисляются после проведения предварительного тестирования группы обучаемых. После чего рассчитывается дифференцирующая способность тестовых заданий [4]:

Θ_I^0=LN(P_I/Q_I) , β_j^0=LN(P_J/Q_J) , A_J=(R_B)_J/sqrt(1-(R_B)_J^2 )) , где p_i – доля правильных ответов, полученных от i-го студента, q_i – доля неправильных ответов, полученных от i-го студента, p_j – доля правильных ответов, полученных за выполнение j-го задания, q_j – доля неправильных ответов, полученных за выполнение j-го задания, r_b – бисериальный коэффициент корреляции.

Далее задания распределяются по уровням сложности на основе латентного анализа. В зависимости от типа задания производится распределение ответов на тестовые задания и начальных значений параметров для уровней сложности по трем компонентам (P₁, P₂, P₃).

Первый компонент P1 «1-параметрическая модель» применяется для проверки признака гомогенности уровня сложности тестовых заданий относительно гомогенной группы испытуемых. Группа испытуемых является гомогенной, если большинство значений расположено на небольшом интервале оси латентной переменной . Гомогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания. Такая тестовая последовательность создается с целью применения объективного, качественного и эффективного метода оценки структуры и измерения уровня подготовленности обучаемых по одной учебной дисциплине.[1]

В случае гетерогенной по знаниям выборки испытуемых значения параметра трудности должны охватывать больший интервал оси , а характеристические кривые заданий могут быть расположены довольно далеко друг от друга.[1]

Параметр характеристики дифференцирующей способности задания а_j вводится для повышения точности измерения уровня сложности тестовых заданий. Данный параметр связан с крутизной кривой задания в точке ее перегиба. При значениях а_j, близких к нулю, тестовые задания утрачивают функцию разделения обучаемых по уровням сложности. Число заданий в тесте должно сокращаться в первую очередь за счет удаления таких заданий, что приводит к повышению надежности и валидности теста.

Компонент P₂ «2-параметрическая модель» служит для определения уровня сложности а_j тестовых заданий разных типов, за исключением закрытого. Для тестов с заданиями закрытого типа отмечается существенное отклонение эмпирических данных от теоретической кривой, предсказывающей вероятность правильного выполнения задания при различных значениях переменной β_j Для решения этой проблемы вводится параметр c_j, который характеризует возможность правильного ответа на задание j в случае, если ответ угадан. [3]

Оценки res_j за задания закрытого типа передаются в третьей компоненте P₃ «3-параметрическая модель»[4]. Для определения устойчивых значений уровней сложности тестовых заданий применяется метод наибольшего правдоподобия Фишера, адаптированный к оцениванию знаний обучаемых по непрерывной системе:

$L_I {¯(X_I )│Θ_I }= ∏_(J=1)^N¯P_IJ^(RES_IJ ) Q_IJ^(1-RES_IJ )$ , где L_i – вероятностная модель выполнения тестовых заданий для i-го обучаемого, $X_I={X_I1,X_I2,…,X_IN }$ – вектор, характеризующий результат выполнения i-м обучаемым n заданий теста, P_ij – вероятность правильного выполнения i-м испытуемым j-го задания теста, Q_ij – вероятность неправильного выполнения i-м испытуемым j-го задания, Q_ij = 1 – P_ij.

Таким образом, выходными параметрами интегрированной функциональной модели является набор параметров β_j , которые соответствуют устойчивым оценкам уровня сложности тестовых заданий.[1]

Выводы. Основными целями адаптивного тестирования являются:

стремление к повышению эффективности тестовых измерений, что включается в себя уменьшение числа заданий, времени, стоимости тестирования
повышение точности оценок, полученных испытуемыми по результатам выполнения теста
повышение мотивации к тестированию у слабых и сильных студентов.

Именно это и легло в основу преимуществ над тестами фиксированной длины. Исследователи видели возможность повышения эффективности в адаптации тестов, трудность которых учитывала диапазон подготовленности тестируемых. При компьютерном адаптивном тестировании тестовые задания формируются индивидуально для каждого студента с учетом его ответов на предыдущие вопросы. Типы заданий, их количество и порядок следования – индивидуальны.

Таким образом, адаптивное тестирование:

дает более объективную оценку знаний, умений и навыков обучаемых;
позволяет выявлять, какие знания ошибочны или неполны;
позволяет давать рекомендации для дальнейшего построения образовательного процесса.

Благодаря развитию теории адаптивного тестирования стала возможной адаптация не только тестовых заданий, но и тестирующих систем направленная на:

приспособление к предметной области, выбранной для тестирования;
приспособление к текущим потребностям конкретного испытуемого;
приспособление к текущему состоянию конкретного испытуемого.

Список литературы

М.Ф.Бондаренко, В.В.Семенец, Н.В.Белоус, И.В.Куцевич, И.А.Белоус «Оценивание тестовых заданий разных типов и определение их уровня сложности», 2009, «Искусственный интеллект» / Национальная библиотека Украины им. В.И.Вернадского [Электронный ресурс] - Режим доступа: http://www.nbuv.gov.ua/portal/natural/ii/2009_4/7%5C00_Bondarenko_Semenets_Belous_Kutsevich_Belous.pdf
В.В. Кромер, «Об одной трехпараметрической модели тестирования» / Cornell University Library [Электронный ресурс] - Режим доступа: http://arxiv1.library.cornell.edu/ftp/cs/papers/0506/0506057.pdf
Использование Теории тестовых заданий (Item Response Theory) в адаптивном тестировании. / Викизнание [Электронный ресурс] - Режим доступа: http://www.wikiznanie.ru/ru-wz/index.php/Использование_Теории_тестовых_заданий_(Item_Response_Theory)_в_адаптивном_тестировании
А.П.Попов «Критический анализ параметрических моделей Раша и Бирнбаума» / Ростовский государственный педагогический университет [Электронный ресурс] - Режим доступа: http://www.ast-centre.ru/books/favorits/273/
А.А. Проскурнин «Автоматизированная система контроля знаний» / Ростовский государственный педагогический университет [Электронный ресурс] - Режим доступа: http://www.philippovich.ru/Projects/RFFI/almanah/Proskurnin1.pdf
П.І.Федорук, «Використання адаптивних тестів в інтелектуальних системах контролю знань», 2008, «Искусственный интеллект» Национальная библиотека Украины им. В.И.Вернадского [Электронный ресурс] - Режим доступа: http://www.nbuv.gov.ua/portal/natural/II/2008_3/JournalAI_2008_3/Razdel5/03_Fedoruk.pdf
Л.В.Сметанюк, Г.М.Кравцов «К теории и практике использования адаптивных тестов» [Электронный ресурс] - Режим доступа: http://ite.ksu.ks.ua/?q=en/node/393

Важное замечание. При написании данного автореферата магистерская работа еще не завершена. Окончательное завершение: 1 декабря 2010 г. Полный текст работы и материалы по теме могут быть получены у автора или его руководителя после указанной даты.