Автореферат. Трофименко Розробка автоматизованої системи тестування знань студентів у галузі комп'ютерних технологій с застосуванням механізмів адаптації

Трофiменко Катерина Сергiївна

Факультет:
Комп'ютерних наук та технологій (КНТ)

Спеціальність:
«Інформаційні управляючі системи та технології» (ІУС)

Кафедра:
Автоматизованих систем управління (АСУ)

Тема магістерської роботи:
«Розробка автоматизованої системи тестування знань студентів у галузі комп'ютерних технологій с застосуванням механізмів адаптації»

Науковий керівник:
д-р техн. наук, проф., зав. кафедрою АСУ, Скобцов Юрiй Олександрович

Автореферат

Загальна постановка задачі. Важливою частиною процесу навчання є контроль знань, який дозволяє отримати всебічну оцінку рівня знань учнів. Однією з добре зарекомендованих форм контролю знань є тестування. Тестування маэ безліч певних недоліків, проте, є єдиним по-справжньому технологічним засобом для вимірювання рівня знань і незамінне як інструмент, що дозволяє належним чином організувати управління навчальним процесом і забезпечити ефективний педагогічний контроль.

Існує певне різноманіття типів тестових завдань: закриті (багатоальтернативнi і одноальтернатівнi), відкриті, на встановлення відповідності між елементами, на встановлення правильної послідовності, ситуаційні тестові завдання. [2] Одним із складних і суперечливих питань при проведенні тестування є проблема оцінювання знань. Для ефективного вирішення даної проблеми необхідно використовувати політомічну систему оцінювання, в якій допускається декілька категорій відповідей на завдання, кожна з яких оцінюється по-різному. [4]

Дослідження в сфері побудови системи контролю знань показали необхідність розділення завдань на рівні складності. Відсутність поділу завдань на рівні складності призводить до недостатньої об'єктивності оцінювання знань і часто не корелюється з істинним рівнем знань учнів [4]. Розподіл завдань за рівнями складності викладачем робить суб'єктивним процес оцінювання знань учнів, тому що не всяке легке завдання для викладача є легким і для студентів. Таким чином, актуальним є розробка технології розподілу тестових завдань за рівнями складності. [1]

Постановка завдання дослідження.

Мета дослідження: розробити систему тестування знань студентів у сфері комп'ютерних технологій; впровадити, експериментально перевірити та програмно оптимізувати технологію адаптивного комп'ютерного тестування.

Об'єкт дослідження: професійна підготовка студентів у сфері комп'ютерних технологій; система створення адаптивних тестових завдань.

Предмет дослідження: створення і використання технології адаптивного комп'ютерного тестування у професійній підготовці студентів у сфері комп'ютерних технологій.

Рішення завдання і результати досліджень.Для створення тестової послідовності необхідно включити в неї завдання різних типів. Для розрахунку об'єктивної оцінки тестових завдань різних типів для кожного з них використовують свій спеціалізований підхід. Для цього вводиться коефіцієнт оцінювання r_i. ННижче наведені види тестових питань та їх система оцінки

Одноальтернатівнi тестові завдання, завдання на встановлення послідовності, відкриті тестові завдання

r_i = 1 [правильна відповідь / послідовність]

r_i = 0 [неправильна відповідь / послідовність]
Багатоальтернативнi тестові завдання:

, де Q₁ – безліч всіх правильних варіантів відповіді в завданні, Q₂ – кількість правильних варіантів відповіді, обраних учнем, Q₃ – кількість неправильних варіантів, обраних учнем.
Завдання на встановлення відповідності

, де Q₁ – кількість пар для зіставлення, Q₂ – кількість вірно складених пар
Відкриті тестові завдання (таблиці)

, де Q₁ – кількість клiтинок, які пропонується заповнити учню, Q₂ – кількість клiтинок, які учень заповнив правильно
Багатокроковиi тестові завдання (одноальтернатівнi, послідовності)

, де i – номер кроку, m_i – кількість помилок, допущених на i-му кроці, n – кількість кроків
Багатокроковиi тестові завдання (відповідність)

, де j – номер спроби проходження кроку, якщо на ньому була допущена помилка, Q_2ij – кількість пар для складання на i-му кроці при j-й спробі, Q_1ij – кількість вірно складених пар на i-му кроці при j-й спробі.
Багатокроковиi тестові завдання (многоальтернативнi)

, де Q_1ij – кількість правильних варіантів відповідей на i-му на кроці при j спробі, Q_2ij – кількість правильних відповідей, обраних тестованим на i-му кроці, Q_3ij – кількість неправильних відповідей, обраних тестованим на i-му кроці при j-й спробі

Підсумкова оцінка виконання всього тесту R, що складається з набору тестових завдань, яке містить Z рівнів складності, визначається за формулою:

, де B – балльность системи, N – кількість тестових завдань, включених в тест, z_i – рівень складності i-го завдання, – сумарна складність тесту, яка визначається за формулою:

IRT (Item Response Theory) – математична теорія оцінки якості тестових завдань і обчислення рівня знань учнів. У фокусі вивчення IRT знаходяться, не тести, як системи завдань, а окремі тестові завдання.

Основний математичної моделлю IRT є однопараметричної логістична функція Раша. У даній моделі вводиться поняття ймовірності P правильного виконання i-м випробуваним j-го тестового завдання, що залежить від параметрів випробуваного й завдання. Таким чином функцією успіху називається залежність P від рівня вимірюваної властивості випробуваного й рівня складності завдання. [1] У однопараметричної логістичної моделі Раша дана ймовірність визначається різницею рівнів розвитку властивості випробуваного θ_i і рівня складності завдання β_j і визначається за формулою: P_j=1/(1+e^((β_j-θ_i)))

Пізніше було доведено, що завдання мають різну диференційну здатність. Тоді, відповідно до логістичної моделлю Бірнбаума ймовірність успіху випробуваного становить P_j=1/(1+e^(d_j (β_j-θ_i))) , де d_j – диференційна здатність завдання. Поняття про диференційну здібность було введено з метою виключення з тестової послідовності завдань з низькою здатністю диференціацii, тобто завдань, що погано розрізняють сильних і слабких випробовуваних.

Можлива також і логістична трипараметричного модель з функцією успіху (трипараметричного модель Бірнбаума) P=1/(1+e^((d_i d_j)/√(d_i^2+d_j^2 )(β_j-θ_i))) . Параметри трипараметричної функції знаходяться застосуванням методу максимальної правдоподібності шляхом проведення ряду ітерацій, при цьому в якості початкового наближення доцільно використовувати значення θ_i та β_j , отримані виходячи з рішення системи рівнянь для однопараметричної моделі, а в якості d_i и d_j – значення sqrt(2) ≈1,41, яке дає d_s=(d_i d_j)/√(d_i^2+d_j^2 )=1 тобто значення, при якому модель Бірнбаума вироджується в модель Раша.

Для розподілу тестових завдань за рівнями складності пропонується модифікація сучасної теорії тестування IRT. Модифікація IRT полягає в наступному:

в класичному випадку IRT пропонується для обчислення рівня знань учнів. У даній модифікації для визначення рівнів складності тестових завдань буде застосовуватися як IRT, так і генетичні алгоритми.
Використання моделей IRT для безперервної системи оцінювання знань, приватним випадком якої є дихотомічний;
одно-, дво-і трипараметричнi моделі будуть застосовуватися не окремо, а в сукупності, в залежності від типу тестових завдань.

Задача розподілу тестових завдань за рівнями складності зводиться до визначення складності тестових завдань, виходячи з експериментальних даних попереднього тестування. Недоліком сучасної теорії тестування IRT є наявність трьох моделей, кожна з яких окремо застосовна для тестових завдань певного типу. [2] Таким чином, при спробі застосування моделі до різних типів тестових завдань зменшується точність обчислення параметрів.

Одночасне застосування одно-, дво-і трипараметричної моделей зводиться в інтегровану функціональну модель, розраховану на оцінювання тестових завдань по безперервній шкалi оцінювання знань, що включає тестові завдання різних типів:

β_j=f(P_1j (θ_i,res_ij ),P_2j (θ_i,a_j,res_ij ),P_3j (θ_i,a_j,c_j,res_ij)) , де β_j – параметр, який визначає складність j-го тестового завдання, – модифіковані одно-, двох-і трьох-параметричні моделі, побудовані по безперервній системі, θ_i – параметр, що визначає рівень знань i-го учня, res_ij – змінна, яка відповідає результату виконання тестового завдання і приймаюча значення на інтервалі [0,1], що відповідає безперервної шкалi оцінювання знань, a_j – параметр характеристики здатності завдання диференцiрувати, c_j – параметр, що характеризує можливість правильної відповіді на j-е завдання в тому випадку, якщо ця відповідь вгадана. [1]

Перевагою інтегрованої функціональної моделі є її можливість одночасно аналізувати тестові завдання всіх розглянутих вище типів. Технологія використання інтегрованої функціональної моделі полягає в наступному. Спочатку визначається тип тестового завдання T_i. Потім, залежно від типу, розраховуються оцінки за відповіді res_j, а для тестових завдань закритого типу додатково обчислюється ймовірність вгадування правильної відповіді c_j. [1]

Далі проводиться збір статистичних даних за результатами тестування знань учнів. Початковий рівень їх знань θ_i^0 , початковий рівень складності тестових завдань β_j^0 обчислюються після проведення попереднього тестування групи, що навчаються. Після чого розраховується диференційна здатність тестових завдань [4]:

Θ_I^0=LN(P_I/Q_I) , β_j^0=LN(P_J/Q_J) , A_J=(R_B)_J/sqrt(1-(R_B)_J^2 )) , де p_i – частка правильних відповідей, отриманих від i-го студента, q_i – частка неправильних відповідей, отриманих від i-го студента, p_j – частка правильних відповідей, отриманих за виконання j-го завдання, q_j – частка неправильних відповідей, отриманих за виконання j-го завдання, r_b – бісеріальний коефіцієнт кореляції.

Далі завдання розподіляються за рівнями складності на основі латентного аналізу. Залежно від типу завдання проводиться розподіл відповідей на тестові завдання і початкових значень параметрів для рівнів складності по трьом компонентам (P₁, P₂, P₃).

Перший компонент P1 «1-параметрична модель» застосовується для перевірки ознаки гомогенності рівня складності тестових завдань щодо гомогенноi групи випробовуваних. Група випробуваних є гомогенною, якщо більшість значень розташоване на невеликому інтервалі осі латентної змінної . Гомогенний тест є система завдань зростаючої труднощі, специфічної форми і певного змісту. Така тестова послідовність створюється з метою застосування об'єктивного, якісного та ефективного методу оцінки структури та вимірювання рівня підготовленості учнів по одній навчальній дисципліні.[1]

У разі гетерогенної по знаннях вибірки випробовуваних значення параметра труднощі повинні охоплювати більший інтервал осі , а характеристичні криві завдань можуть бути розташовані досить далеко одна від одноi. [1]

Параметр характеристики диференцiючоi здатності завдання а_j водиться для підвищення точності вимірювання рівня складності тестових завдань. Цей параметр пов'язаний з крутизною кривоi завдання в точці її перегину. При значеннях а_j, близьких до нуля, тестові завдання втрачають функцію поділу учнів за рівнями складності. Число завдань у тесті повинне скорочуватися в першу чергу за рахунок видалення таких завдань, що призводить до підвищення надійності та валідності тесту.

Компонент P₂ «2-параметрична модель» служить для визначення рівня складності а_j тестових завдань різних типів, за винятком закритого. Для тестів із завданнями закритого типу відзначається істотне відхилення емпіричних даних від теоретичної кривої, якe пророкує ймовірність правильного виконання завдання при різних значеннях змінної β_j Для вирішення цієї проблеми вводиться параметр c_j, який характеризує можливість правильної відповіді на завдання j у разі, якщо відповідь було вгадано.[3]

Оцінки res_j за завдання закритого типу передаються в третій компоненті P₃ «3-параметрична модель»[4]. Для визначення стійких значень рівнів складності тестових завдань застосовується метод найбільшоi правдоподібності Фішера, адаптований до оцінювання знань учнів по безперервній системі:

$L_I {¯(X_I )│Θ_I }= ∏_(J=1)^N¯P_IJ^(RES_IJ ) Q_IJ^(1-RES_IJ )$ , де L_i – ймовірнісна модель виконання тестових завдань для i-го учня, $X_I={X_I1,X_I2,…,X_IN }$ – вектор, що характеризує результат виконання i-м учнем n завдань тесту, P_ij – імовірність правильного виконання i-м випробуваним j-го завдання тесту, Q_ij – імовірність неправильного виконання i-м випробуваним j-го завдання, Q_ij = 1 – P_ij.

Таким чином, вихідними параметрами інтегрованої функціональної моделі є набір параметрів β_j , які відповідають стійким оцінкам рівня складності тестових завдань. [1]

Висновки. Основними цілями адаптивного тестування є:

прагнення до підвищення ефективності тестових вимірювань, що включає в себе зменшення числа завдань, часу, вартості тестування
підвищення точності оцінок, отриманих випробуваними за результатами виконання тесту
підвищення мотивації до тестування у слабких і сильних студентів.

Саме це і лягло в основу переваг над тестами фіксованої довжини. Дослідники бачили можливість підвищення ефективності в адаптації тестів, складнiсть яких враховувала діапазон підготовленості тестованих. При комп'ютерному адаптивному тестуванні тестові завдання формуються індивідуально для кожного студента з урахуванням його відповідей на попередні питання. Типи завдань, їх кількість і порядок слідування – індивідуальні.

Таким чином, адаптивне тестування:

дає більш об'єктивну оцінку знань, умінь і навичок;
дозволяє виявляти, які знання помилкові або неповні;
дозволяє давати рекомендації для подальшої побудови освітнього процесу.

Завдяки розвитку теорії адаптивного тестування стала можливою адаптація не тільки тестових завдань, а й тестуючих систем спрямована на:

пристосування до предметної області, вибраної для тестування;
пристосування до поточних потреб конкретного випробуваного;
пристосування до поточного стану конкретного випробуваного.

Список лiтератури

М.Ф.Бондаренко, В.В.Семенец, Н.В.Белоус, И.В.Куцевич, И.А.Белоус «Оценивание тестовых заданий разных типов и определение их уровня сложности», 2009, «Искусственный интеллект» / Национальная библиотека Украины им. В.И.Вернадского [Електронний ресурс] – Режим доступу: http://www.nbuv.gov.ua/portal/natural/ii/2009_4/7%5C00_Bondarenko_Semenets_Belous_Kutsevich_Belous.pdf
В.В. Кромер, «Об одной трехпараметрической модели тестирования» / Cornell University Library [Електронний ресурс] – Режим доступу: http://arxiv1.library.cornell.edu/ftp/cs/papers/0506/0506057.pdf
Использование Теории тестовых заданий (Item Response Theory) в адаптивном тестировании. / Викизнание [Електронний ресурс] – Режим доступу: http://www.wikiznanie.ru/ru-wz/index.php/Использование_Теории_тестовых_заданий_(Item_Response_Theory)_в_адаптивном_тестировании
А.П.Попов «Критический анализ параметрических моделей Раша и Бирнбаума» / Ростовский государственный педагогический университет [Електронний ресурс] – Режим доступу: http://www.ast-centre.ru/books/favorits/273/
А.А. Проскурнин «Автоматизированная система контроля знаний» / Ростовский государственный педагогический университет [Електронний ресурс] – Режим доступу: http://www.philippovich.ru/Projects/RFFI/almanah/Proskurnin1.pdf
П.І.Федорук, «Використання адаптивних тестів в інтелектуальних системах контролю знань», 2008, «Искусственный интеллект» Национальная библиотека Украины им. В.И.Вернадского [Електронний ресурс] – Режим доступу: http://www.nbuv.gov.ua/portal/natural/II/2008_3/JournalAI_2008_3/Razdel5/03_Fedoruk.pdf
Л.В.Сметанюк, Г.М.Кравцов «К теории и практике использования адаптивных тестов» [Електронний ресурс] – Режим доступу: http://ite.ksu.ks.ua/?q=en/node/393

Важливе зауваження. При написанні цього автореферату магістерська робота ще не завершена. Остаточне завершення: 1 грудня 2010 р. Повний текст роботи та матеріали за темою можуть бути отримані у автора або його керівника після зазначеної дати.