Реферат

Зміст

ВСТУП

1 АКТУАЛЬНІСТЬ ТЕМИ

2 ЗВ'ЯЗОК РОБОТИ З НАУКОВИМИ ПРОГРАМАМИ, ПЛАНАМИ, ТЕМАМИ

3 МЕТА І ЗАВДАННЯ РОЗРОБКИ ТА ДОСЛІДЖЕННЯ

4 НАУКОВА НОВИЗНА

5 ПРАКТИЧНЕ ЗНАЧЕННЯ ОТРИМАНИХ РЕЗУЛЬТАТІВ

6 ПЕРЕГЛЯД ДОСЛІДЖЕНЬ І РОЗРОБОК ПО ТЕМІ

7 МАТЕМАТИЧНА ПОСТАНОВКА ЗАДАЧІ

ВИСНОВОК

СПИСОК ЛІТЕРАТУРИ

ВСТУП

В даний час для оцінки знань найчастіше застосовується стандартна схема індивідуального оцінювання методом експертних оцінок, при якій, оцінка знань проводиться експертом або групою експертів.

Цей підхід має серйозні недоліки:

1. суб'єктивізм, який полягає в тому, що різні викладачі можуть по-різному оцінити здібності одного і того ж студента;
2. відсутність широкої шкали оцінювання;
3. «локальність» оцінки, яка має сенс тільки в рамках невеликої групи оцінюваних;
4. трудомісткість масового тестування;
5. завдання, як правило, не охоплює весь предмет, що не дозволяє оцінити реальні знання випробуваного.

У зв'язку з цим актуальною є задача оцінки результатів тестування як методу об'єктивної оцінки знань.

Однією з переваг тестування є високий формалізм цього методу, а, отже, можливість його автоматизації з метою зниження трудомісткості і підвищення якості оцінювання знань.

Існують адаптивні і неадаптівние методи контролю знань [1]. При неадаптівних методи в процесі контролю всі студенти проходять одну й ту ж, заздалегідь визначену послідовність кадрів перевірочних завдань, яка не залежить від дій учнів під час контролю.

Адаптивні методи максимально використовують дані з моделі студента (наприклад, рівень підготовленості студента, рівень занепокоєння-тривоги, правильність відповіді та ін) та / або моделі навчального матеріалу (наприклад, взаємозв'язку між перевіряються поняттями).

Тестові завдання за своєю формою можуть бути декількох типів:

• на вибір;
• на відповідність;
• на ранжирування;
• на конструювання;
• ситуаційні.

Незважаючи на таке різноманіття форм тестових завдань в автоматизованих системах тестування найчастіше використовуються прості алгоритми формування підсумкової оцінки: адитивні алгоритми і адитивні алгоритми зі штрафними балами [7]. У зв'язку з цим, вважаю за необхідне, розглянути можливість застосування апарату нечіткої логікідля реалізації експертної системи оцінки знань.

1 АКТУАЛЬНІСТЬ РОБОТИ

Контроль знань студентів може бути здійснено з використанням різних методів формування оцінки. Існують методи оцінки знань з використанням моделей, що враховують тільки правильність відповідей студентів, і моделей, що враховують параметри завдань і рівень засвоєння знань.

Незважаючи на досить велику кількість робіт по розглянутій темі [1, 4, 5, 7], можна виділити ряд загальних недоліків сучасних методів автоматизованого оцінювання знань за результатами тестування:

• використання однієї методики складання тесту, що звужує можливості тестування;
• негнучкість процедур розрахунку підсумкової оцінки, внаслідок застосування методів, що використовують алгоритм накопичення балів, методів ранжирування, методів заохочення та штрафів;
• висока трудомісткість формування високоефективних тестів, або зведення процедури формування тіста до випадкового вибору питань;
• використання заздалегідь сформованих тестів, що виключає можливість використання адаптивних методик тестування або робить їх недостатньо гнучкими.

2 ЗВ'ЯЗОК РОБОТИ З НАУКОВИМИ ПРОГРАМАМИ, ПЛАНАМИ, ТЕМАМИ

Дана робота виконувалася протягом 2009-2010 рр.. відповідно до науковими напрямками кафедри Автоматизованих систем управління Донецького національного технічного університету.

3 МЕТА І ЗАВДАННЯ РАЗРАБОКІ І ДОСЛІДЖЕННЯ

Метою розроблюваної системи є зниження трудомісткості складання адаптивних тестів за рахунок впровадження системи автоматичної генерації тестів; підвищення якості оцінювання; зниження трудомісткості за рахунок автоматизації процесу перевірки результатів тестування та виставлення оцінки. Призначення системи - адекватне оцінювання спеціальних знань особи проходить тестування на основі адаптивного комплексного тестування по заданій предметній області.

Завдання:

• розробити експертну систему оцінювання знань, яка дозволятиме автоматично генерувати тести;
• проводити тестування;
• виставляти адекватну оцінку високого ступеня точності;
• формувати пояснення виставленої оцінки і рекомендації з поглиблення знань у тій чи іншій галузі;
• давати рекомендації розробникам тестів за якістю тестових завдань і тесту в цілому [2].

4 НАУКОВА НОВИЗНА

Наукова новизна дослідження полягає в застосуванні апарату нечіткої логікідля реалізації експертної системи оцінки знань. Розроблено новий підхід до створення адаптивних тестів і виставлення оцінки високого ступеня точності.

5 ПРАКТИЧНЕ ЗНАЧЕННЯ ОТРИМАНИХ РЕЗУЛЬТАТІВ

Практична значущість дослідження визначається тією обставиною, що вдосконалена методика створення адаптивних тестів і виставлення оцінки високого ступеня точності становить інтерес для експертних систем навчання.

6 ПЕРЕГЛЯД ДОСЛІДЖЕНЬ І РОЗРОБОК ПО ТЕМІ

Розроблена на Заході теорія створення тестів (Item Response Theory - IRT [3, 5]) призначена для оцінки латентних (прихованих) параметрів досліджуваних та завдань тесту. Основним принципом IRT є встановлення ймовірностей зв'язку між що спостерігаються результатами тестування і латентними параметрами випробуваного й завдань тесту [4]. Цей зв'язок виражається у вигляді:

(1)
де xij - елемент матриці відповідей, рівний 1, якщо відповідь i-го випробуваного на j-е завдання вірний, 0 - у противному випадку;
?i - рівень підготовки i-го випробуваного, i = 1 .. N;
?i - трудність j-го завдання, j = 1 .. n;
f - логістична функція, що залежить від обраної моделі IRT (див. нижче).

Серед моделей IRT розрізняють однопараметричну модель Раша, двопараметричну модель Бірнбаума, трипараметричну модель Бірнбаума. У якості моделі обробки результатів для моєї роботи як основна була обрана трипараметрична модель Бірнбаума, тому що вона крім усього перерахованого вище, також враховує ймовірність вгадування відповіді на тестове завдання. Даний коефіцієнт показує, наскільки легко випробовувані можуть вгадати правильну відповідь, виходячи з формулювання завдань, не володіючи необхідними знаннями. Така ситуація може виникнути, наприклад, при безграмотному підборі дістракторов (варіантів відповіді) на завдання закритого типу. Залежність підпорядковується наступною формулою:

(2)
де cj - ймовірність вгадування.

Незалежно від вибору моделі, вивчаються також принципи взаємодії різних параметрів один з одним. Тому, вважаю за доцільне створення експертної системи, яка буде розраховувати різні параметри і давати зрозумілі рекомендації з якості тесту.

7 МАТЕМАТИЧНА ПОСТАНОВКА ЗАДАЧІ

Система перевірки знань за результатами тестування реалізується із застосуванням апарату нечіткої логіки для оцінки знань особи.

Основою експертної системи оцінки знань, є підсистема інтелектуальної оцінки знань на основі нечіткої логіки. Система реалізована в двох рівнях. На першому рівні здійснюється оцінка знань студента з кожної теми окремо, на другому рівні формується підсумкова оцінка. Розглянемо докладно реалізацію цієї підсистеми. Для комплексної оцінки знань необхідно врахувати ряд взаємопов'язаних чинників, таблиця 1. Для кожного чинника створимо лінгвістичну змінну *.

Фактори оцінки знань – Таблиця 1

№	Найменування	Опис
1	Рівень практичних знань s	Фактично оцінюється рівень підготовки студента на основі виконаних лабораторних робіт. Виставляється викладачем (експертом).
2	Відвідуваність	Визначається на основі журналу відвідувань.
3	Знання теми	Інтегральна оцінка знань випробуваного по певній темі. Є вихідний лінгвістичної змінної першого рівня експертної системи оцінки знань.

* Для кожної теми курсу створюється своя лінгвістична змінна.

Лінгвістична мінлива «оцінка» - вихідна мінлива ЕС.

Безліч термів для лінгвістичної змінної «Рівень практичних знань» наведено в таблиці 2.

Таблиця 2 – Терми для лінгвістичної змінної «Рівень практичних знань»

Рівень	Шкала	Критерій
Низький	0 .. 3	При здачі лабораторних робіт студент виконав необхідний мінімум вимог.
Середній	3 .. 6	При здачі лабораторних робіт студент виконав потрібний мінімум, добре відповідав на поставлені запитання.
Високий	6 .. 9	При підготовці до лабораторних робіт студент проводив аналіз поставленої проблеми. Відповіді на додаткові питання були лаконічні й точні.
Підвищений	9 .. 12	При підготовці до лабораторних робіт студент проводив аналіз поставленої проблеми. Вирішення поставлених завдань було не тільки вірним, але і оригінальним.

Безліч термів для лінгвістичної змінної «Відвідуваність» наведено в таблиці 3.

Таблиця 3 – Терми для лінгвістичної змінної «Відвідуваність»

Рівень	Шкала	Критерій
Погана	0 .. 4	Пропущено більше 30% занять
Середня	4 .. 8	Пропуски занять склали від 10 до 30%.
Гарна	8 .. 12	Пропущено менше 10% занять.

Безліч термів для лінгвістичної змінної «Знання теми» наведено в таблиці 4.

Таблиця 4 – Терми для лінгвістичної змінної «Знання теми»

Рівень	Шкала	Критерій
Погана	1 .. 2	Значення лінгвістичних змінних цього типу формується на першому рівні експертної системи.
Середня	2 .. 3
Гарна	3 .. 4
Відмінна	4 .. 5

Для формування нечітких змінних на підставі лінгвістичних змінних використовується трикутна функція приналежності, значення якої в точці Х обчислюється за формулою (2).

(2)
де a, b, і з - ліва межа, точка максимуму і права межа функції приналежності відповідно.

Для формування підсумкової оцінки, яка є вихідною лінгвістичної змінної, застосовується база знань, яка представлена у вигляді набору продукції і формується викладачем (експертом) для кожної навчальної дисципліни. За допомогою механізму продукцій, який складає частину системи нечіткого висновку, викладач отримує можливість задати залежності між вивченими темами, диференційно підійти до оцінки відвідуваності, задати рівень значимості кожної теми курсу.

Для підсумкового формування оцінки використовується алгоритм нечіткого висновку Мамдані.

Як вже згадувалося вище, система дозволяє генерувати тестові завдання різної складності. Для автоматичного формування тестових завдань використовується генетичний алгоритм, представлений на малюнку 2.

Рисунок 1. Генетичний алгоритм, що формує тестові завдання. Анімація скадається з 18 кадрів із затримкою у 50мс між кадрами; затримка для повтору складає 1с; кількість циклів повтору не обмежено; обсяг 47,5кБ.

Як фітнес-функції генетичного алгоритму була обрана трипараметрична модель Бірнбаума, тому що вона крім усього перерахованого вище, також враховує ймовірність вгадування відповіді, виходячи з формулювання завдання. Така ситуація може виникнути, наприклад, при безграмотному підборі дістракторов (варіантів відповіді) на завдання закритого типу. Залежність підпорядковується наступною формулою:

(3)
де cj - ймовірність вгадування.

Незалежно від вибору моделі, вивчаються також принципи взаємодії різних параметрів один з одним. У татрипараметричної моделі Бірнбаума ймовірності правильного (відповідно, неправильного (5) рішення тестового завдання рівні:

(4)

(5)

Нехай тест містить n завдань. Будемо вважати відомими не тільки труднощі завдань ?1, ?2 ,..., ?n, але й диференціюють особливості всіх завдань ?1, ?2 ,..., ?n. Збережемо колишнє позначення для характеристичної функції. Тоді логарифмічна функція правдоподібності дорівнює:

(6)

Необхідна умова максимуму функції (6) приводить до рівняння:

(7)
з якого має визначатися рівень підготовленості випробуваного.

За допомогою моделі Бірнбаума оцінюється якість і складність тесту.

ВИСНОВОК

Розроблюєма система покликана підвищити якість оцінювання знань студентів, формалізувати й автоматизувати методику формування адаптивних тестів з пов'язаними тестовими завданнями, оцінити якість формованих системою тестів, надати можливість оцінювання знань як загалом по дисципліні, так і з окремих тем зокрема.

У ході аналізу існуючих методів вирішення поставленого завдання прийнято рішення використовувати адаптивні методи тестування, як найбільш точні і націлені на всебічне оцінювання знань людини в сукупності з експертної системою, заснованою на теорії нечіткої логіки.

Для автоматичного формування адаптивних тестів пропонується використовувати апарат генетичних алгоритмів Експертна система оцінки знань за результатами тестування дозволить знизити трудомісткість проведення поточних та остаточних контролів знань у студентів. Дозволить проводити багатопараметричний аналіз успішності студентів з різних тем навчального курсу. Дасть можливість виявити теми, засвоєння яких викликало найбільші труднощі.

СПИСОК ЛІТЕРАТУРИ

1. Модели и методы адаптивного контроля знаний [Электронный ресурс] / Л. В.Зайцева, Н. О. Прокофьева // Educational Technology & Society – 2004. – № 7 (4). [Электронный ресурс]. Режим доступа: URL: http://ifets.ieee.org/russian/depository/v7_i4/html/1.html.
2. Минин М.Г. Диагностика качества знаний и компьютерные технологии обучения. Томск: Изд-во ТГПУ,2000. 216 с.
3. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.: ил.
4. Rash G. Probabilistick Models for Some Intelligence and Attainment Tests, 1960, Copenhagen, Denmark: Danish Institute for Educational Re-search.
5. Wright B.D., Stone M.H. Best Test Design. Mesa Press. 1979
6. Экспертные системы: структура и классификация. [Электронный ресурс]. Режим доступа: URL: http://www.ssti.ru
7. Мухамедиев Р.И., Ограниченность одноуровневых аддитивных моделей оценивания, «Вестник СумДУ», №4(88) 2006, 17-23с.
8. Аванесов В.С. Математические модели педагогического измерения. – М.: Б.и., 1994. – 26с.
9. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. – М : Прометей, 2000. – 169 с.
10. Челышкова М.Б. Применение математических моделей для разработки педагогических тестов. – Учебное пособие. – М.: Исследовательский центр, 1995. – 48 c.
11. Батыршин И.З. Основные операции нечеткой логики и их обобщения. – Казань: Отечество, 2001. – 100 с.
12. Леоненков А.В. Нечеткое моделирование в среде MATLAB fuzzyTECH. – СПб.: БХВ-Петербург, 2005. – 736 с.: ил.
13. Скобцов Ю.А. Основы эволюционных вычислений: учебное пособие для вузов/ Ю.А. Скобцов. – Донецкий нац. техн. ун-т. – Донецк: ДонНТУ, 2008.
14. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский; пер. с польск. И.Д. Рудинский – М.: Горячая линия-Телеком, 2006. – 452 с.
15. Кофман А. Введение в теорию нечетких множеств: Пер с франц. – М.: Радио и связь, 1982. – 432 с., ил.