В Томском межвузовском центре дистанционного образования (ТМЦДО) разработана оригинальная технология контроля знаний студентов. Эта технология включает различные элементы контроля знаний, такие как традиционный письменный прием экзаменов и контрольных работ, использование сети Интернет, компьютерное тестирование.
Опыт подсказывает, что наиболее эффективным с экономической точки зрения является компьютерный контроль знаний, основанный на тестировании. В ТМЦДО разработана инструментальная система и технология создания компьютерных учебных программ, предназначенных для приема экзаменов и проведения контрольных работ. Используя эту систему, разработано и внедрено множество компьютерных экзаменов и контрольных работ, которые успешно эксплуатируются в ТМЦДО.
Объем базы экзаменов и контрольных работ постоянно увеличивается, каждый год изготавливается приблизительно 100 - 120 экзаменов. В настоящее время используется более 500 компьютерных экзаменов и контрольных работ, общим объемом 50 тысяч вопросов.
В ходе эксплуатации этих экзаменационных компьютерных программ были выявлены следующие недостатки:
1) студенты приспосабливаются к сдаче подобных экзаменов, используя заранее заготовленные шпаргалки (обычно такие экзамены имеют не более 100 вопросов);
2) около 3% от общего числа экзаменационных вопросов сформулированы некорректно.
Технология контроля знаний постоянно изменяется и совершенствуется. Можно выделить два основных направления улучшения качества контроля, это обеспечение обратной связи со студентом и разработка генераторов вопросов.
При проведении контрольных работ обратная связь организована следующим образом. В системе проведения контрольных работ предусмотрена функция, которая позволяет студенту оставить комментарий к любому вопросу данной работы. Студент может не только сообщить о том, что вопрос некорректный или непонятен ему, но и оставить развернутый ответ на этот вопрос. Кроме того, после ответа на все вопросы контрольной работы студент может просмотреть протокол сдачи, где указано на какой именно вопрос он ответил неверно. Это дает студенту возможность анализировать свои ошибки.
Обратная связь при сдаче компьютерного экзамена организована несколько иначе. Если у студента во время проведения экзамена возникли какие - то трудности или замечания по формулировке вопроса, то он сообщает об этом тьютору, проводящему сессию. Тьютор привозит все замечания в диспетчерский центр, откуда они передаются преподавателю, который является автором данного экзамена. Если автор посчитает, что вопрос на самом деле некорректно сформулирован, он его исправляет. Организация подобной обратной связи позволяет выявлять ошибки, допущенные при создании экзамена.
Второе направление совершенствования технологии тестирования - это генераторы вопросов. Под генератором вопросов подразумевается программа, которая синтезирует вопросы, используя информацию из базы знаний. В ЛИСМО разработан ряд компьютерных экзаменов по точным дисциплинам, основанных на генераторах вопросов двух видов: шаблоны задач и меню-генераторах. Использование генераторов позволяет существенно увеличить количество вопросов в экзамене, то есть получить для каждого студента разные экзаменационные вопросы, что позволяет решить проблему шпаргалок.