Специальность: «Системное программирование»
Группа: СП-01м
email: kotenko@istil.com.ua
Тема магистерской работы: «Разработка средств и методов автоматизации процесса создания вопросов в системах дистанционного тестирования знаний»
Руководитель: доц. Зинченко Ю.Е.
Гуров В.В.
Московский инженерно-физический
институт (государственный университет)
В настоящее время проблеме тестирования студентов уделяется большое внимание. Последние требования к организации учебного процесса в высшей школе включают в себя обязательное проведение регулярного тестирования с фиксацией его результатов и их сохранением на протяжении определенного промежутка времени. Однако проведение этого мероприятия для большой группы студентов, например, потока из 150-200 человек, традиционными методами затруднительно.
В докладе рассматриваются опыт такого тестирования с использованием специально разработанного программного обеспечения. Программная система включает в себя модуль подготовки тестовых заданий, модуль администратора, модуль предъявления тестовых заданий и оценки результатов тестирования и модуль протоколирования. Система имеет локальную и сетевую версии.
Модуль подготовки позволяет создавать тестовые задания как в текстовой, так и в графической форме, а также в виде описания вопроса с помощью какого-либо математического выражения. Для первых двух типов вопросов предполагается некоторое множество ответов, среди которых может быть несколько верных. Третий тип вопросов требует ввода конкретного ответа, который соответствует заданным в вопросе параметрам. Параметры при предъявлении вопроса каждый раз генерируются случайным образом в заданном при составлении вопроса диапазоне. Такая номенклатура типов вопросов покрывает подавляющее большинство потребностей разработчиков тестов по техническим дисциплинам.
Этот же модуль подготовки распределяет вопросы по разделам и вариантам внутри раздела. Это позволяет, с одной стороны, обеспечить наличие в каждом тесте вопросов по всему материалу, а с другой стороны, практически исключает полную повторяемость вопросов в любых двух тестах. Так один из тестов по курсу "Организация ЭВМ" состоял из 8 разделов, соответствующих прочитанным к моменту тестирования лекциям. Каждый раздел делился на 3 варианта, а каждый вариант состоял из 3 вопросов. Таким образом, при тестировании студенту задавалось 24 вопроса, включающие по 3 вопроса из каждой лекции. Вероятность полного повторения всех вопросов в тесте при этом составляет 0,152*10-3.
Модуль предъявления тестовых заданий генерирует тест, состоящий из случайным образом выбранных из каждого раздела вариантов, а также переставляет ответы при каждом предъявлении данного вопроса.
Модуль оценки результатов вычисляет количество баллов, набранных студентом за данный тест. При этом учитываются не только полностью правильные ответы, но и частично правильные. Система подсчета баллов определена таким образом, что если полученный ответ существенно отличается от правильного, то за данный вопрос оценка может быть отрицательной.
Модуль администратора позволяет установить время, отводимое на ответы по всем вопросам, а также количество набранных баллов, соответствующих той или иной оценке.
Модуль протоколирования обеспечивает ведение протокола по студенческой группе, а также ведение индивидуального развернутого протокола по каждому студенту, включающего заданные ему вопросы и полученные ответы.
Рассматриваемая система была использована при промежуточном тестировании потоков студентов по курсам "Организация ЭВМ" (1-й курс, 150 человек, 3 тестирования) и "Микропроцессорные системы" (4-й курс, 80 человек, 2 тестирования). Тестирование проводилось как в локальном режиме, так и с использованием доступа к системе через Internet. В последнем случае одновременно использовались от 1 до 4 дисплейных классов кафедры "Компьютерные системы и технологии" МИФИ. Результаты тестирования были учтены при проведении итогового экзамена.
Анализ результатов показал, что оценки, полученные студентами на тестировании, хорошо коррелируются с их успеваемостью по другим дисциплинам. Регулярное тестирование заставляет студентов более равномерно прорабатывать учебный материал. Поэтому успеваемость по указанным дисциплинам студентов, подвергавшимся компьютерному тестированию в семестре, оказалась выше, чем в предыдущие годы.
Использование рассматриваемой системы компьютерного тестирования существо экономит время проверки результатов, однако требует значительных усилий преподавателя на стадии подготовки вопросов и альтернативных ответов на них.