Актуальные проблемы компьютерного контроля знаний

А.М.Бершадский, А.А.Белов, Р.И.Вергазов, И.Г.Кревский

(Пенза, Пензенский государственный университет)

 

Место тестирования в учебном процессе

Тесты являются эффективным средством проверки качества знаний, получаемых студентами, и оперативного контроля хода обучения [1]. Информационные образовательные ресурсы (ИОР), содержащие тестовые материалы, можно разбить на две категории:

1.       ориентированные на прохождение студентами тестов в письменной форме с дальнейшей проверкой вручную преподавателем (как вариант – сканирование результатов тестирования с целью их дальнейшей автоматизированной проверки);

2.       системы компьютерного тестирования с соответствующим наполнением тестовыми материалами.

Преимущества второй категории тестовых ИОР очевидны. Они позволяют освободить преподавателя от рутинной работы при проведении экзаменов и промежуточной оценке знаний в традиционном учебном процессе, а при обучении с использованием дистанционных технологий становятся основным средством контроля. Необходимо отметить, что если на некоторых уровнях образования существуют объективные препятствия для внедрения компьютерного тестирования, например, многие младшие школьники и даже выпускники школ не умеют работать на компьютере либо имеют крайне ограниченные навыки работы с ним (в большинстве российских школ современные компьютеры появились только в последние два года, причем во многих из них имеются один-два компьютера на всю школу), то студенты вузов обязаны иметь необходимый уровень компьютерной грамотности.

Одними из основных преимуществ использования тестирования являются возможность автоматизации обработки результатов, объективность контроля и быстрая проверка качества подготовки большого числа тестируемых по широкому кругу вопросов. Это позволяет определить разделы, которые представляют наибольшую сложность в изучении, и, возможно, корректировать процесс обучения в зависимости от результатов тестирования. Именно в автоматизированных системах тестирования в наибольшей степени проявляются многие преимущества тестового контроля знаний (оперативность, легкость сбора статистики и пр.).

Естественно, тестирование не может полностью подменить все формы контроля знаний. Так, для проверки практических навыков решения задач возможность применения средств тестирования ограничена. Например, в тесте можно проконтролировать знание возможных методов решения задачи, предложить учащемуся расположить по порядку основные этапы решения. Для очень простых задач возможно решение их в уме и ввод результата в систему тестирования. Однако во многих случаях желательно дополнять тестовый контроль теоретических знаний решением практических заданий с помощью компьютерных задачников или традиционным образом.

Тестирование является важным элементом не только контроля знаний, но и обучения. При обучающем тестировании пользователю после прохождения теста предоставляются ссылки на те разделы учебного материала, на вопросы по которым он ответил неверно.

Наибольший эффект достигается при совместном использовании различных видов электронных учебных материалов (ЭУМ)[2]. Так, встраивание средств тестирования в состав электронных учебников (ЭУ) и электронных учебных пособий (ЭУП) позволяет оперативно оценивать ход изучения теоретического материала студентом, управлять траекторией изучения материала. Входное (до начала работы с ЭУ, ЭУП или их модулем) тестирование позволяет оценить начальный уровень знаний студента, выдать рекомендации по оптимальному для него индивидуальному порядку изучения дисциплины. Выходное тестирование позволяет либо выставить оценку по итогам изучения дисциплины, либо служит для допуска студента к сдаче экзамена (зачета) в традиционной форме. Аналогично, крайне желательно встраивать средства тестирования в состав лабораторных практикумов. Входное тестирование в этом случае проверяет понимание студентами основ теоретического материала по теме лабораторной работы и служит для допуска к ее выполнению. Итоговое тестирование по результатам выполнения лабораторных практикумов позволяет проверить знания, приобретенные студентом в результате выполнения лабораторной работы или блока работ. Таким же образом для проверки навыков решения практических задач целесообразно включать в состав ЭУ и ЭУП вызовы компьютерных задачников (КЗ). Совместное использование систем компьютерного тестирования и КЗ позволяет проверить как теоретические знания (тесты), так и практические навыки (решение типовых задач) при текущей, промежуточной или итоговой (междисциплинарный экзамен) аттестации студента. Включение в состав ЭУМ проблемных и исследовательских заданий, интеллектуальных обучающих подсистем позволяют развить культуру мышления и мыслительные способности студента.

Рассматривая средства тестирования, в частности, как традиционные учебные издания, при их разработке необходимо учитывать Санитарные правила и нормативы "Гигиенические требования к изданиям книжным для взрослых. СанПиН 1.2.1253-03", утвержденные Главным государственным санитарным врачом Российской Федерации 30 марта 2003 г. и введенные в действие с 15 июня 2003 года. Раздел II этого документа «Гигиеническая классификация изданий» подразделяет все издания по гигиенической значимости на две категории.

Гигиеническая значимость издания определяется реальной зрительной нагрузкой при чтении. Издания первой категории характеризуются большими объемами текста единовременного прочтения, что обуславливает непрерывный длительный процесс чтения и выраженную зрительную нагрузку. Издания второй категории характеризуются небольшими объемами текста единовременного прочтения, что обуславливает эпизодический процесс чтения и незначительную зрительную нагрузку. Далее в СанПиН 1.2.1253-03 к изданиям 1-й категории предъявляются существенно более жесткие гигиенические требования (прежде всего к шрифтовому оформлению) по сравнению с изданиями 2-й категории. Очевидно, что по гигиенической значимости тесты относятся ко второй категории.

Можно выделить следующие основные критерии качества тестов.

• Традиционные требования к тестовым материалам вне зависимости от формы их представления:
• валидность (содержательная и функциональная);
• надежность;
• однозначность (одинаковость оценки качества выполнения теста разными экспертами, корректная постановка вопросов, не допускающая их различное толкование);
• дифференцирующая способность.
• Наличие средств автоматизированного тестирования.
• Соответствие тестовых материалов международным стандартам (IMS QTI [3]), их интероперабельность.
• Разнообразие типов тестовых заданий.
• Разнообразие способов построения траекторий тестирования (жесткая последовательность, случайная выборка заданий, адаптивное тестирование).

·        Разнообразие режимов использования в тестировании (обучающее тестирование, тренировочное тестирование, контрольное тестирование).

·        Дифференциация оценки тестовых заданий (возможность назначения различных баллов разным вопросам, учет частично правильных ответов и пр.).

·        Возможность использования в тестах графических иллюстраций, анимации, аудио и видео информации.

·        Контроль времени (на тестовое задание или тест в целом), отображение текущего состояния тестирования (количество оставшегося времени и тестовых заданий и пр.).

·        Наличие инструментов анализа результатов тестирования и оценки качества тестовых материалов.

 

Построение компьютерных систем контроля знаний

Рассматривая компьютерные системы контроля знаний с точки зрения их практической реализации, необходимо отметить, что все они содержат в себе следующие компоненты (иногда не выделенные явно в структуре системы) [4].

1. Подсистему подготовки тестов.
2. Подсистему проведения тестирования.
3. Подсистему анализа результатов тестирования.

Различные разработчики по-разному подходят к выбору программ и технологий создания этих подсистем. Рассмотрим достоинства и недостатки различных подходов в реализации конкретных тестовых систем.

Одним из частых подходов является использование систем клиент-сервер, в которых  в качестве клиента выступает  броузер, а в качестве сервера – связка из Web – сервера и сервера приложений.

Этот подход при подготовке тестов имеет следующие недостатки.

-         Составитель тестов во время ввода контрольно-тестовых материалов должен находиться в сети.

-         Язык HTML ориентирован на представление данных, а не на их создание, что сильно затрудняет редактирование уже созданных данных. Это является проблемой многих систем основанных на Web – интерфейсе.

-         Отсутствует возможность использования при подготовке тестовых заданий технологии OLE, что затрудняет вставку сложных объектов (формул и пр.).

Достоинствами такого подхода являются:

-         Отсутствует зависимость от операционной системы.

-         Отсутствует необходимость в установке и настройки клиентской части.

Недостатком использования данного подхода при реализации собственно тестирования является, например, трудность реализации сложных форм тестовых заданий (например – тестовое задание на соединение точек). 

В то же время, данный подход имеет и существенные достоинства:

-         Язык HTML имеет большие возможности по представлению данных.

-         Отсутствие проблем с передачей данных в сети Internet (конфликты с системами защиты типа FireWall исключены, так как используются стандартные протоколы и порты доступа).

-         Отсутствует зависимость от операционной системы.

-         Отсутствует необходимость установки и настройки клиентской части.

Альтернативой является создание специализированного ПО для проведения тестирования и подготовки тестовых материалов. Данный подход при подготовке тестов имеет следующие преимущества.

- Автономность (не требуется наличие сетевого соединения).

- Удобство создания и редактирования тестовых материалов.

Его недостатками являются необходимость предварительной установки и настройки дополнительного ПО, а иногда и привязка к конкретной операционной системе.

Использование специализированного ПО при проведении тестировании позволяет:

- минимизировать объем передаваемых данных;

- реализовать сложные интерактивные тестовые задания.

Недостатки специализированного ПО при проведении тестировании:

- возможны ограничения по форматам представления информации;

- необходимость установки специального клиентского приложения тестирования;

- проблема обновления версий клиентов при совершенствовании ПО.

 

Подготовка материалов для компьютерного контроля знаний

При разработке тестовых материалов автору необходимо выполнять следующие требования.

1. Обеспечить как можно более полное покрытие материала курса контрольно-тестовыми материалами.

2. Разделить, при необходимости, тестовые задания на используемые для обучения и самоконтроля, с одной стороны, и на используемые для контроля по итогам обучения, с другой. На практике чаще всего для обеих целей используются одни и те же тестовые задания. Для этого подсистема контроля знаний должна предусматривать соответствующие средства построения сценариев тестирования (жесткое задание последовательности вопросов или перемешивание вопросов при случайной выборке).

3. Для обеспечения интероперабельности тестовых материалов необходимо обеспечить их соответствие стандартам тестирования, наиболее распространенным среди которых является IMS QTI. Данный стандарт определяет требования к тестовым материалам, сценариям тестирования, представлению результатов тестирования. Можно сказать, что спецификация IMS QTI при определении типов тестовых заданий определяет как собственно тип, так и способ его представления пользователю, а также ограничения на типы используемых в вопросе данных. Так, например, классический закрытый вопрос с выбором одного правильного варианта в IMS QTI разбивается на:

a. Standard True/False (Text) – выбор из двух вариантов ответа: Правда/Ложь (текст);

b. Standard Multiple Choice (Text) - альтернативный выбор (текст);

c. Standard Multiple Choice (Images) - альтернативный выбор (изображения);

d. Multiple Choice with Image Hot Spot Rendering - альтернативный выбор (точки изображения);

e. Multiple Choice with Slider Rendering - альтернативный выбор (слайдер).

Таким образом, при подготовке тестовых заданий необходимо уделять внимание предполагаемой форме представления вопроса на экране, однако, важнее определить собственно типы тестовых заданий. К наиболее распространенным относятся следующие:

a. закрытый тип вопроса с одним правильным ответом (альтернативный выбор);

b. закрытый тип вопроса с несколькими правильными ответами (многоальтернативный выбор);

c. вопрос на упорядочивание;

d. свободный ввод краткого числового или текстового ответа;

e. вопрос типа «заполнить пробелы» (вопрос на подстановку);

f. вопрос на соответствие нескольких частей ответов (напрямую в IMS QTI не определен, частичный аналог - Matrix-based Multiple Response - выбор по одному элементу в каждой колонке матрицы).

4. Соответствие типов тестовых заданий типам, поддерживаемым системой контроля знаний, которую предполагается использовать для контроля знаний по курсу.

5. Учет объективно различной сложности вопросов и задание дифференцированного уровня сложности вопросов (максимальный балл за вопрос) при поддержке соответствующих возможностей используемой системой контроля знаний.

При разработке тестов надо учитывать, что помимо сложности вопроса с точки зрения проверяемого материала существует и сложность с точки зрения постановки вопроса, а также комплексности тестового задания, определяемой во многом его типом. Так, с точки зрения проверяемых знаний, один вопрос на упорядочивание или на соответствие может послужить эквивалентом достаточно большого числа альтернативных вопросов.

Для примера рассмотрим вопрос на соответствие следующего вида.

При ответе обучаемый должен правильно указать для каждого писателя год рождения и год смерти. В вопросы занесены заведомо неправильные ответы, не относящиеся ни к кому из представленных писателей (год рождения 1820 и год смерти 1873). С точки зрения проверяемых знаний один такой вопрос эквивалентен восьми классическим закрытым вопросам типа

При подобной формулировке аналогичные вопросы должны быть заданы и по годам рождения всех остальных писателей, а также годам их смерти.

При использовании комплексных заданий встает вопрос об учете частично правильных ответов на вопросы [5]. В зависимости от целей, которые ставятся при тестировании, можно засчитывать любой неполный ответ как неправильный либо учитывать степень правильности частичного ответа. Так, например, следующий ответ на многоальтернативный вопрос будет неполным (не указан Б.Л.Пастернак). Если правильный ответ на вопрос оценивать в 1 балл, то за такой ответ может быть засчитано 0 баллов (если считать ответ при неуказании хотя бы одного правильного ответа полностью неправильным), либо, например, 0,75 балла (с учетом того, что правильно указано 3 ответа из 4-х). Вообще, учет частично правильных ответов является нетривиальной задачей, не имеющей однозначного решения. Так, например, даже в многоальтернативном вопросе возникает проблема с учетом указания неправильных вариантов ответов. Еще сложнее учет частичной правильности ответа в вопросах на упорядочивание и на соответствие.

Таким образом, использование в тестовых материалах сложных типов вопросов позволяет значительно сократить количество тестовых заданий, необходимых для обеспечения достаточной полноты проверки изученного материала. С другой стороны, в этом случае более трудоемка подготовка тестовых заданий, а также возникают проблемы с учетом частично правильных ответов.

Сравнение систем компьютерного контроля знаний

При наличии большого количества систем компьютерного тестирования, постоянном создании новых систем необходимо определиться с основными критериями, которым должны отвечать такие системы. Предварительный анализ показывает, что весь набор параметров может быть сведен в следующие четыре основные группы:

·    Типы поддерживаемых тестовых заданий;

·    Сервис по созданию тестовых заданий;

·    Построение траектории тестирования;

·    Обработка результатов тестирования;

·    Административные функции;

Для сравнения были выбраны известные системы Прометей 4.0 [6], АСТ [7], Ellekta 5.01 [8], Test Commander 3.0 [9], WebQuiz XP 2.0.34 [10]. Результаты приведены в таблице.

Функции и свойства программного продукта	Название программного продукта
	Прометей 4.0	АСТ	Ellekta 5.01	Test Commander 3.0	WebQuiz XP 2.0.34
Типы поддерживаемых тестовых заданий
Выбор из списка одного правильного ответа	+	+	+	+	+
Выбор из списка нескольких правильных ответов	+	+	+	+	+
Выбор из списка одного правильного ответа с возможностью ввода своего ответа	-	-	-	+	-
Ввод данных, которые впоследствии будут сравнены с эталоном	+	+	+	+	+
Ответ на естественном языке	+	+	-	+	-
Тестовое задание на установление правильного порядка	+	+	+	-	+
Тестовое задание на соответствие	-	-	+	-	-
Создание тестовых заданий
Возможность создания иерархической структуры для размещения тестовых заданий (разделы) / тестов (папки)	+	+	+	+	-
Возможность копирования/ перемещения тестовых заданий/ разделов/тестов	+	+	+	+	-
Возможность печати тестовых заданий/ тестовых заданий c ответами / тестовых заданий c указанием правильных ответов	+	+	+	+/-/-	-
Использование графических файлов в формулировке тестового задания	+	+	+	+	+
Назначение балл за правильный ответ	+	+	+	+	+
Назначение баллов за частично правильный ответ (вручную/алгоритм)	-/-	-/-	-/+	-/-	-/-
Использование графических файлов в формулировке ответов.	+	+	+	+	+
Использование звуковых файлов в формулировке тестового задания.	-	-	-	-	+
Использование звуковых файлов в формулировке ответов.	-	-	-	-	+
Использование видео файлов в формулировке тестового задания.	-	-	-	-	+
Использование видео файлов в формулировке ответов.	-	-	-	-	+
Возможность вставки OLE объектов при создании/редактировании	+/+	+/-	+/+	+	-
Возможность создания обратной связи при ответе на  тестовое задание/раздел	+	+	-	-	-
Ограничение на количество попыток ответа на тестовое задание	-	-	-	-	-
Возможность предварительного просмотра тестового задания / теста разработчиком	-	-	-	-	-
Возможность конвертации тестовых данных в IMS QTI 1.0 и обратно	-	-	-	-	-
Тестирование
Настройка аутентификации тестируемого	-	-	+	+	+
Воспроизведение тестовых заданий списком (свободное перемещение по тесту)	-	-	-	-	+
Перемешивание ответов тестового задания	+	+	+	+	+
Ограничение времени на тестовое задание	+	+	+	+	+
Ограничение времени на тест	+	+	+	+	+
Показ оставшегося времени на тестирование	+	+	+	+	+
Выдача тестовых заданий  в случайном порядке	+	+	+	+	+
Выдача тестовых заданий по мере повышения их трудности	+	-	-	-	-
Адаптивного тестирования	-	-	-	-	-
Наличие при тестировании обязательных вопросов (в зарубежной литературе – golden question)	-	-	-	-	-
Возможность прерывать тестирование, если тестируемый неправильно отвечает на определенный вопрос.	-	-	-	-	-
Обработка результатов тестирования
Отчет с ответами и баллами тестируемого	+	+	+	+	-
Отчет по результатам сеанса тестирования	+	+	+	+	+
Импорт данных в Excel / SPSS	+	-	-	-	-
Накопление статистических данных по тестовым заданиям	+	+	+	-	-
Накопление статистических данных по тестируемым	+	+	+	-	-
Административные функции
Занесение и редактирование сведений о тестируемых	+	+	-	-	-
Создание и редактирование групп тестируемых	+	+	-	-	-

Как видно из данной таблицы, основные параметры ведущих систем во многом схожи. Общим недостатком всех систем (в направлении его преодоления многие из них, вероятно, будут развиваться) является отсутствие или ограниченность возможностей по обмену информацией с международным стандартом IMS QTI, а также отсутствие средств адаптивного тестирования [11].

Обработка результатов тестирования

Подсистема статистики служит обычно для предоставления преподавателю или администратору результатов тестирования и может выводить краткие или детальные (с указание всех заданных вопросов и полученных на них ответов, а также баллов за вопрос) протоколы тестирования по каждому из испытуемых с указанием итогового балла, оценки, времени тестирования. Например, в системе компьютерного контроля знаний Пензенского регионального центра дистанционного образования (ПРЦДО), один из рабочих вариантов которой представлен в таблице под названием версии Ellekta 5.01, подсистема статистики предоставляет следующие основные возможности [12-14].

• Создание кратких отчетов. Они содержат обобщенную информацию о тестируемом и его результатах.
• Создание протоколов тестирования. В этом случае помимо информации о тестируемом, показывается, как он отвечал на тот или иной вопрос, с указанием набранного балла за вопрос, пропущенных  и отложенных вопросов.
• Создание сводной таблицы, в которой для каждого испытуемого указывается состояние теста, набранный балл, оценка, которую поставила система тестирования, время тестирования и количество пропущенных вопросов.
• Выпуск таблицы с результатами тестирования по группе. В ней указывается количество человек, которые прошли тест с оценкой “5”, “4”, “3”, “2” и их процентное соотношение. Здесь же подсчитывается средний набранный балл и средняя оценка по группе с расчетом соответствующих дисперсий.
• Выпуск таблицы с указанием степени выполнения теста каждым испытуемом. Здесь же подсчитывается средняя величина степени выполнения теста с расчетом дисперсии.
• Сравнение результатов тестирования различных групп. Группы могут формироваться:

)          по фамилиям испытуемых;

)          по названиям их учебных групп;

)          по факультету, на котором они обучаются;

)          по названию теста.

·        Создание графиков по результатам тестирования как одной, так и нескольких групп.

·        Сохранение результатов тестирования в базе данных.

·         Загрузка результатов тестирования из базы данных, которая может осуществляться:

)          по дате сохранения результатов;

)          по дате тестирования;

)          по названию теста, по которому проводилось тестирование;

)          по фамилии тестируемого;

)          по названию учебной группы;

)          по названию факультета;

)          по набранному баллу;

)          по полученной оценке;

)          с использованием комбинированных запросов.

Для того, чтобы тестирование обеспечивало эффективный контроль знаний учащихся, необходимы качественные тестовые материалы. Выше уже были рассмотрены проблемы учета частично правильных ответов и обеспечения различными типами тестовых заданий разного покрытия предметной области. Однако автору тестов часто трудно объективно оценить качество своих разработок и обеспечить валидное и высоконадежное тестирование. Для автоматизации расчета качества тестовых заданий необходимо оценивать их статистические характеристики. Поэтому дальнейшие работы по развитию подсистемы статистики ведутся в направлении автоматизации проверки качества тестовых заданий и качества теста в целом. Алгоритмы разрабатываются на основе последовательности статистической обработки результатов и формул, предложенных в [15].

Система компьютерного тестирования ПРЦДО

Разработанная в ПРЦДО система тестирования предназначена для итогового и рубежного контроля знаний и широко используется в дистанционном обучении и традиционном учебном процессе ряда вузов [5].

Система поддерживает 6 типов тестовых заданий.

1.    Простое тестовое задание – требует ввода ответа с клавиатуры (как правило, числа или слова).

2.    Альтернативное тестовое задание – требует выбора одного правильного ответа из нескольких предлагаемых вариантов (традиционный закрытый вопрос).

3.    Многоальтернативное тестовое задание - требует выбора нескольких правильных ответов из ряда предлагаемых вариантов.

4.    Хронологическое тестовое задание – требует расставить ответы в правильном порядке.

5.    Тестовое задание на подстановку – предполагает, что дана формулировка с пропуском нескольких ключевых слов или фраз, требует выбрать из предлагаемых ответов один или несколько правильных и расставить их в соответствующем порядке вместо пропусков.

6.    Тестовое задание на соответствие - требует установить правильное соответствие между несколькими частями ответа (типичный пример: установить правильное соответствие между словами русского, английского и немецкого языка).

Каждому тестовому заданию могут задаваться балл и ограничение по времени. В тело тестового задания и ответов к нему могут включаться иллюстрации. Имеется возможность настройки как на прохождение всех тестовых заданий в случайном порядке, так и выдача тестовых заданий в последовательности, определенной автором теста (например, по мере увеличения их сложности).

Подсистема подготовки тестов

Предназначена для ввода тестовых заданий, а также для создания из них тестов и профилей. При  этом подразумевается, что тест – это набор тестовых заданий по определенному предмету или отдельной теме. Профиль – набор ссылок на тестовые задания из одного или нескольких тестов. Профиль позволяет определять, сколько вопросов необходимо выдать тестируемому, должны ли это быть заранее однозначно определенные вопросы, или они выбираются случайным образом из теста. Также профили позволяют осуществлять выдачу вопросов из различных тестов, что позволяет производить тестирование сразу по нескольким дисциплинам, либо по нескольким разделам одной дисциплины, входящим в различные тесты.

Для тестов и профилей возможно задание ограничения времени на отдельные вопросы и на тест или профиль в целом. Подсистема позволяет группировать тесты и профили в иерархическую структуру, используя папки (аналогично файловой системе), что упрощает работу с тестовыми материалами. Вся подготавливаемая подсистемой тестовая информация хранится в зашифрованном виде в формате БД MS Access.

Подсистема тестирования

Существует в двух вариантах.

Программа локального тестирования. Устанавливается на компьютере пользователя и позволяет проводить тестирование вне зависимости от подключения к сети. С помощью настроек обеспечивается широкий круг возможностей:

·           защита настроек от несанкционированного доступа паролем;

·           идентификация обучаемого (какие данные фиксировать при регистрации тестируемого);

·           задание соответствия набранных при тестировании баллов и итоговой оценки;

·           настройка параметров отчета, выводимого на экран;

·           установка следует ли выводить текущий набранный балл в ходе тестирования;

·           установка ограничений на прохождение тестирования (ограничение по времени на отдельное тестовое задание, и/или ограничение времени на прохождение теста в целом).

Системные требования: компьютер Pentium 90 и выше, 32МБ ОЗУ и выше, операционная система Windows NT/2000/XP. Разрешение монитора 800x600 и выше.

Комплекс программных средств сетевого тестирования включает две программы, использующих технологии Internet/Intranet.

Программа-сервер отвечает за хранение тестов, управление прохождением тестирования, взаимодействие с клиентами, накопление результатов тестирования, настройки тестирования (аналогичные вышеперечисленным). Системные требования: компьютер Pentium 166 и выше, 32МБ ОЗУ и выше, операционная система Windows NT/2000/XP. Разрешение монитора 800x600 и выше.

Программа-клиент осуществляет вывод тестовых заданий на экран пользователя и передает ответы пользователя серверу. Режим работы определяется настройками, заданными в программе-сервере. Системные требования аналогичны требованиям системы локального тестирования.

Функции подсистемы статистики были рассмотрены выше. Также в настоящее время на основе системы тестирования ПРЦДО ведется разработка Системы off-line тестирования Российского портала открытого образования, обеспечивающая контроль знаний учащихся по тестовым материалам в формате IMS QTI [16], полученным из одного из виртуальных представительств (ВП) в составе Информационно-образовательной среды открытого образования (ИОС ОО) [17].

 

Применение средств компьютерного контроля знаний для проведения междисциплинарного экзамена.

В качестве примера использования в учебном процессе сочетания традиционных и тестовых методов контроля знаний рассмотрим организацию Государственного междисциплинарного экзамена по специальности 220300 «Системы автоматизированного проектирования» в Пензенском государственном университете [18]. Процедура сдачи междисциплинарного экзамена состоит из двух частей.

1.            Компьютерное тестирование по теоретическим вопросам.

2.            Решение практических заданий.

Таким образом, проверка практических умений и навыков студентов выполняется отдельно. В ходе ее студентам необходимо решить практические задачи в соответствии с выбранным билетом. Для повышения объективности оценки письменные работы в момент получения задания шифруются и проверяются преподавателями под шифром. Однако из-за временных ограничений таким способом реально проверить знания только по одной-двум дисциплинам.

Проверка теоретических знаний по всем выносимым на экзамен дисциплинам осуществляется с помощью системы компьютерного тестирования. Каждому студенту необходимо пройти тест из 48 вопросов по 13 дисциплинам. Преподаватели готовят банк вопросов по каждой из дисциплин междисциплинарного экзамена (от 30 до 70 вопросов на дисциплину). Далее создается сценарий тестирования для междисциплинарного экзамена. Используемая система компьютерного тестирования позволяет реализовывать различные сценарии, однако, для проведения экзамена используется относительно простой: для теста по каждой дисциплине указывается количество вопросов, которые будут случайным образом выбраны и войдут в сценарий экзаменационного тестирования. «Квота» каждой  дисциплины составляет от двух до четырех вопросов. Применяемая система тестирования поддерживает шесть типов тестовых заданий, что дает в распоряжение преподавателя достаточно гибкий инструмент для проверки знаний по своему предмету.

Для подготовки к экзамену до студентов доводится общий список вопросов по всем предметам (около 600). Разумеется, при этом им не сообщаются ни ответы на вопросы, ни типы вопросов. То есть, студент должен быть готов ответить на вопрос по определенной тематике, но не знает, будет ли ему предложен выбор из готовых вариантов ответа, или ему придется вводить ответ вручную и т.д. На тестирование отводится 30 минут. Так как каждый студент должен в сжатые сроки пройти свой индивидуальный сценарий тестирования, возможности «взаимопомощи» в ходе экзамена минимизированы. Правильный ответ на вопрос оценивается в один балл. Частично правильные ответы также учитываются (например, из трех правильных ответов выбраны два – засчитывается 0,67 балла и т.п.).

Полученные в результате тестирования баллы (максимум – 48 баллов) суммируются с баллами за практическое задание (максимум – 20 баллов). На основании суммарного балла выставляется итоговая оценка. Многолетний опыт использования компьютерных средств контроля знаний для проведения междисциплинарного экзамена показал высокую достоверность получаемых результатов: в большинстве случаев «компьютерная» оценка соответствовала тому, как студент учился в течение пяти лет.

Литература:

1.      Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Информационно-издательский дом «Филинъ», 2003.

2.      Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. – М.: Информационно-издательский дом «Филинъ», 2003.

3.      IMS Question & Test Interoperability: ASI Information Model Specification.

4.      Бершадский А.М., Кревский И.Г., Вергазов Р.И. Удаленное тестирование в ДО // Дистанционное образование: открытые и виртуальные среды: Тезисы докладов 7-й Междунар. конф. по дистанционному образованию, не вошедшие в официальный сборник конференции (Россия, Москва, МЭСИ, 17-18 июня 1999 г.) - М.: МЭСИ, 1999. - С.2-4.

5.      Кревский И.Г., Вергазов Р.И. Использование компьютерных средств контроля знаний для анализа качества подготовки специалистов // Мониторинг и контроль качества образования: развитие методологии и опыт. Книга 3/Материалы X Симпозиума «Квалиметрия в образовании: методология и практика». М.: Исследовательский центр проблем качества подготовки специалистов, 2002. С.257-262.

6.      http://www.prometeus.ru/.

7.      Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. “Методологические правила конструирования компьютерных педагогических тестов”, М., ВТУ, 2000, 64 с.

8.      http://cadserver.stup.ac.ru:8081.

9.      http://www.etestingsystems.com/.

10.  http://www.smartlite.it/.

11.  Челышкова М.Б. Адаптивное тестирование в образовании М.: Информационно-издательский дом «Филинъ», 2003.

12.  Белов А.А. Система анализа результатов тестирования // Университетское образование: Сборник материалов VIII Междунар. науч.-методич. конф. - Пенза: ПДЗ, 2004. - С.497-498.

13.  Вергазов Р.И., Кревский И.Г., Жильцов А.Ю. Автоматизация проверки качества тестовых заданий // Инновации в образовании: Материалы I науч.-методич. конф. – Пенза, Инф.-издат. Центр ПГУ, 2003. – С.32-35.

14.  Вергазов Р.И., Кревский И.Г., Жильцов А.Ю. Подсистема статистики и проверки качества тестовых материалов // Университетское образование: Сборник материалов VII Междунар. науч.-методич. конф. - Пенза: ПДЗ, 2003. - С.497-498.

15.  http://kpmit.wl.dvgu.ru/library/aschepkova/tests.php

16.  Кревский И.Г., Белов А.А., Вергазов Р.И., Овчинников С.И. Средства геонавигации и off-line тестирования портала открытого образования // Человеческое измерение в информационном обществе: тезисы докладов Всероссийской науч.-практич. конф. – М.: ВВЦ, 2003. – С.86-87.

17.  Основы открытого образования /Андреев А.А., Каплан С.Л., Краснова Г.А., Лобачев С.Л., Лупанов К.Ю., Поляков А.А.,Скамницкий А.А., Солдаткин В.И.; Отв.ред.В.И.Солдаткин. – Т.1. – РГИОО. – М.: НИИЦ РАО, 2002.

18.  Бершадский А.М., Кревский И.Г., Вергазов Р.И. Использование компьютерных средств контроля знаний для проведения междисциплинарного экзамена // Университетское образование: Сборник материалов VII Междунар. науч.-методич. конф. - Пенза: ПДЗ, 2003. - С.492-493.

 

Аннотация

Показана роль тестирования в учебном процессе. Рассмотрены вопросы построения компьютерных систем контроля знаний и разработки тестовых материалов. Произведено сравнение существующих систем тестирования, рассмотрены вопросы анализа результатов тестирования. Также рассмотрена конкретная система тестирования ПГУ и примеры опыта ее использования в учебном процессе.

 

The summary

The role of testing in educational process is considered. The problems of construction of computer testing systems and development test materials are considered. The comparison of existing systems of testing made, the questions of the analysis of results of testing are considered. Concrete system of testing from Penza State Univercity and examples of experience for its implementation in educational process also is considered.

Сведения об авторах

 

Бершадский Александр Моисеевич – д.т.н., профессор, Заслуженный деятель науки РФ, зав.каф.САПР ПГУ, научный руководитель ПРЦДО. Домашний адрес - г.Пенза, ул.Урицкого 16-16. Служебный адрес – 440026, г. Пенза, ул.Красная, 40, ПГУ, каф. САПР, тел (8412) 36-82-47, факс (8412)56-28-78, e-mail: bam@stup.ac.ru. Паспорт 56 02 591301

Белов Александр Анатольевич – аспирант каф. САПР ПГУ. Домашний адрес - г. Пенза, Проспект Строителей, дом 144, кв. 59. Служебный адрес – 440026, г. Пенза, ул.Красная, 40, ПГУ, каф. САПР, тел (8412) 36-82-47, факс (8412)56-28-78e-mail: null@stup.ac.ru. Паспорт 56 01  497726 выдан ОВД Октябрьского района г. Пензы 25.01.2002.

Вергазов Ринат Ильдусович – ассистент каф. САПР ПГУ. Домашний адрес - г. Пенза, ул.Рахманинова 38-2. Служебный адрес – 440026, г. Пенза, ул.Красная, 40, ПГУ, каф. САПР, тел (8412) 36-82-47, факс (8412)56-28-78, e-mail: rvi@stup.ac.ru. Паспорт 56 02 667810 ОВД Октябрьского р-на г.Пензы 24.05.2002

Кревский Игорь Гершевич – к.т.н., доцент, директор ПРЦДО. Домашний адрес – 440046, г.Пенза-5, корпус 109, кв.37. Служебный адрес – 440026, г. Пенза, ул.Красная, 40, ПГУ, каф. САПР, тел (8412) 36-82-47, факс (8412)56-28-78, e-mail: penzado@stup.ac.ru. Паспорт 56 01 403651 выдан ОВД Первомайского района г. Пензы 20.10.2001.