Первоисточник: http://dl.nw.ru/practice/course_design/testing/
Важнейшим достоинством электронного тестирования является возможность моделирования тестовых заданий (их последовательности, вариативности и даже самих условий) на основе заданного алгоритма.
К другим достоинствам следует отнести оперативность при подведении итогов и их опубликовании, беспристрастность оценок, меньшую трудоемкость при редакции тестов, простоту и экономичность их тиражирования, возможность осуществления самоконтроля, дистанционное взаимодействие с обучающимся с учетом индивидуального выбора времени и места.
Применение интернет-технологий в электронном тестировании не просто расширяет географические рамки, но, прежде всего, представляет дополнительный инструментарий оценки взаимодействия с обучающимся. Электронное интернет-тестирование позволяет автоматически обобщить ряд характеристик доступа и локального рабочего места обучающегося (включая как характеристики аппаратного и программного обеспечения, используемого для подключения к Интернет, так и вспомогательных ресурсов (если они задействуются обучающимся на том же самом рабочем месте, с которого осуществляется доступ к программе Интернет-тестирования)).
Разработчик курса ДО вооружает тьютора альтернативными инструментами контроля за ходом тестирования, вместо привычного контроля в аудитории или в дополнение к таковому. Кстати, интернет-тестирование нельзя рассматривать как альтернативу личному участию обучающегося в формах итогового контроля. Напротив, интернет-тестирование расширяет возможности вводного, самоконтроля и промежуточного контроля, а итоговый контроль используя форму интернет-тестирования, зачастую должен быть дополнен требованием личного взаимодействия с обучающимся (итоговое тестирование может осуществляться в ВУЗе или центре сертификации с применением как традиционных, так и альтернативных инструментов контроля за ходом тестирования).
Наряду с достоинствами интернет-тестирования, необходимо указать и на определенные недостатки. Процедура тестирования и даже оценка (например, при учете времени ответа) зависят от способа подключения тестируемого и сервера тестирования к сети Интернет и загруженности каналов, особенностей программного обеспечения тестируемого (особенно, браузера v ведь ряд альтернативных возможностей контроля за ходом тестирования реализуемы только при поддержке Java-Script и Java (или иного расширения HTML)). Проблему могут представлять и серверы безопасности (firewall), серверы анонимного доступа, транспарентного подключения локальных сетей (proxy-серверы, например, при определенных настройках не позволяют реализовать использование передачи данных средствами Cookies). Выход видится в том, чтобы итоговое тестирование все-таки осуществлялось в ВУЗе или доверенном центре тестирования (сертификации), а вводное, промежуточное тестирование и самоконтроль использовали бы стандартный инструментарий HTML и взаимодействие с сервером тестирования через CGI.
Но с точки зрения разработчика курса ДО, следует основное внимание уделить именно моделированию тестовых заданий, что позволит реализовать индивидуальный адресный подход к каждому обучающемуся, обеспечит уникальность тестовых заданий и повысит значимость оценки, заслуженной в ходе электронного тестирования.
Напротив, игнорирование названной возможности приведет к тому, что электронное тестирование превратится в шаблонную процедуру, лишенную к тому же традиционных возможностей контроля за ходом тестирования.
В первую очередь разработчику курса ДО необходимо предполагать, что тестирование не связано только с итоговым контролем знаний. Более того, именно в условиях ДО (когда учащийся сам может и определять очередность модулей и привлекать альтернативные разработки других авторов), важно предусмотреть две формы контроля остаточных знаний:
Избежать излишних трудозатрат и дублирования поможет деятельность учебно-методических комиссий, а задача разработчиков все вопросы на контроль остаточных знаний размещать в общем банке данных и настаивать, чтобы авторы курсов для вводного контроля использовали только этот банк.
Любой вопрос из банка данных по проверке остаточных знаний должен сопровождаться ссылками на ресурс, который учащемуся необходимо повторить. Простая констатация факта ошибочного ответа недостаточна. Но и не нужен подробный комментарий (он за рамками нашего курса), нужна лишь ссылка к предшествующему курсу.
Дополнительно может применяться превентивный тест (тест-анонс) v он может предварять как отдельные темы, так и весь курс, иллюстрируя то, какие именно знания и навыки получит обучающийся в результате освоения курса. Здесь необходимы не просто интересные задачи (моделирование конкретной ситуации), но и привлекательные, эмоционально яркие формы подачи материала (включение мультимедийных объектов (графика, видео, аудио) в текст вопроса). Превентивные тесты должны содержать анонс материалов, с которыми предстоит познакомиться в каком-то разделе или во всем курсе.
В ходе изучения курса учащемуся должен быть предложен самоконтроль. Желательно, чтобы вопросы из теста на самоконтроль сопровождались более подробными комментариями, а не указанием оценки.
Наконец, следует предложить учащемуся процедуру текущего и итогового контроля его знаний. Здесь должна учитываться не только точность ответа, но и его время, сложность и важность каждого вопроса среди других. Необходимо предусмотреть процедуры индивидуального подбора тестовых заданий. С точки зрения комментариев по итогам тестирования они могут отражаться в обобщенном виде (важна лишь оценка, желательно, с выделением результатов в отдельных блоках), но не следует характеризовать ответы по конкретным вопросам (в отличие от вводного контроля и самоконтроля). Кроме того, тесты промежуточного и итогового контроля часто оформляются с ограничением прав доступа по времени и месту тестируемого (например, нельзя сдать тест досрочно или вне аудитории, где может быть обеспечена надежная идентификация тестируемого). Последнее обстоятельство (сочетание с традиционными формами контроля за ходом тестирования) особенно значимо для тестов итогового контроля v как уже было отмечено выше, имеет смысл предоставлять доступ к тестам итогового контроля только из ВУЗа или доверенных центров тестирования (сертификации). Сами ВУЗы могут обеспечивать поддержку территориально распределенного тестирования (примером может служить апрельское тестирование в ВУЗах РФ).
Таким образом, при разработке курса ДО, необходимо предполагать следующие разновидности тестов с учетом их места в курсе и в учебном процессе в целом:
Несложно заметить, что тесты на различных этапах обучения могут использовать некие общие элементы (вопрос и ответ, например), а другие элементы (такие как комментарий) добавляются опционально в зависимости от конкретной задачи теста в учебном процессе. Значит, следует организовать разработку тестов таким образом, чтобы избегая дублирования, создать множество различных приложений на базе неких простых строительных конструкций - вопрос, ответ, комментарий, блок, цепочка, ключ.
Строительные конструкции. Вопрос
Вовсе не следует готовить много разных тестов с различными вариантами вопросов (для контроля остаточных знаний, для самотестирования, для итогового контроля и т.п.). Эффективнее разработать банк вопросов. Любой вопрос может содержать как собственный список ответов, комментариев или ссылок, так и использовать общие строительные конструкции, что облегчает создание вариативных однотипных вопросов, особенно в рамках одной тематической области. Подробнее типы вопросов будут рассмотрены в практикуме. А пока ограничимся общей чертой всех вопросов v наличием некоего текста с формулировкой.
Строительные конструкции. Ответ
Ответ должен быть формально предопределен шаблоном. Это определяет и форму, с которой тестируемый будет взаимодействовать. Выбор шаблонов ограничен рамками HTML. Подробнее примеры форм обсуждаются в практикуме с конкретными примерами для разных типов вопросов. Здесь же остановимся на самых популярных формах v выбор ответа из списка (выбор единственного варианта и аддитивный выбор нескольких элементов списка).
Выделим в таких вопросах общую конструкцию v закрытый список всех возможных ответов (в т.ч. неправильных). Такой список может быть общим для нескольких вопросов одновременно, что повысит технологичность разработки, снизит затраты времени и разработчика, и тьютора, а, главное, окажется более легким для студента (с точки зрения техники ответа, а не с точки зрения содержания, конечно).
Кроме списка всех возможных ответов, каждому вопросу можно сопоставить множество правильных ответов для автоматизации контроля. Внимание, правильных ответов можно не назначать вовсе v это очень удобно для превентивного анонс-тестирования. Однако, для остальных форм контроля множество верных ответов придется указать. В простейшем случае у вопроса, требующего единственный ответ из списка v только один правильный ответ (но необязательно v можно указать несколько и даже с градацией правильности).
Закрытый список ответов может быть общим для нескольких вопросов теста, а вот множество правильных ответов придется указать индивидуально для каждого из вопросов.
Упрощенно, будем считать, что правильный ответ один из некоторого закрытого списка. Мы можем разрешить программе тестирования произвольно менять последовательность ответов в списке, скрывая правильный ответ на различных местах в списке. Более того, список всех ответов может быть несколько избыточен и тогда правильный ответ будет появляться среди разных кандидатов, а не среди одних и тех же.
Такая уловка не позволит механически запоминать верные ответы (по номерам, например) при самоконтроле. И, следовательно, позволит один и тот же вопрос использовать в разных формах контроля и для разных студентов.
Важное замечание v разработчику не следует идентифицировать вопросы или ответы v это делает программа тестирования. Причем, на экране тестирующихся порядок вопросов и ответов может быть разным и нумерация будет разной, а при контроле тьютором результатов тестирования все данные будут обобщены в сопоставимой форме.
Однако, такая уловка весьма прозрачна. Разработчику придется уделить внимание группировке не только ответов, но и самих вопросов.
Строительные конструкции. Блок
Разные вопросы могут быть порождены вокруг одной общей формулировки. Логично объединить такие вопросы в блок, сосредоточив на уровне блока все общие элементы вопросов, что упростит разработку вариативных тестов.
Однако, вопросы могут быть объединены в блоки и при разных формулировках. Желательно лишь соблюдать принцип общей тематической направленности. Смысл блоков еще и в том, что внутри каждого блока вопросы могут выбираться программой в произвольной последовательности. Более того, при наличии избыточности (как и в примере с ответами выше), разные тестируемые могут увидеть разные вопросы (да еще в разной последовательности и с разным списком ответов)-
Чаще всего выбирают один из вариантов объединения вопросов в блоки:
Естественно, если в тест нужно объединить несколько блоков, программе тестирования можно разрешить произвольно переставить сами блоки (внутри которых могут быть произвольно переставлены вопросы-). Впрочем, выделение блоков гарантирует, что каждая тема, чей блок оказался в тесте, обязательно будет опрошена, какой бы высокой не оказалась избыточность конкретного теста.
Строительные конструкции. Цепочка (вариант)
При желании можно маркировать вопросы внутри блоков особым признаком включения их в целевые цепочки. Тогда программа тестирования на каждом этапе будет оперировать только с теми вопросами, которые соответствуют выбранному варианту (сквозному для всех блоков).
На этой основе можно строить логически связанные задания. Например, имеется описание конкретной ситуации с 3 вариантами исходных данных, по которым мы располагаем 4 разными вопросами (например, нужно оценить комплекс решений по каждой конкретной ситуации). Достаточно просто объединить все разновидности вопросов по конкретным ситуациям в цепочки (варианты), а сами конкретные ситуации по тематике вопросов объединить в блоки. Получится 4 блока по 3 вопроса в каждом, отмеченных вариантами, связанными с конкретной ситуацией. В первом задании программа выберет для тестируемого конкретную ситуацию (вариант) и в остальных заданиях выбор варианта окажется предопределен v все вопросы будут касаться одной и той же конкретной ситуации.
Другое применение цепочек v запрет выбора определенных заданий при некоторых формах контроля. Например, во время самоконтроля можно запретить выбирать часть вариантов, зато при итоговом контроле разрешить выбирать все. Таким образом, при итоговом контроле студент столкнется как со знакомыми вопросами (если он действительно прошел самоконтроль), так и с незнакомыми.
Строительные конструкции. Комментарий, ссылка
Комментарий возникает при неверном ответе. Естественно, разные вопросы могут апеллировать к общему комментарию. Комментарий должен не сосредоточить внимание на правильном ответе, а объяснить его, можно (и лучше) даже не называя правильного ответа.
Ссылка также возникает при неверном ответе. Содержит точное указание на раздел курса ДО, где объясняется задача. Ссылка не заменяет комментария! А комментарий не повторяет фрагмент курса. Комментарий раскрывает решение конкретной задачи, а ссылка помогает найти общий материал, раскрывающий подходы к решению. Как и в случае с комментарием, одна ссылка может служить сразу нескольким вопросам.
Если рассмотренные ранее строительные конструкции (вопросы, ответы, блоки и цепочки) проявляли себя во время тестирования в обязательном порядке, то комментарий и ссылка могут оказаться не видны тестируемому вообще. Во-первых, они возникают только как реакция на ошибку. Во-вторых, при ошибке они могут появиться только при разрешении тьютора, а оно определяется тем, какую форму контроля выполняет тест (например, при самоконтроле весьма желателен комментарий, а при вводном контроле ссылка, а при итоговом контроле нежелателен ни комментарий, ни ссылка).
Строительные конструкции. Банк вопросов, тест, ключ
Все строительные конструкции помещаются в банк данных, обеспечивающих их поиск, редакцию и включение в различные тесты. При этом каждый вопрос рассматривается как публикация и сохраняет указание автора и права доступа. Разработчик курса должен однако выделить группу вопросов без ограничений прав доступа - это вопросы для контроля остаточных знаний, они должны быть доступными всем разработчикам для создания вводных тестов. Желательно представлять банк данных контроля остаточных знаний в учебно-методическую комиссию.
Компиляция вопросов в блоки, а блоков в тест завершает создание инструмента контроля. На этом уровне (теста) может быть жестко задано количество фактически контролируемых вопросов (т.е. сколько избыточных останутся для тестируемого за кадром), включение комментариев или ссылок (и вообще управление реакцией на ответ), контроль времени, шкалу оценки, время и место тестирования (интернет-тестирование можно ограничить и географически), доступ (можно ограничить круг потенциальных участников тестирования) и другие общие характеристики теста.
Но эффективнее составить для одного теста несколько ключей. Ключ v это набор общих характеристик теста. Обучающийся выбирает, в действительности, не тест, а именно ключ. Таким образом, один и тот же тест может использоваться для разных форм контроля v с разными ключами. Также как одни и те же вопросы могут включаться в разные тесты. Исключение представляют вопросы для превентивного анонс-тестирования в силу того, что они зачастую вообще не содержат правильных ответов, зато отягощены мультимедийными формулировками и, следовательно, не могут быть использованы для, например, итогового контроля.
Ниже в практикуме представлены ссылки для знакомства с теми формами ответов, шаблоны которых определяет HTML. Однако, хотелось бы обратить внимание на вычисляемые ответы, т.к. они по своей внешней форме напоминают обычные, но таковыми не являются. Простейший механизм создания таких тестов v использование переменных. Предположим, нам необходимо проверить умение студентов применять формулу расчета цены акции в зависимости от срока выплаты дивидендов или проверить знание таблицы умножения. Нам не хотелось бы создавать множество вопросов с разными условиями, мы ограничимся одним: для X и Y укажите значение X*Y, нам придется указать границы вариативности X и Y, а вместо правильного ответа указать формулу. Ниже текста вопроса компьютер при тестировании укажет имена переменных и их значения, выбранные случайным образом.
Тест с неизвестными ответами. Апелляция. Оценки
Естественно, кроме банка данных с вопросами, ход тестирования автоматически отражается в базе данных ответов, где указывается (для тьютора, но не для студента) идентификатор вопроса, ответ и его оценка, затраченное время и оценка, скорректированная с учетом времени, сведения о доступе к программе тестирования (ip-адрес, идентификатор браузера и др. доступные характеристики протокола HTTP), а также предусматривается место для ремарки тьютора и принудительного выставления исправленной оценки (в случае апелляции).
Такая особенность позволяет создавать вопросы вообще без правильных ответов с целью их дальнейшей проверки тьютором.
Но тьютор не сможет исправить оценку автоматического тестирования, она остается неизменной v зато при подведении итогов учитывается в первую очередь именно оценка тьютора (если есть).
Это позволяет при необходимости реализовать механизм апелляций. Впрочем, данная процедура уже за рамками разработки теста. На уровне разработки, достаточно лишь знать о названной возможности.