Центром тестирования в МГУ “Гуманитарные технологии” в течение последнего времени создана и развивается Интернет-ориентированная система компьютерного тестирования “Телетестинг” (авторское свидетельство №10267 в агентстве “Роспатент”). В 1997-1999 гг. с использованием этой системы были проведены уже три всероссийские компьютерные олимпиады с одноименным названием, в которых приняли в общей сложности участие почти 16000 человек из 70 различных городов РФ и ближнего зарубежья.
В 1999 была впервые внедрена автоматическая обработка файлов-протоколов в режиме FTP-связи: на FTP-сервере для каждого регионального центра создавалась отдельная директория с личным паролем доступа, и после появления в этой директории файла с исходными протоколами (ответами на пункты теста) специализированная программа на сервере немедленно обрабатывала все присланные протоколы и создавала в этой же директорию файл-таблицу с результатами, которую пользователь мог немедленно буксировать на свой компьютер - в ходе одного двухстороннего сеанса подключения в режиме FTP. В 1999 году этим сервисом успешно воспользовались уже 42 региональных центра, что объясняется, очевидно, организационными и психологическими удобствами такой формы обработки результатов. Важно подчеркнуть, что при таком способе организации обработки тестовых данных региональные организаторы оказываются фактически первыми, кто узнает о том, каковы тестовые данные, т.е. они понимают, что организаторы олимпиады в Москве не успевают также быстро “заглянуть” в файл с результатами, как и они. Таким образом, благодаря современным технологиям мы получаем новый важный источник повышения достоверности тестирования и доверия к объективности подобного способа оценки знаний.
Новым инструментом повышения не только достоверности, но прежде всего точности компьютерного тестирования знаний стал впервые внедренный в ходе “Телетестинг-99” CAT-подход (принятая на западе абберивиатура для “Computer Adaptive Testing”). Переход к CAT в системе “Телетестинг” стал возможным только на основе накопления (за три года) значительного банка заданий (свыше 6000 по основным школьным предметам) с эмпирическим измеренным уровнем трудности (для нашего алгоритма уровень трудности определялся с точностью до порядковой шкалы с тремя градациями).
Ниже дается краткое описание принципов того адаптивного алгоритма, который был реализован в ходе Олимпиады “Телетестинг-99”:
1. Адаптивность выражается в изменении относительных пропорций в предъявлении легких, средних и трудных заданий в зависимости от числа правильных ответов, зарегистрированного в ходе сеанса тестирования.
2. Адаптивность сочетается с принципом тематической репрезентативности: равномерной представленности различных тематических разделов учебной программы в учебном тесте.
3. Адаптивность сочетается с принципом “лестничного алгоритма” - предъявления заданий с систематическим нарастанием уровня трудности. Вначале предъявляется легкие задания, затем - средние и, если испытуемый успешен на предыдущих уровнях, - трудные.
4. Подготовка варианта. Для каждого испытуемого перед тестированием программа создает уникальный вариант, в который первоначально включаются некоторое количество <лишних> заданий (50% от количества, которое планируется реально предъявить) - всего по 50% легких, трудный и заданий средней сложности.
5. Начальный цикл. Вначале (на каждом уровне) программа предъявляет всем испытуемый один и тот же начальный цикл заданий, независимо от качества их ответов, т.е. адаптивность в ходе начального цикла отключена. Это К легких заданий - по числу тематических разделов. Из каждого тематического раздела программа подбирает задания случайным образом.
6. Начиная с заданий К+1 после каждого очередного ответа, программа тестирования уже включает адаптивность и учитывает правильность ответов - для того, чтобы определить обоснованность т.н. “досрочного перевода” испытуемого на более высокий уровень. На каждом шаге оценивается значимость различий между числом правильных (А) и неправильных (В) ответов по формуле, имеющей приближенное распределение Хи-квадрат с одной степенью свободы:
c = sgn(A-В)*(A-B)*(A-B)/(A+B).
При значениях c>4 (что приближенно соответствуют пятипроцентному уровню ошибки в отвержении гипотезы равновероятной встречаемости правильных ответов и ошибок) осуществляется досрочный (до исчерпания заданий данного уровня) перевод испытуемого на более высокий уровень трудности.
7. Подсчет очков. За решение задач на более высоком уровне дается больше очков. Принятые размеры начисления очков отражают пропорции в вероятности случайного правильного ответа при принятом нами уровне трудности заданий (вероятности случайного правильного ответа).
8. Таким образом, мы считаем, что разработали и применили один из самых осторожных (мягких) алгоритмов адаптивности, учитывающий лишь только возможность досрочного перехода на более высокий уровень c нижнего и среднего уровней трудности. Алгоритм дает высокую корреляцию с обычным неадаптивным методом формирования случайных вариантов, но повышает точность оценивания для крайних испытуемых (слабо и хорошо подготовленных), так как обе крайние категории получают больше заданий релевантного им уровня трудности.
Еще один значимый эффект - повышение достоверности в результате CAT, так как в этом случае исключается быстро изучение банка заданий путем простого “прощелкивания” вариантов на компьютере (таким образом, можно узнать лишь “легкие” задания, а трудные и часть средних оказываются неизученными).
Любая научная или практическая лаборатория компьютерного обучения может апробировать наш подход в действии, если организуют у себя пункт проведения Олимпиады “Телетестинг”. Заявки принимаются по адресу электронной почты - tt2000@ht.aha.ru. Полная информация и демоверсия доступна в Интернет на сайте - http://www.ito.su/1999/II/6/www.ht.ru.