Автор: Павел Теплов
Нет необходимости доказывать, что возможность постоянного оперативного мониторинга качества знаний на всем протяжении образовательного процесса — от начальной школы до вуза — существенно повысила бы эффективность обучения. Принято считать, что практика последних лет показала: тестовая форма оценки знаний является методически и экономически эффективным средством контроля качества обучения. В частности, в форме тестирования проводятся: оценка уровня подготовленности учащихся при аттестации школ; вступительные экзамены в вузы; платное централизованное тестирование силами Министерства образования РФ как для абитуриентов вузов, так и для школьников; Единый государственный экзамен (ЕГЭ, www.ege.ru), проводимый в порядке эксперимента в ряде регионов; олимпиады и репетиционные экзамены в некоторых столичных вузах [1].
При проведении тестирования всегда используются заранее подготовленные бланки ответов. Такой бланк содержит поля, в которых тестируемые указывают свои реквизиты (ФИО, школа, класс, номер варианта и т.д.) и куда они вносят свои ответы. Заполненные бланки передаются на обработку и проверку. По прошествии некоторого времени (эта величина зависит в первую очередь от объема обрабатываемых бланков и от применяемых методик обработки) получают результат. Регионы, в которых проводился Единый государственный экзамен, уже ощутили увеличение объемов обрабатываемой информации, поскольку экзамены, которые раньше проводились в устной форме, теперь являются письменными, а школьники из разных школ для проведения экзаменов собираются вместе, в одном помещении. Увеличение объемов обрабатываемой информации требует новых подходов к ее обработке.
Обработка большого числа бланков невозможна без применения тех или иных средств автоматизации. Многие учреждения образования разработали собственные технологические цепочки, суть которых состоит в последовательном применении различных коммерчески доступных офисных приложений. Типичная цепочка может быть описана следующими шагами. С помощью некоторого офисного приложения получают результаты распознавания бланка ответов. Эти результаты сохраняются в формате, поддерживаемом программой распознавания, и обычно содержат распознанные реквизиты учащегося и список данных им ответов. Затем результаты импортируются в базу данных; во время импорта исправляются ошибки распознавания. Этот этап — наиболее монотонный и длительный.
После загрузки результатов в базу данных с помощью другого специализированного приложения выполняется проверка ответов по ключам заданий А и В (см. врезку «Виды тестовых заданий Единого государственного экзамена»). Если в тестовых вариантах присутствуют задания типа С (ответ на такие задания дается на отдельных бланках, а проверяют их два независимых эксперта), то бланки с ответами на задания С копируются, вручную нумеруются и выдаются на проверку экспертам. Эксперты после проверки бланка в отдельных журналах записывают свои оценки, которые затем вручную переносятся в базу данных. И только после этого с помощью какого-нибудь приложения обработки текстов выполняется печать результатов тестирования с указанием полученных оценок.
Такая процедура подходит для обработки небольших объемов информации, при которых для автоматизации ручных операций целесообразно приспособить существующие офисные пакеты. При «проектировании» подобных решений не учитывается возможность их использования для обработки большого объема информации. При попытке использовать их для обработки действительно большого числа бланков возникает ряд естественных технологических проблем.
Первая проблема состоит в том, что отсутствие автоматической процедуры учета бланков ответов от их «рождения» до сдачи «в архив» приводит к их физической утрате; при этом не существует никакого способа идентифицировать как причину, так и виновного. Вторая проблема заключается в том, что коммерческие программы распознавания не учитывают некоторых важных особенностей, характерных для обработки бланков ответов. Дело в том, что эти программы изначально проектировались как универсальные, рассчитанные на максимально возможный спектр применений. Даже такое естественное требование, как вывод на экран только значимой информации из бланка ответов (это позволяет исключить злоупотребления и снизить утомляемость оператора) не сочетается с принципом предоставления контекста распознаваемого изображения (т.е. изображения всего бланка ответов), реализуемым в таких системах для того, чтобы оператору было проще «угадать» нераспознанное слово. Третья, основная проблема — возможность злоупотреблений и подтасовки результатов. Поскольку бланки ответов изначально содержат информацию о школьнике, а обработка изобилует ручными операциями, то ничто не может остановить нечистых на руку сотрудников от коррекции ответов. Известны попытки решения последней проблемы за счет исключения из бланков персональной информации путем вписывания реквизитов школьника на отдельный листок. Но, к сожалению, в этом случае не была решена задача учета бланков, и не были исключены ручные операции, что привело к рассинхронизации данных о школьниках с результатами их тестирования, и, как следствие, к неточности и некорректности оценок [2]. Известны и другие характерные проблемы.
Все это говорит об актуальности специализированной технологии тестового контроля в области образования. Для создания эффективного инструментария необходимо использовать открытые стандарты, применяемые при построении промышленных информационных систем. Следует полностью автоматизировать процесс тестирования, начиная от подготовки к тестированию и заканчивая созданием архива результатов с электронными копиями оригинальных бланков ответов. Технология, применяемая в системе «Экзамен» компании «Крок», предназначена для тестового мониторинга качества обучения и ориентирована как на текущий контроль уровня подготовки в отдельно взятом учебном заведении, так и на регулярное массовое тестирование в соответствии с потребностями региональных (муниципальных) органов управления образованием.
Автоматизированная информационная система «Экзамен» декомпозирована на несколько уровней. На нижнем уровне расположен пункт проведения тестирования: школа, выделенный пункт тестирования (базовая школа), вуз или другое учебное учреждение в зависимости от конкретной схемы развертывания системы. Здесь решаются следующие задачи:
Все операции автоматизированы; обеспечивается двойной контроль, исключающий влияние «человеческого фактора».
На втором (региональном/муниципальном) уровне осуществляется стратегическое планирование и управление тестированием. Здесь выполняется создание сети тестирования и управление входящими в нее пунктами проведения тестирования. Отсюда вся управляющая информация, например, информация о планируемых тестированиях, в автоматическом режиме доводится до подчиненных уровней; сюда же стекаются все отчеты о выполненной работе и результаты первичной обработки бланков ответов. Если в схеме развертывания предусмотрено прямое подчинение данного уровня региональному органу управления образования, то этот региональный орган, помимо централизации управления процессом тестового мониторинга в регионе, получает доступ к постоянно актуализируемой базе данных школьников региона.
На следующем уровне обеспечивается проверка заданий. Проверка заданий типа А и В выполняется в автоматическом режиме. Если система не смогла найти вариант ответа В, предложенный учеником, в списке ключей (или антиключей), то такие ответы дополнительно проверяются экспертами. На экран выводится результат распознавания ответа типа В и картинка с изображением поля ответа с бланка-оригинала. Эксперт принимает решение о правильности ответа, ничего не зная ни о школьнике, ни о бланке.
В тестированиях, проводимых в ходе эксперимента по ЕГЭ, наряду с бланком ответов А и В выпускникам предлагается бланк С, который должен быть проверен двумя независимыми экспертами. В автоматическом режиме для каждого эксперта распечатывается собственная копия бланка, а в адресной части такого бланка содержится только имя эксперта, но нет никакой информации об ученике. Система автоматически обеспечивает выдачу каждого бланка двум разным экспертам. При этом, если ответ выпускником дан более чем на одном листе (такие ситуации не редкость в случае проведения экзамена по гуманитарным предметам), то эксперту предоставляются все листы. Эксперт оценивает ответы и проставляет результат в соответствующих полях. Затем бланк вновь сканируется, и дальнейшая обработка результатов продолжается в автоматическом режиме.
Выделение процесса проверки заданий в отдельный функциональный уровень обеспечивает необходимую гибкость системы, позволяющую определять различные схемы проверки. В частности, это позволяет организовать такую схему, при которой ответы учеников одного региона проверяются экспертами, физически находящимися в другом регионе, что в свою очередь, повышает объективность результатов.
Ядро автоматизированной информационной системы «Экзамен» реализовано в рамках трехзвенной архитектуры: сервер хранения (Microsoft SQL Server); сервер приложений (Internet Information Server); тонкий клиент. В минимальной конфигурации система, состоящая из ПК, принтера, сканера и комплекта программного обеспечения, может быть установлена на одну рабочую станцию. При использовании такой конфигурации с учетом возможностей имеющейся информационной инфрастуктуры полный цикл от начала тестирования до получения результатов в масштабах Москвы должен составить не более 3-4 часов.
Базовые элементы технологии были апробированы в ходе аттестационного тестирования московских школ в декабре 2001 года. Впоследствии возможности технологии, адаптированной для проведения ЕГЭ, были продемонстрированы представителям Министерств образования Чувашии и Марий Эл. С октября 2002 года система передана в столице в эксплуатацию для проведения апробации тестовых заданий, которые будут использоваться на ЕГЭ 2003 года.
Благодаря описанной технологии в распоряжение органов управления образованием любого уровня (школа, округ, город, область, регион) предоставляется программно-аппаратный комплекс, который позволит им самостоятельно в автоматизированном режиме подготовить исходные данные для проведения тестирования и обработать его результаты. Таким образом, органы управления образованием получают возможность планировать и проводить тестовый мониторинг в течение всего учебного года с любой требуемой периодичностью.
Применяемый комплекс технических средств может использоваться также и в повседневной деятельности образовательного учреждения для проведения текущего тестового контроля, а также, при необходимости, в качестве вспомогательного оборудования (копировальный аппарат, факс и терминал для выхода в Internet).