Введение
Контроль и оценка знаний занимают в учебном процессе очень важное место. Они выполняют одновременно функцию проверки усвоения и практического применения студентами и учениками полученных во время учебного процесса знаний, а также функцию стимулирования, морального поощрения за счет участия в своеобразном интеллектуальном соревновании. Существуют два типа систем контроля знаний:
1. ориентированные на прохождение студентами тестов в письменной форме с дальнейшей проверкой вручную преподавателем (как вариант - сканирование результатов тестирования с целью их дальнейшей автоматизированной проверки);
2. системы компьютерного тестирования с соответствующим наполнением тестовыми материалами.
Системы первого типа сформировались вместе с другими элементами системы образования исторически и на сегодняшний день не выдерживают никакой критики, так как имеют множество недостатков: невозможность автоматической обработки результатов тестирования, большое количество рутинной работы, которая ложится на преподавателя при такой организации тестирования, очень малая скорость обработки результатов и главный недостаток - необъективность оценок тестирования, их условный приблизительный характер. В сегодняшних условиях стремительного роста информационных технологий неавтоматизированные системы тестирования знаний (которые, кстати, остаются наиболее распространенными) выглядят архаично. Поэтому очень актуальной задачей является автоматизация процесса контроля знаний, разработка компьютерных систем тестирования. Преимущества автоматизированных систем тестирования очевидны, они позволяют:
- освободить преподавателя от рутинной работы при проведении экзаменов и промежуточной оценке знаний в традиционном учебном процессе, а при обучении с использованием дистанционных технологий становятся основным средством контроля
- автоматизировать обработку результатов, облегчают и повышают качество анализа прохождения учебного процесса по результатам тестирования
- обеспечивают объективность контроля знаний
- использовать в тестах мультимедийные возможности компьютеров
- повышают оперативность тестирования
- предоставляют возможность централизованного анализа качества подготовки большого числа тестирующихся по широкому кругу вопросов (это позволяет определить разделы, которые представляют наибольшую сложность в изучении, и корректировать процесс обучения в зависимости от результатов тестированию)
- уменьшают затраты на организацию и проведение тестирования
Возможности Интернет, которые позволяют найти и предоставить любую необходимую информацию не выходя из дома или университетской аудитории, делают ее одним из наиболее эффективных инструментов обучения. Поэтому создание моделей систем тестирования на базе инфраструктуры Интернет является перспективной и актуальной научной задачей. К тому же современная международная интеграция учебного процесса, территориальная распределенность учебных заведений, разнородность аппаратного и программного обеспечения и одновременное тотальное распространение Интернет делают любые локальные модели реализации систем автоматического тестирования нежизнеспособными.
На сегодняшний день существует множество систем тестирования на базе инфраструктуры Интернет, которые в той или иной мере удовлетворяют общим требованиям к WEB-сервисам. Но ни одна из этих систем не может претендовать на универсальность. Эти системы либо ориентированны на решение локальных задач относительно контроля знаний учеников конкретного учебного заведения, организации, или предназначены лишь для “внешнего” использования (во время организации межвузовских, или межклубных интеллектуальных соревнований). Научная новизна работы состоит в разработке такой модели организации WEB-сервиса тестирования знаний на базе инфраструктуры Интернет, которая обеспечивала бы возможность использования ее как для служебного тестирования в рамках конкретной организации (университета, предприятия), так и для проведения открытых межвузовских студенческих викторин.
Функции и структура WEB-сервисов тестирования знанийна базе инфраструктуры Internet.
Прежде всего система тестирования должна исправно и эффективно работать по назначению, выполнять возложенные на нее функции. Поэтому перед формированием модели WEB-сервиса тестирования надо четко очертить набор функций и требований к нему. Ниже приведен перечень важнейших функций, характеристик и требований к системам тестирования:
- важнейшая функция - обеспечение эффективного тестирования знаний
- универсальность с точки зрения использования для внутреннего и открытого тестирования
- гибкая, точная и способная к адаптации оценка результатов тестирования
- интеллектуальный анализ тестов с целью оценки качества, пригодности отдельных вопросов и выявление некорректно сформированных, или просто неправильных вопросов
- отсутствие твердой привязки к какого-нибудь предмету, области знаний
- легкость создания и модификации тестов
- сбор, сохранение и представление в удобной форме разнообразной статистической информации относительно процесса тестирования
- возможность одновременного тестирования неограниченного количества пользователей
- отсутствие жесткой привязки к конкретному аппаратному и программному обеспечению
- высокая безопасность, защищенность и стабильность
- легкая наращиваемость, масштабируемость системы
- неограниченное количество тестов, тем, вопросов и вариантов ответов на них
- удобный и эффективный импорт и экспорт тестов
- контроль времени тестирования и сохранение информации относительно прерванного сеанса тестирования
- поддержка безопасного и универсального механизма управления пользователями с распределением прав доступа
- возможность использования в тестах графического и звукового материала, рисунков, анимации, видео роликов
Возможность использования для внутреннего и открытого тестирования, которая является уникальной чертой, отсутствующей у всех аналогичных систем, достигается путем построения системы по гибкой архитектуре, которая предусматривает использование в обеих режимах, и путем распределения пользователей системы по ролям, поддержкой разной системы оценок. Например, для пользователя “свой студент” надо вести систему оценок, которая отвечала бы учебному плану университета, а для “чужого”, внешнего пользователя надо вести другую, накопительную систему оценки успешности тестирования. Этот вопрос тесно связан с функцией поддержки безопасного и универсального механизма управления пользователями с распределением прав доступа. Система тестирования должна иметь пользователей разного типа со своими правами, которые обеспечивают доступ к разным функциям и модулям системы. Можно выделить пользователей следующих типов: “свой” студент, студент (не принадлежит к заведению, на котором базируется система), преподаватель, автор тестов, администратор. Пользователи расположены в порядке увеличения прав доступа в системе.
Для обеспечения гибкой, точной и способной к адаптации оценки результатов тестирования и интеллектуального анализа тестов с целью оценки качества, пригодности отдельных вопросов и выявление некорректно сформированных, или просто неправильных вопросов система должна собирать статистическую информацию относительно ответов на вопросы тестов и периодически выполнять анализ собранной информации. В литературе, которая касается теории тестирования знаний (и в описаниях разнообразных систем тестирования знаний) существует много мнений относительно вопроса назначения количества баллов за правильный ответ и относительно отбора и фильтрования ответов для теста. Простейшим решением является присвоение всем вопросам одинаковой цены в 1 балл. Но такой алгоритм является очень неэффективным, так как понятно, что все вопросы имеют разную степень сложности и невозможно подобрать для теста все вопросы одинакового уровня. Введение возможности присвоения разного количества баллов за ответы на вопрос разного уровня сложности требует объективной оценки сложности вопроса. Для этого нужно или провести качественную экспертную оценку отдельных вопросов теста, или возложить задачу балансирования и оценки сложности своих вопросов на авторов тестов. Авторы тестов не всегда могут объективно оценить сложность своих вопросов, поэтому положиться лишь на их субъективную мысль нельзя. Процесс экспертной оценки и отбора вопросов для теста в первом приближении выглядит следующим образом:
1. авторы тестов формируют базу вопросов, для тестирования собираются несколько пробных групп разного уровня квалификации
2. все группы проходят тестирование и на базе его результатов каждому вопросу присваивается индекс сложности, который равняется отношению количества правильных ответов к общему количеству ответов
3. вопросы, которые имеют слишком низкий (очень сложные, или некорректно сформулированные) или очень большой (слишком легкие) индекс сложности изымаются из теста.
Такая процедура является очень сложной, дорогой и длинной. Для решения проблемы автоматизации фильтрования и оценки сложности вопросов теста в системе тестирования нужно сохранять статистическую информацию относительно ответов на каждый вопрос и на ее базе формировать для каждого вопроса индекс сложности. Вопросы с высоким индексом сложности (легкие) надо оценивать небольшим количеством баллов, но в случае неправильного ответа на такой вопрос нужно снимать большее количество баллов (грубая ошибка, незнание основ предмета - легчайших вопросов). Вопросы с низким индексом сложности (сложные) нужно оценивать большим количеством баллов, а в случае неправильного ответа наоборот снимать небольшое количество баллов (нельзя жестко штрафовать незнание тончайших нюансов предмета). Вопросы с очень низким индексом сложности нужно изымать из теста для экспертной проверки администратором и визирования на корректность, или предоставлять возможность пропуска вопроса, так как у таких вопросов большая вероятность ошибки автора теста. Математическому обоснованию оценки сложности вопросов и фильтрованию некорректных вопросов на базе статистической информации относительно ответов на вопросы посвящен отдельный раздел работы.
Функциональные требования к WEB-сервису тестирования на базе инфраструктуры Интернет настолько широкие и разнотипные, что нет смысла закладывать их все в один модуль. Наиболее рациональной является многомодульное построение, в составе которого можно выделить следующие компоненты:
1. Подсистема тестирования.
2. Подсистема создания, подготовки и редактирования тестов.
3. Подсистема статистических данных относительно успешности прохождения испытаний.
4. Подсистема управления пользователями.
5. База данных вопросов и связанной с ними статистической информации.
6. База данных пользователей.
Инструментальные средства и варианты реализации подсистем WEB-сервиса тестирования знаний.
В основе большинства существующих WEB-сервисов как клиент-серверных систем лежит язык HTML. Базирующиеся на этом языке системы потенциально имеют следующие преимущества:
- отсутствие зависимости от операционной системы.
- отсутствие необходимости в установке и настраивании клиентской части.
- отсутствие проблем с передачей данных в сети Интернет (конфликты с системами защиты типа FireWall исключены, так как используются стандартные протоколы и порты доступа).
Но использование HTML в “чистом” виде без дополнительных инструментов имеет следующие недостатки:
- статичность, отсутствие динамики при работе с пользователем
- язык HTML ориентирован на представление данных, а не на их создание, что очень усложняет редактирование уже созданных данных. Это является проблемой многих систем, основанных на WEB - интерфейсе без применения дополнительных инструментов
- очень ограниченные возможности относительно использования анимации, звука, видео, разнообразных сложных объектов (типа формула и др.)
Поэтому для создания полноценного WEB-сервиса тестирования знаний на базе инфраструктуры Интернет необходимо кроме языка HTML использовать дополнительные инструментальные средства. Среди таких средств необходимо назвать прежде всего Java Script, Java, Macromedia Flash для повышения уровня мультимедийности.
Наличие в системе базы данных вопросов и базы данных пользователей диктует необходимость выбора средств создания и работы с этими базами. Для этого существуют следующие альтернативные варианты:
- хранение в двумерных файлах
- использование специализированных реляционных баз данных
Использование данных в файлах является очень простым, но малоэффективным способом из-за наличие большого количества проблем, связанных с их использованием: сложность работы с файлами большого размера, сложность поиска (особенно по шаблону), проблемы конкурирующего доступа, сложность записи данных в середину файла, отсутствие средств обеспечения разных уровней доступа к данным. Все эти проблемы решаются при использовании систем управления реляционными базами данных (СУРБД). На сегодняшний день существует несколько конкурирующих СУРБД:
- MySQL
- PostgreSQL
- Microsoft SQL Server
- Oracle
- ASE
Все эти продукты используют язык SQL (Structured Query Language), который используется по всему миру как стандартный язык запросов к базам данных. MySQL среди этих продуктов обладает многими преимуществами. Это прежде всего производительность. Согласно тестам производителя, которые представлены на рисунке 1.1, MySQL работает намного быстрее конкурирующих продуктов. Также среди преимуществ MySQL над конкурентами можно назвать низкую стоимость (пакет распространяется бесплатно, при необходимости можно за небольшую сумму приобрести лицензию), транспортабельность (MySQL можно использовать в разных UNIX-подобных системах а также в среде Microsoft Windows), а также возможность доступа к исходному коду продукта с целью выгрузки и внесения необходимых изменений. Поэтому при создании подсистем баз данных WEB-сервисов тестирования знаний наиболее целесообразно использовать MySQL.
Подсистемы тестирования, создания тестов, статистических данных, управления пользователями должны быть доступны через WEB-интерфейс и одновременно обеспечивать высокий уровень интерактивности. Это создает предпосылки для использования серверного языка создания сценариев. Наиболее распространенные языки этого типа: PHP, Microsoft Active Server Pages, Java Server Pages и Allaire Cold Fusion. PHP имеет множество преимуществ по сравнению с этими продуктами, среди которых: высокая производительность по сравнению с конкурентами (по данным компании Zend Technologies http://www.zend.com), возможность интеграции с базами данных, в том числе с MySQL, множество встроенных библиотек, бесплатность, транспортабельность, возможность доступа к исходному коду продукта с целью выгрузки и внесения необходимых изменений. Поэтому PHP является наиболее рациональным инструментом для построения WEB-сервисов тестирование знаний на базе инфраструктуры Интернет.
Литература
1. Ю.М. Нейман, В.А. Хлебников. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000
2. В.И. Нардюжев, И.В. Нардюжев. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. М.: Прометей, 2000
3. Rasch G. Probabilistic Models for Some Intelligence and Attainment Test, 1960, Copenhagen, Denmark: Danish Institute for Educational Research
4. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей, 1995, М., с.31
5. Handbook of Modern Item Response Theory. Editors Win J.van der Linden, R.K.Hambleton, 1997, Springer-Verlag, New York, p.510
6. Castle R.A. The Relative Efficiency of Two-Stage Testing Versus Traditional Multiple Choice Testing Using Item Response Theory in Licensure. – Lincoln, NE: University of Nebraska, 1997. – 15p.
7. Bennet R.E. Reinventing Assessment: Speculations on the Future of Large-Scale Educational Testing. – Princeton, NJ: Educational Testing Service, 1997. – 13p