Тема магистерской диссертации: "Разработка и обеспечение эффективного функционирования сетевой системы тестирования знаний"
:: Актуальность, цели и задачи работы ::
В образовательном процессе очень большую роль играют контроль и оценка знаний. Они одновременно выполняют функции усвоения и практического применения знаний, которые были получены студентами и учениками в ходе учебного процесса. Также немаловажным является стимулирование, моральное поощрение за участие в таких интеллектуальных соревнованиях. На данный момент можно выделить 2 типа систем контроля знаний:
- ориентированные на прохождение тестов в письменной форме с последующей проверкой преподавателем;
- системы компьютерного тестирования с правильно подобранными тестами;
Системы первого типа существуют уже длительное время и имеют ряд недостатков: невозможность автоматической обработки результатов тестирования, большое количество рутинной работы, которая ложится на плечи организаторов тестирования, небольшая скорость обработки результатов, а также необъективность оценки тестирования. Все это приводит к тому, что по большому счету, системы первого типа применяются все реже и реже. Поэтому очень актуальной задачей есть автоматизация процесса контроля знаний, разработка компьютерных систем тестирования.
Среди преимуществ компьютерных систем тестирования можно выделить:
- автоматизация обработки результатов;
- освобождение преподавателя от проведения типичных экзаменов и модулей;
- обеспечение объективности контроля знаний;
- повышение оперативности тестирования;
- возможность централизованного анализа качества подготовки тестирующихся по большому кругу различных вопросов;
- уменьшение затрат на организацию и проведение тестирования;
Возможности Internet, которые позволяют найти практически любую информацию, не выходя из дома или корпуса университета, являются достаточно эффективными инструментами обучения. Поэтому создание моделей системы тестирования на базе инфраструктуры Internet является крайней перспективной и актуальной научной задачей. Кроме того, территориальная рассосредоточенность высших учебных заведений, международная интеграция учебного процесса, стремительное развитие Internet приводят к тому что, любые локальные модели системы тестирования являются неэффективными и нежизнеспособными.
Предметом исследования является модель системы автоматизированного тестирования знаний на базе Internet, проблемы, связанные с разработкой и внедрение, а также оптимизация работы программной реализации системы.
Целью исследования является создание современной UML модели Web-сервиса тестирования знаний на основе инфраструктуры Internet, программная реализация по созданной модели системы тестирования знаний для использования в ДонНТУ, проведение комплексных исследований по анализу эффективности функционирования созданной системы и оптимизация параметров системы тестирования знаний.
Перед формированием модели WEB-сервиса тестирования надо четко очертить набор функций и требований к нему. Перечислим основные функции, требования, характеристики системы тестирования:
- основная функция - обеспечение эффективного тестирования знаний;
- точная и способная к адаптации оценка результатов тестирования;
- возможность использования как для внутреннего так и открытого тестирования;
- анализ тестов с целью оценки качества, пригодности отдельных вопросов и выявление некорректно сформированных, или просто неправильных вопросов, что осуществляется путем отправки специальных сообщений администратору системы от пользователей;
- удобство и легкость создания и модификации тестов;
- отсутствие твердой привязки к какого-нибудь предмету, области знаний;
- сбор, сохранение и представление в удобной форме разнообразной статистической информации относительно процесса тестирования;
- возможность одновременного тестирования неограниченного количества пользователей
- отсутствие жесткой привязки к конкретному аппаратному и программному обеспечению;
- легкая наращиваемость, масштабируемость системы;
- высокая безопасность, защищенность и стабильность;
- неограниченное количество тестов, тем, вопросов и вариантов ответов на них;
- удобный и эффективный импорт и экспорт тестов;
- контроль времени тестирования и сохранение информации относительно прерванного сеанса тестирования;
- поддержка безопасного и универсального механизма управления пользователями с распределением прав доступа;
- поддержка режима модульного контроля, в процессе которого существует ряд вопросов и время, в течении которого на них необходимо ответить;
Также стоит отметить многокомпонентную систему портала тестирования знаний. А именно стоит выделить такие ее составные части: подсистема тестирования; подсистема создания, подготовки и редактирования тестов; подсистема статистических данных, относительно успешности прохождения испытаний; подсистема управления пользователями; база данных вопросов и связанной с ними статистической информации; база данных пользователей.
:: Обзор существующих решений ::
Создание систем тестирования знаний не является инновационной идеей, так как раннее успешно разрабатывались и создавались системы такого типа, как в Украине так и за ее пределами. В нашем университете, уже проводились исследования по темам, смежным с моей, в частности, Суходольский Д.Н. «Разработка web-серверов научно-учебного назначения» и Чангли А.Н «Структура и организация WEB-сервисов тестирования знаний на базе инфраструктуры Интернет» рассматривали аспекты тестирования знаний, оба под руководством Аноприенко Александра Яковлевича. Их результаты представляли собой больше теоретический интерес, т.к. в конце концов, не были внедрены на практике, хотя готовые программные продукты были успешно созданы. Это объясняется некоторыми моментами внедрения таких программных систем, когда необходимо идеально протестировать ПО, создать некоторое минимальное количество вопросов по темам и эффективно внедрить данную систему.
На сегодняшний день существует достаточное количество систем тестирования знаний. Исследования показывают, что большая часть из них ориентирована на прохождение тестирования в Internet через Web-интерфейс. Эти системы отличаются между собой сферой применения, технологиями реализации, уровнем достижимости и открытости. Лучшими разработками в этой сфере являются Brainbench, Neyron. Также известными система являлись OpenTest и Ментор, но на данный момент по их адресам размещены другие ресурсы и возможно прекращена поддержка данных веб-проектов.
Рассмотрим систему тестирования Brainbench (www.brainbench.com), которая является мировым лидером on-line сертификации. В данной системе существуют как платные так и бесплатные тесты по различным дисциплинам: информационные технологии, языковые знания и др.. По данным Brainbench их услугами уже воспользовались около 6 миллионов человек. При создании этой системы были использованы современные технологии и языки: HTML, XML, SQL, PHP, Java, JavaScript. В целом, Brainbench является успешной и эффективной системой тестирования знаний. Но все же присутствуют некоторые недостатки: при прохождении тестов: невозможность точно определить личность тестирующего, что позволяет профессионалу проходить тесты для других пользователей. Также можно использовать поисковые механизмы Internet для ответа на вопросы. Но все же эти недостатки не являются существенными, т.к. большинство систем обладают такими же свойствами и это является особенностью тестирования знаний по сети.
Система тестирования Neyron (www.neyron.ru) представляет собой яркий пример открытой системы тестирования знаний, которая используется только для публичных соревнований и не содержит инструменты для адекватного контроля знаний в контексте учебного процесса. Система была разработана преподавателями и студентами МГУ. Каждый вопрос характеризуется предметом, к которому он принадлежит, количеством баллов за ответ и уровнем сложности. Чем выше сложность вопроса, тем больше баллов можно получить при правильном ответе на него. Показателем успешности пользователя является общая сумма баллов, набранная им во время тестирования. Данная система не отвечает большинству требований современной системы тестирования знаний. Основными недостатками системы являются: практически полная неприспособленность для использования в учебном процессе; условная и неэффективная система начисления баллов за правильный ответ; наличие тотализатора для ставок на вопросы, что несовместимо с учебным процессом; неэффективная система пополнения базы вопросов, когда любой участник может добавить свой вопрос, что ведет к возникновению большого количества неправильных вопросов.
Стоит отметить систему тестирования консалтинговой компании Гарант (moodle.tests.kz), которая представляет собой тестирование максимально приближенное к тестам Национального Центра Государственных Стандартов Образования и Тестирования Казахстана. Основная задача - информационная поддержка абитуриентов во время подготовки к поступлению в казахстанские вузы и сдаче Единого Национального Тестирования (ЕНТ). Специально для абитуриентов была разработана программа дистанционного обучения и тестирования. Данная система обладает рядом преимуществ:
- тесты максимально приближенны к тестам Национального Центра Государственных Стандартов Образования и Тестирования;
- программа сразу отмечает неправильные ответы и указывает ответы;
- ответы на любые тестовые задания Вы можно найти в справочном материале;
- возможность получить консультации у преподавателей в он-лайн режиме;
- приемлемая стоимость курса;
- автоматически происходит подбор новых тестовых вопросов и перемешивание ответов. Поэтому получается не зрительное запоминание вопроса и ответа, а запоминание сути вопроса и правильного ответа.
Система дистанционного тестирования Хабаровского Института Инфокоммуникаций (www.sibguti.kht.ru/cgi-bin/goto.pl?dtest) представляет собой проект созданный в рамках ВУЗа для проверки знаний студентов. Можно выделить такие характерные черты тестирования: компьютерный тест состоит в среднем из 10 вопросов; для ответа на каждый вопрос отводится одна минута; в каждом задании нужно выбрать один верный ответ; ответы выбираются с помощью мыши, щелчком левой кнопки на расположенном внизу рабочей области экрана кружке, соответствующему выбранному вами ответу; ответ считается выбранным, если он помеченной черной точкой; задания выполняются по порядку, вернуться к пропущенным заданиям нельзя; на каждый тест дается две попытки; тест считается засчитанным, если процент правильных ответов не менее 80%; если по каким либо причинам вы не закончили до конца тест, вы можете 1 раз продолжить прерванный тест с того места, на котором тест был прерван. Данный проект имеет, на мой взгляд, такие недостатки: невозможность множественного ответа на вопрос; ограниченность количества вопросов в тесте; неверное распределение времени на каждый вопрос, а не на весь тест в целом.
Центр дистанционного теcтирования МГУ им. М.В. Ломоносова (de.msu.ru/course/display?course=235). Цель данного тестирования - предоставить российским школьникам и абитуриентам возможность получить репетиционный опыт прохождения вступительного экзамена, ознакомиться с компьютерной технологией тестирования и подготовиться психологически к процедуре тестирования, аналогичной вступительным испытаниям на факультеты МГУ. Данный портал МГУ предлагает пройти пробное ознакомительное тестирование и объективно оценить свои знания. Тесты основаны на программах вступительных испытаний в Московский государственный университет. Комплекс ознакомительных тестов включает как варианты экзаменов предыдущих лет по данной специальности, так и оригинальные задания, составленные специально для пробного тестирования преподавателями МГУ им. М.В. Ломоносова. Тестирование проводится бесплатно. С результатами тестирования можно ознакомиться непосредственно после прохождения теста. Автоматическая обработка результатов теста предусматривает получение балла (очков) за выполненные задания, представление участнику "бланка" заданий в он-лайновом режиме с указанием правильных и неправильных ответов, а также статистики по количеству правильно и неправильно выполненных заданий в тесте. Не по всем дисциплинам на сайте можно пройти тесты. Также прохождение тестов без регистрации пользователя, является несколько нежелательной моделью тестирования знаний.
:: Выводы и перспективы исследований ::
Перспективой данного исследования является создание модели системы тестирования знаний, написание ее программной реализации и обеспечение эффективного функционирования этой системы. Такая система при высоком уровне реализации вполне способна заменить экзамены и модули по некоторым (или всем) дисциплинам нашего университета. Это возможно только при наличии большой базы правильных и оптимальных вопросов, соблюдения принципов индивидуальности при тестировании в аудиториях университета.
Для создания модели сетевой системы тестирования знаний будет использоваться модель Model2, которая четко разделяет 3 различных уровня взаимодействия: уровень представления, уровень бизнес логики, уровень данных. В качестве базового языка программирования будет использоваться язык Java, как стандарт де-факто, построения современных веб-приложений. Также будут использованы современные вспомогательные средства и библиотеки для работы с данными и управлением запросами пользователей. Внедрение «богатого клиента» (rich client) с помощью технологии AJAX позволит уменьшить сетевой трафик, а значит некоторым образом оптимизировать систему тестирования.
Итак, принимая во внимание все вышесказанное, попытаемся представить будущую модель сетевой системы тестирования знаний. В целом, система тестирования представляет собой веб-приложение, которое будет выполняться на сервере приложений. Уровень данных будет представлен легкой и эффективной базой данных MySQL, которая полностью соответствует критериям системы тестирования, и способна эффективно управлять большим количество записей. Для взаимодействия с базой данных будет использоваться объектно/реляционное представление (ORM) на основе простых объектов Java с использованием Hibernate. Это позволит упростить доступ к информации в базе данных, и вывести проектирование и разработку приложения на качественно-новый уровень. Управление запросами от пользователей будет организовано в виде нескольких основных сервлетов, которые будут представлять собой Front Controller приложения. Для упрощения создания данного уровня (бизнес-логика), возможно, будут использованы некоторые основные фреймверки веб-программирования. Также стоить отметить применение шаблона Intercepting Filter, в виде ряда фильтров, которые позволят обеспечить большую эффективность и надежность приложения. В данном случае, речь идет о - фильтре безопасности, кэширования и сжатия. На данный момент уже реализован фильтр сжатия, который демонстрирует реальную оптимизацию передачу данных. Если учесть возможности AJAX, для того чтобы обновлять только часть страницы, то существует неплохие предпосылки утверждать, что созданный программный комплекс, будет быстродействующим и эффективным. Уровень представления системы тестирования, будет создан на основе строго и стильного веб-дизайна, с применением HTML, CSS, JavaScript и других веб-технологий. В процессе разработки возможны некоторые расхождения с технологиями и планом разработки, представленным здесь. Это объясняется поиском наиболее оптимальных решений для реализации каждого отдельного уровня и модуля сетевой системы тестирования знаний.
Литература:
1. Крейн Дейв, Паскарелло Эрик, Джеймс Даррен. Ajax в действии. - Москва: Вильямс, 2006. -640 с.
2. Ноутон П., Шилдт. Г. Java 2. Наиболее полное руководство. - СПб.: БХВ-Петербург, 2005. -1072 с.
3. Гранд Марк . Шаблоны проектирования в Java. - Москва: Новое знание, 2004. -559 с.
4. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. - Москва: 1995.
5. Falkner Jayson, Jones Kevin. Servlets and JavaServer Pages. - Addison Wesley, 2003. - 784p.