РАЗРАБОТКА КОМПЬЮТЕРНОЙ СИСТЕМЫ ТЕСТИРОВАНИЯ ЗНАНИЙ

Семенова Е.П., Мальчева Р.В.

Донецкий национальный технический университет

кафедра компьютерной инженерии

E-mail: semenova.ekat@mail.ru

Источник: Інформаційні управляючі системи та комп'ютерний моніторінг - 2011/ Матеріали II Всеукраїнська науково-технічна конференція студентів, аспірантів та молодих вчених. - Донецьк: ДонНТУ, 2011, с.94-99.

Аннотация

Актуальность рассматриваемого вопроса

В современных условиях жизни одним из важных факторов успешного перехода всего человечества от постиндустриального к информационному обществу является эффективное функционирование системы образования. Высшее образование на сегодняшний день является основной составляющей системы образования, определяющей не только современное состояние общества, но и перспективы его развития. Усовершенствование учебного процесса должно осуществляться по различным критериям. Одной из важнейших составляющих модернизации учебного процесса является разработка объективных методик контроля знаний и оценки качества обучения. Контроль качества знаний выполняет три основные функции:

1. Управляет процессом усвоения знаний. Контроль дает возможность увидеть ошибки, оценить результаты обучения, осуществить коррекцию знаний, умений и навыков;

2. Воспитывает познавательную мотивацию и стимулирует творческую деятельность. Правильно организованная система контроля позволяет пробудить чувство ответственности за результаты обучения (получение более высокой оценки), способствует стремлению к целенаправленной работе по исправлению ошибок;

3. Является средством обучения и развития.

Проблема контроля знаний чрезвычайно сложна из-за отсутствия строгой структуры знаний. Однако наиболее серьезными являются проблемы объективности оценивания знаний. Например, одна и та же оценка уровня знаний студента в различных учебных заведениях может соответствовать разным, иногда даже несопоставимым уровням знаний. Эти проблемы могут быть успешно разрешены с применением тестирования. Несмотря на некоторые недостатки, тестирование получило широкое применение в учебном процессе, в определении уровня профессиональной пригодности и подготовки. К преимуществам оценивания знаний методом компьютерного тестирования относят:

1. Применение современных методов оценки знаний;

2. Оперативность обработки результатов тестирования;

3. Возможность реализации обучающей функции;

4. Индивидуализация процесса усвоения знаний учащимися;

5. Освобождение преподавателя от выполнения рутинных работ.

Для проведения компьютерного тестирования необходима база тестовых заданий, соответствующих Государственным образовательным стандартам. Для создания качественного тестового задания необходимо обладать высоким педагогическим опытом. Написание таковых заданий является тяжелой задачей:

Во-первых, необходимо оценивать качество каждого теста – соответствие направлению изучаемого курса и реальным возможностям студентов, учитывая при этом сильно действующие временные ограничения на выполнение ими тестовых заданий. Если соответствие направлению курса обучения можно проверить, анализируя только литературу, то проверка «посильности» каждого теста и даже каждого задания в отдельно взятом тесте возможна только после проверки в реальном эксперименте.

Во-вторых, желательна оценка применимости всей базы тестов, насколько она захватывает весь программный материал или хотя бы наиболее существенную его.

Проведенный анализ существующих компьютерных систем тестирования показал, что они в большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных компьютерных систем тестирования не поддерживает адаптивные методы проведения тестов.

Таким образом, актуальность рассматриваемого вопроса определяется необходимостью разработки компьютерной системы тестирования, устраняющей недостатки рассмотренных систем, обеспечивающей реализацию адаптивных методов тестирования, опирающейся при разработке тестов на теоретические основы как классической, так и современной теории тестирования.

Цель исследовательской работы

Целью исследовательской работы является повышение эффективности контроля знаний с помощью компьютерной системы тестирования, что позволяет своевременно получать информацию о качестве учебного процесса, необходимую для принятия управленческих мер.

Для достижения цели необходимо решить следующие задачи:

1. Анализ существующих компьютерных систем тестирования и выявление их достоинств и недостатков;

2. Анализ существующих моделей и алгоритмов проведения тестирования;

3. Поиск путей повышения качества тестирования с помощью использования компьютерной системы тестирования;

4. Разработка моделей и алгоритмов, повышающих эффективность использования компьютерной системы тестирования;

5. Разработка компьютерной системы тестирования. Определение её структуры и функционального назначения её модулей.

6. Апробация разработанной системы в конкретной предметной области.

Разновидность тестовых заданий и система их оценивания

Для создания качественной тестовой базы необходимо составить и включить в нее задания разных типов. Для объективного оценивания степени трудности тестовых заданий разных типов вводится коэффициент оценивания ri.

1. Одноальтернативные тестовые задания, задания на установление последовательности, открытые тестовые задания - задания с одноальтернативным ответом (тесты с однозначным выбором ответа). На каждое задание предлагается несколько вариантов ответа, из которых только один верный. Предлагаемая ниже система оценивания называется дихотомической.

r_i = 1 [правильный ответ/последовательность]

r_i = 0 [неправильный ответ/последовательность]

2. Многоальтернативные тестовые задания (Тест с многозначным ответом). В варианты ответа может быть внесено более верного ответа, но в разных видах. При оценивании многоальтернативных заданий дихотомической системы оценивания недостаточно, потому что испытуемый может дать неполный ответ. В данном случае необходимо учитывать не только количество верных ответов, но и количество допущенных ошибок.

, где Q₁ – множество всех правильных вариантов ответа в задании, Q₂ – количество правильных вариантов ответа, выбранных обучаемым, Q₃ – количество неправильных вариантов ответа обучаемого

3. Задания на установление соответствия

, где Q₁ – количество пар для сопоставления, Q₂ – количество верно составленных пар

4. Открытые тестовые задания (таблицы)

, где Q₁ – количество ячеек, которые предлагается заполнить обучаемому, Q₂ – количество ячеек, которое обучаемый заполнил правильно

5. Многошаговые тестовые задания (одноальтернативные, последовательности)

, где i – номер шага, m_i – количество ошибок, допущенных на i-м шаге, n – количество шагов

6. Многошаговые тестовые задания (соответствие)

, где j – номер попытки прохождения шага, если на нем была допущена ошибка, Q_2ij – количество пар для составления на i-м шаге при j-й попытке, Q_1ij – количество верно составленных пар на i-м шаге при j-й попытке.

7. Многошаговые тестовые задания (многоальтернативные)

, где Q_1ij – количество правильных вариантов ответов на i-м на шаге при j попытке, Q_2ij – количество правильных ответов, выбранных тестируемым на i-м шаге, Q_3ij – количество неправильных ответов, выбранных тестируемым на i-м шаге при j-й попытке

Итоговая оценка выполнения всего теста R, состоящего из набора тестовых заданий, содержащего Z уровней сложности, определяется по формуле:

, где B – балльность системы, N – количество тестовых заданий, включенных в тест, z_i – уровень сложности i-го задания, – суммарная сложность теста, которая определяется по формуле:

На данный момент на языке программирования Visual Basic разработана первая версия компьютерной системы тестирования, которая включает в себя редактор тестов, позволяющий выяснить наличие повторений вопросов в темах, отсутствие правильных и неправильных вариантов ответа, некорректный выбор количества вопросов для тестирования по теме или предмету. База тестовых заданий состоит из вопросов двух типов: открытые тестовые задания и многоальтернативные тестовые задания.На экран задания выводятся по одному, чтобы не отвлекать внимание от предлагаемого задания (рис.1). В случае, если испытуемый не выберет ответ, на экране появится предупредительное сообщение. По окончанию тестирования на экран выводится количество правильных ответов (в дальнейшем по окончанию тестирования планируется выставление итоговой оценки)

Рис.1 – Графический интерфейс компьютерной системы тестирования

Выводы

Человеку в современных условиях жизни необходимо иметь возможности непрерывного совершенствования знаний, переквалификации или переподготовки. Именно с этой целью постоянно разрабатываются новые технологии обучения и внедряются эффективные формы контроля знаний. Одной из таких форм является проведение тестирования. Это наиболее стандартизованный и объективный метод контроля и оценивания знаний. Существуют методы оценки знаний с использованием моделей, учитывающих только правильность ответов студентов, и моделей, учитывающих параметры заданий и уровень усвоения знаний. Проведенный анализ существующих компьютерных систем тестирования показал, что они в большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных компьютерных систем тестирования не поддерживает адаптивные методы проведения тестов, слабо развита политомическая оценка выполнения тестовых заданий. Направлением дальнейшей работы есть усовершенствование базы тестовых заданий. Добавление заданий других видов, таких как определение последовательности, задания на установление соответствия, многошаговые тестовые задания

Литература

1. М.Ф.Бондаренко, В.В.Семенец, Н.В.Белоус, И.В.Куцевич, И.А.Белоус «Оценивание тестовых заданий разных типов и определение их уровня сложности», 2009, «Искусственный интеллект» / Национальная библиотека Украины им. В.И.Вернадского [Электронный ресурс] – Режим доступа: http://www.nbuv.gov.ua/portal/natural/ii/2009_ 4/7%5C00_Bondarenko_Semenets_Belous_Kutsevich_Belous.pdf

2. А.В. Паволоцкий «Методика проведения автоматизированного контроля знаний». 2006. Московский педагогический государственный университет. [Электронный ресурс] - Режим доступа: http://conf2006.pskovedu.ru/files/thesis/388.doc

3. А.А. Проскурнин «Автоматизированная система контроля знаний» / Ростовский государственный педагогический университет [Электронный ресурс] - Режим доступа: http://www.philippovich.ru/Projects/RFFI/almanah/Proskurnin1.pdf

4. Челышкова М.Б. Теория и практика конструирования педагогических тестов [Текст] / Челышкова М.Б. – М: Логос, 2002. – 432 с.