АВТОМАТИЗИРОВАННАЯ СИСТЕМА ОЦЕНКИ КАЧЕСТВА ЗНАНИЙ "EDUCONT+"

Авторы: Минин М.Г., Билалова А.Н., Соловьев А.С.

Томский политехнический университет , Томск

Источник: http://www.ict.edu.ru/vconf/index.php...


В связи с возникшей потребностью сферы образования в программном обеспечении для проведения различного уровня тестирований разрабатывается система автоматизированной оценки качества знаний. Система предназначена для автоматического создания тестов в различных предметных областях, оценки результатов тестирования, обработке статистических данных и мониторингу качества образования.

В последние годы автоматизированные системы обучения играют все большую роль в образовательном процессе. Это обусловлено рядом причин. Во-первых, наличие автоматизированной системы позволяет получать и тиражировать знания хорошего уровня, то есть знания экспертов. Во-вторых, такие программы дают возможность учащимся контролировать знания без участия преподавателя, что в определенных случаях очень удобно. Основное же достоинство автоматизированных систем обучения состоит в том, что они актуальны, качественны и потенциально технологичны.

В рамках существующих образовательных методик, наиболее востребованными из автоматизированных систем являются системы диагностики качества знаний вообще и системы автоматизированного тестирования в частности, поскольку они позволяют студенту самостоятельно оценить уровень своих знаний, а преподавателю – систематизировать и упростить процесс оценки качества знаний студентов. Особенно актуальной идея создания системы компьютерной диагностики качества знаний становится в связи с введением единого государственного экзамена.

По мере развития информационных технологий тестирование становится компьютерным, что позволяет:

    • применять новые адаптивные алгоритмы тестового контроля;
    • использовать в тестах мультимедийные возможности компьютеров;
    • уменьшить объем бумажной работы и ускорить подсчет результатов;
    • упростить администрирование;
    • повысить оперативность тестирования;
    • снизить затраты на организацию и проведение тестирования.

В связи с возникшей потребностью сферы образования в соответствующем программном обеспечении нами разрабатывается система автоматизированной оценки качества знаний "Educont+". Данная система предназначена для автоматического создания тестов в различных предметных областях, оценки результатов тестирования, обработке статистических данных и мониторингу качества образования. Система представляет собою программную оболочку, а это означает, что в нее можно ввести данные любой предметной области (химии, математики, информатики и т.д.).

Данная система тестирования выполняет следующие функции:

    • Создание и хранение тестовых заданий;
    • Компоновка тестов;
    • Обработка ответов;
    • Сбор и анализ статистической информации;

Создание и хранение тестовых заданий подразумевает обработку исходного авторского материала и выполнение автоматизированной компоновки тестов. Ввод исходных данных (заданий) производится с помощью тестового редактора Microsoft Word, основные навыки работы в котором имеют многие пользователи. Кроме того, существует возможность использования уже готовых электронных материалов в качестве заданий. Эта возможность избавляет пользователя от большого объема рутинной работы. В рамках выполнения этой функции учитываются следующие моменты:

Контроль и оценку остаточных знаний студентов целесообразно осуществлять путем тестирования студентов по истечению определенного срока после завершения изучения дисциплины.

При создании тестов учитываются такие параметры, как:

В системе Educont+" реализованы несколько алгоритмов формирования тестов. Она позволяет генерировать билеты и наборы билетов случайным образом или по заданному критерию (уровню сложности, типу контроля и др.).

Предполагается два вида тестирования: бланочное и компьютерное. В случае бланочного тестирования ответы тестируемых заносятся в систему вручную (в дальнейшем предполагается сканирование). В компьютерном варианте тестирование происходит непосредственно на компьютере. В системе предусмотрена формальная обработка ответа (сравнение ответа с образцом) и сохранение результатов тестирования.

Несомненным достоинством тестирования является возможность отследить статистические данные результатов. Это позволяет проанализировать успеваемость в различных "срезах" (по числу тестируемых, по регионам, по предметам, и т.д.) В системе предполагается сбор и анализ статистической информации для обеспечения "обратную связь", без которой невозможно грамотное тестирование и проведение мониторинга. Для проведения исследований применяется аппарат современной математической статистики. Также предусматривается просмотр результатов в различных "срезах", необходимых для детального анализа и мониторинга (по регионам, предметам, числу участников и т.д.).

Отличительной особенностью данной системы является то, что в ней предусмотрены различные виды тестовых вопросов. Это позволяет создавать комплексные тесты любого уровня сложности. Система позволяет добавлять вопросы следующих типов:

  1. Точный ответ: ответ на данный тест (вопрос) должен совпадать до символа без учета регистра символов (возможно, с учетом регистра). Первоначально сложность вопроса предполагается равной 0,5. В дальнейшем расчет сложности теста проводится на основании данных о числе тестируемых, ответивших правильно на данный вопрос и общем числе тестируемых.
  2. Математический: параметрами данного вопроса является точный числовой ответ и погрешность (допустимая вычислительная погрешность), которая задается в процентах. Ответ считается верным, если учащийся указал ответ, который либо точно совпадает с числовым ответом, либо входит в диапазон отклонения (погрешность).
  3. Элективный: этот вопрос предполагает выбор одного или нескольких вариантов из определенного множества. Оценивается сложность каждого ответа (сумма всех ответов равна 1, это условие нормировки). Чем больше правильных вариантов ответа выберет тестируемый, тем больше баллов он получит. В случае выбора неправильного ответа, баллы вычитаются.
  4. На соответствие: такой тип вопросов подразумевает задание соответствия между матрицей вопросов и матрицей ответов. Так как фактически один вопрос такого типа является набором элективных вопросов, вес рассчитывается аналогичным образом.
  5. На упорядочивание: варианты ответов нужно расставить в определенном порядке. Вес каждого варианта ответа рассчитывается в соответствии с формулами теории вероятностей.

Таким образом, данная автоматизированная система будет отвечать основным требованиям, выдвигаемым к программным продуктам такого класса и может быть использована для проведения масштабного тестирования, как в отдельных учебных заведениях, так и на региональном уровне.

Литература

  1. Искусственный интеллект: В 3-х кн. Кн. 1. Системы общения и экспертные сис­темы: Справочник / Под ред. Э.В. Попова.-М.: Радио и связь, 1990.-464 с.:ил.;
  2. Минин М.Г. “Диагностика качества знаний и компьютерные технологии обуче­ния” – Томск: Изд-во ТГПУ, 2000.-216 с.