English
ДонНТУ   Портал магистров

Содержание

Введение

Повышение качества управления образовательным процессом непосредственно связано с внедрением новых образовательных и информационных технологий, что увеличивает потребность в автоматизированных системах, включая автоматизированные системы контроля знаний. Они позволяют оперативно оценивать знания учащихся (студентов, школьников или даже рабочих). На сегодняшний день тестирование как одна из наиболее эффективных и объективных форм проверки знаний повсеместно используется как в процессе обучения, так и в системах мониторинга и оценки качества образования во многих странах мира. Важно также отметить, что, начиная с 2019 года человечество столкнулось с глобальной проблемой, подталкивающей к использованию систем дистанционного обучения. Этой проблемой является пандемия COVID-19 и сопутствующие ей карантины и самоизоляция.

1. Актуальность темы

Анализ работ в области создания систем тестирования ( как теоретических аспектов, так и практических реализаций) показывает, что автоматизация образования позволила существенно улучшить тестовые технологии контроля знаний и поднять их на качественно иной уровень. Использование новых информационных технологий, во-первых, позволило автоматизировать обработку информации, полученной в результате тестирования, благодаря чему стало возможным массовое тестирование и сбор статистики, во-вторых, привело к созданию автоматизированных систем оценки знаний. Такие системы позволяют не только оцифровать традиционные бланковые тесты посредством автоматизации процессов формирования теста и предъявления тестовых заданий, но и предоставляют новые возможности представления предметной области за счёт добавления к тестам заданий развернутого типа.

2. Цель и задачи исследования, планируемые результаты

Целью магистерской диссертации является автоматизация формирования заданий в системе тестирования

Основные задачи исследования:

  1. Анализ существующих систем тестирования.
  2. Исследование способов генерации заданий тестов.
  3. Разработка подсистемы автоматизации формирования заданий системы тестирования.

Объект исследования: системы тестирования знаний.

Предмет исследования: формирование заданий системы тестирования.

Научная значимость работы состоит в обосновании преимуществ разработанной подсистемы автоматизации формирования заданий системы тестирования.

Для оценки полученных теоретических результатов, в ходе экспериментов, и создания фундамента следующих исследований, в качестве практических результатов планируется разработка настраиваемой и функциональной системы автоматизации формирования заданий со следующими свойствами:

  1. Наличие базы данных(БД) хранящей формат тестов и их результатов.
  2. Режим “Преподаватель”
    • Возможность управления данными БД а именно тесты, оценки.
    • Возможность формировать задать принцип случайной генерации задач для тестов с последующей автоматической оценкой.
    • Сбор и выдача подробной статистики.
  3. Режим “Студент” – эмуляция теста для проверки работы системы формирования заданий.

3. Обзор исследований и разработок

Учитывая важность тестирования знаний множество статей и работ посвящены освещению проблематики этой темы.

3.1 Обзор международных источников

Обоснованность образовательных тестов, когда они используются в качестве критических показателей образовательных результатов в динамической системе, рассматривается Аллано Коллинзом и Джон Р. Фредериксеном [1]. Также они разрабатывают набор принципов проектирования для создания систем тестирования, которые являются системно действительными. Способы и устройства для компьютерной оценки работы испытуемого в отношении выбранных сравнительных норм включают в себя домашний компьютер для тестирования, который передает результаты теста тестируемого на центральный компьютер, который производит оценку производительности тестируемого [2]. Оценка производительности может быть стандартизированной или индивидуальной, а также относительной или абсолютной. Кроме того, передаваемые результаты теста конфигурируются так, чтобы надежно связывать учащегося с его результатами тестирования, используя методы кодирования, идентификации пользователя или подтверждающие методы для предотвращения мошенничества [2]. Конкретные примеры способов измерения обучения учащихся, а также описывается, как разрабатывать, оценивать и интерпретировать тесты, чтобы убедиться, что они действительны, надежны и справедливы для всех детей рассмотрены [3]. С точки зрения самооценки, компьютерный адаптивный тест (КAT) - это правильный способ дать учащимся возможность оценить себя. В КAT студенты оцениваются с помощью процесса, который использует теорию ответов на вопросы (ТОВ), хорошо обоснованную психометрическую теорию. Кроме того, для тестирования необходим большой банк элементов, но, когда система КАТ имеет большой банк элементов, выбор тестовых элементов в ТОВ становится более утомительным. Помимо большого банка предметов, для системы тестирования также важен механизм раскрытия предметов. Однако все ТОВ лишены упомянутых выше пунктов. Эти причины побудили авторов Ая-Мин Хуан, Yen-Тин Лин, Шу-Чен Ченг провести исследование КАТ [4]. После того, как система была официально размещена в сети, было проведено несколько опросов и экспериментов для оценки удобства использования, точности и эффективности системы. Результаты этих оценок показали, что система обеспечивает адаптивное тестирование для различных устройств и поддерживает универсальные функции оценки. Система распределения данных для использования с компьютерной системой тестирования, которая гарантировано доставляет по крайней мере один компьютеризированный тест по крайней мере одному испытуемому, и обрабатывающая информацию, относящуюся к каждой упомянутой доставке, а также цель стандартизированного тестирования приведены (с примерами) изобретателями Роджером К. Кершоу Фрэнком Дж. Романо, Леонардом С. Суонсоном и Уильямом К. Уорд младшим в их работе [5].

3.2 Обзор локальных источников

В Донецком национальном техническом университете (кафедра компьютерной инженерии) достаточно широко изучаются системы оценки знаний, а также подходы к ним. Анализы наиболее релевантных и широко используемых автоматизированные системы тестирования, таких как PikaTest, UniTest, Indigo и Moodle проведены Буланой М.А и Цололо С.А. Целью их работы было выбрать несколько существующих систем тестирования и провести их краткий анализ, проследить историю перехода интерактивного обучения от offline к online, выбрать лучшую [6]. Подобный обзор проводил и я, вместе с моим руководителем Чередниковой О.Ю. в рамках сборника [7]. В ходе этого обзора был сформирован основной базис для формирования СДО, а к примеру, в 2018 году была выполнена разработка программы, написанная на языке программирования Java, для тестирования знаний в определенной области на устройствах Android [4].

4. Подход к реализации [7]

Обычно система тестирования выполняет достаточно много функций и поэтому ее структуру принято разделять на подсистемы (рис. 1).

Общая структура системы тестирования(7 кадров,106 кб)

Рисунок 1 – Общая структура системы тестирования

Подсистема формирования тестов

Формирование тестов является одной и наиболее важных функций компьютерной системы тестирования. Эта подсистема должна обладать следующими свойствами [3]:

  1. предоставлять возможность создания и ведения базы заданий; редактор заданий должен позволять работать с достаточно большим спектром мультимедийных объектов;
  2. указать для каждого задания, как минимум, следующий набор характеристик: тема; раздел; параграф; трудность; трудоемкость; примерное время на выполнение задания;
  3. должна быть возможность генерации заданий и создания наборов однотипных заданий;
  4. спектр типов заданий в базе должен быть достаточно разнообразен, и включать, следующие типы:
    • задания на вставку пропущенного текста;
    • задания на вставку пропущенного числа или выражения; отличие от текста здесь в том, что обучаемый может ввести формулу, а система должна уметь ее анализировать;
    • выбор одного или нескольких объектов экрана (создание заданий с выбором одного или нескольких ответов);
    • перетаскивание объектов в нужную область (задания на соответствие).
  5. обеспечить доступ статистической информации по каждому из заданий (какие ответы выбирались и какое количество раз, как часто выбирался каждый из вариантов, какие неправильные ответы вводились и т.п.). Только при этом условии возможно разрабатывать тесты, соблюдающие требования педагогической диагностики.

Подсистема Преподаватель

В этом блоке система тестирования должна предоставить преподавателю такие возможности:

  1. Аутентификацию с характерными для преподавателя ролями;
  2. Задавать сценарии и формулы для проведения теста. Перспективным направлением проведения теста является адаптивное тестирование, которое предполагает генерацию вопросов с учетом ранее полученных ответов тестируемого [10]. Тесты, построенные по адаптивной методике, позволяют сократить число вопросов, а, значит, и время, затрачиваемое на тестирование, для сильных учащихся, дающих правильные ответы на вопросы в начале тестирования. Тестирование отличника может ограничиться предложением ему 10-15 сложных вопросов, в том время, как неправильно отвечающему слабо знающему материал учащемуся будет предложено большее число более легких вопросов для определения того, может ли он претендовать на минимальную положительную оценку или нет. Адаптивные тесты требуют больших усилий от разработчиков, так как необходимо определять веса для вопросов разного уровня сложности, решить, как система тестирования будет определяет начальный уровень тестируемого, и как будет выбирать для тестируемого последующие вопросы, учитывая его ответы на уже заданные ему вопросы;
  3. Генерировать варианты тестов;
  4. Просматривать подробную статистику с результатами работы как каждой группы, так и в плоть до каждого обучаемого отдельно. Данные должны формироваться в табличном виде и графическом (рис 2).
Пример оформления статистических данных

Рисунок 2 – Пример оформления статистических данных.

блок статистики Moodle

Рисунок 3 - блок статистики Moodle

Подсистема Студент

Стоит уделить должное внимание и этой подсистеме, ведь она не менее важна и должна быть максимально доступной и удобной для обучаемого.

Система обучаемого обязана в себя включать:

  1. Надежную подсистему аутентификации.
  2. Возможность провести тестирование в любое время, но при каждом выборе одного и того же сценария получать различные, но однотипные тесты;
  3. Максимально комфортный интерфейс для учащихся.
  4. Максимально исчерпывающая информация по результатам тестирования (какие задания выполнены правильно, а какие – неправильно, какие допущены ошибки, какие разделы учеником освоены, какие – нет). Степень детализации предоставляемой информации определяется преподавателем во время задания сценария.

Выводы

Системы тестирования позволяют ускорить процесс проверки знаний учащихся как в школах, так и в высших учебных учреждениях. Введение автоматизированных систем тестирования позволяет еще больше повысить производительность как студентов, так и преподавателей. Наличие статистических данных позволяет жестко контролировать каждое изменение в успеваемости учащихся и своевременно корректировать учебный план. Также подобные системы позволяют получить студентам доступ к учебе в разных концах города, страны или мира. Автоматизация формирования заданий теста позволяет разнообразить варианты тестов, что упрощает работу преподавателя и дает более объективную оценку при прохождении тестирования.

Список источников

  1. Frederiksen JR, Collins A. A Systems Approach to Educational Testing. Educational Researcher. 1989;18(9):27-32.
  2. Джей С. Уокер, Брюс Шнайер, Джеймс А. Джораш Метод и аппарат компьютерного обучающего тестирования // 1996.
  3. Джей С. Уокер, Брюс Шнайер, Джеймс А. Джораш Метод и аппарат учебного тестирования // 2009.
  4. Ая-Мин Хуан, Yen-Тин Лин, Шу-Чен Ченг Адаптивная система тестирования для поддержки универсальной образовательной оценки // Компьютеры и образование. - Тайвань: январь 2009.
  5. Система и методы компьютерного тестирования // scholar.google.ru/ Интернет-ресурс. - Режим доступа: Cсылка (дата обращения: 20.11.2020).
  6. Цурган. В.А., Чередникова О.Ю. Разработка системы тестирования знаний студента // Сборник материалов международной конференции Информатика, управляющие системы, математическое и компьютерное моделирование (ИУСМКМ-2020).. - Донецк: - С. 454-458. Интернет-ресурс. - Режим доступа: Cсылка
  7. Прокофьева Н. О. Стратегии и методы проведения контроля знаний в компьютерном обучении // Educational Technology & Society — 13 (1). 2010 — pp. 378-392 ISSN 1436-4522.
  8. Brusilovsky, P. and Miller, P., Web-based testing for distance education. In: P. DeBra and J. Leggett (eds.) Proceedings of WebNet'99, World Conference of the WWW and Internet, Honolulu, HI, Oct. 24-30, 1999, AACE, pp. 149-154.
  9. Аванесов В.С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов пед. вузов. 2 изд., испр. и доп.М.: Адепт.1998-217с.
  10. Ермышкин В.О., Чередникова О.Ю. Разработка программы тестирования знаний в определенной области под Аndroid // Современные тенденции развития и перспективы внедрения инновационных технологий в машиностроении, образовании и экономике. Т.4. № 1 (4). - 2018. Азов, - С.96-100.
  11. Система дистанционного обучения Moodle - Мясникова Т.С., Мясников С.А. Система дистанционного обучения MOODLE.-Харьков, 2008.-232 с.
  12. Работа в системе дистанционного обучения Moodle. - Анисимов А.М., Учебное пособие.2-е изд. испр. и дополн.– Харьков, ХНАГХ, 2009. - 292 стр.
  13. Lomas, Natasha. Finnish Startup Gets Seed Backing For Its Online Education Platform Play, Eliademy. TechCrunch April 24, 2014.
  14. Сатунина А. Е. Электронное обучение: плюсы и минусы // Современные проблемы науки и образования : журнал. — 2006. — № 1. — С. 89—90.
  15. Болкунов И.а. Электронное обучение: проблемы, перспективы, задачи // Таврический научный обозреватель. — 2016. — Вып. 11-1 (16).
  16. Udaya Sri K., Vamsi Krishna T. V. E-Learning :Technological Development in Teaching for school kids // International Journal of Computer Science and Information Technologies. — 2014. — P. 6124—6126.
  17. Хамутников В.А., Давыдов А.Н., Самоделов С.К., Макуха Л.В., Сидоров А.Ю. расширение возможностей электронных образовательных систем на платформе moodle // Фундаментальные исследования. – 2017. – № 1. – С. 117-123;