ВОПРОСНО-ОТВЕТНЫЙ ИНТЕРФЕЙС И СИСТЕМЫ ТЕСТИРОВАНИЯ
Непомящий А.А., Звенигородский А.С.
IV Международная научно–техническая конференция студентов, аспирантов и молодых учёных. Информатика и компьютерные технологии — 2013 — Донецк, ДонНТУ — 2013, с. 330–333.
Донецкий национальный технический университет, Украина
В работе рассматривается использование вопросно-ответного интерфейса в системах тестирования, анализируются особенности работы и недостатки. Предлагается формальная модель процесса тестирования с использованием вопросно-ответного интерфейса для дальнейшей реализации. Составлены выводы о возможности повышения эффективности и качества современных систем тестирования.
Введение
В настоящее время тестирование является одним из наиболее удобных способов проверки и оценки знаний. Оно нашло свое применение во многих сферах деятельности человечества: образование, медицина, бизнес. Многие руководители считают эту систему очень удобной, так как она позволяет малыми усилиями решить проблему комплектации кадров, а специалисты уверены, что тесты более надежны в предсказании неблагоприятных результатов, поэтому с помощью тестового отбора легче ограничить круг претендентов.
На сегодняшний день в системе образования для оценки знаний чаще всего применяется стандартная схема индивидуального оценивания. Новая эффективная система, основанная на использовании тестовых технологий, вызвана потребностью в получении независимой объективной оценки уровня и качества образования обучающихся. В связи с этим данная тема исследования является актуальной.
Существует множество различных систем тестирования, обладающих как достоинствами, так и недостатками. Основная проблема заключается в том, что нет универсальной системы тестирования, избавленной от основных недостатков и обладающей достоинствами своих аналогов. Если объединить достоинства конкурирующих систем в один программный продукт, то получится очень гибкая система, позволяющая решать огромный спектр задач.
Когда мы хотим что-то узнать, мы спрашиваем – задаем вопрос, что, в общем, и
естественно в процессе познания. Большинство систем тестирования, не имеют возможности отвечать на наши вопросы. В связи с этим естественно-языковое взаимодействие системы с пользователем приобретает особую актуальность и становится одной из центральных задач искусственного интеллекта.
Вопросно-ответная система – это информационная система, способная принимать вопросы и отвечать на них на естественном языке, другими словами, это система с естественно-языковым интерфейсом. Источником информации для таких систем обычно служит большая коллекция текстовых документов, например, общедоступные страницы сети Интернет.
Подходы к реализации и соответственно принципы построения вопросно-ответных систем можно разделить на следующие несколько групп:
- вопросно-ответные системы, базирующиеся на веб-поиске;
- вопросно-ответные системы с собственной размеченной коллекцией документов;
- вопросно-ответные системы с базой данных, содержащей вопросы и ответы;
- вопросно-ответные системы экспертного типа.
С момента появления первых прототипов вопросно-ответных систем их область применения значительно расширилась. Например, их используют в ответах на вопросы, связанные со временем, геолокационные вопросы, изучаются так же смежные области, такие как: построение интерактивных QA-систем, повторное использование ответов и представление знаний. Но область использования вопросно-ответных интерфейсов в системах тестирования остается не исследованной, так как аналогов на данный момент нет, и это является хорошей перспективой для разработки исследовательской базы для будущих работ [1].
Постановка задачи
Целью настоящей работы является повышение качества современных систем тестирования, путем исследование методов реализации вопросно-ответного интерфейса и построение формальной модели для решения поставленных задач.
Для решения задачи необходимо:
- обобщить опыт исследования человеко-машинного взаимодействия и использования вопросно-ответных систем в автоматизированных системах тестирования, выявить их недостатки и преимущества;
- проанализировать существующие системы проверки знаний, выявить их недостатки и предложить пути их устранения;
- разработать модель и структуру вопросно-ответного интерфейса системы тестирования;
- на основе выполненных работ осуществить программную реализацию системы тестирования с вопросно-ответным интерфейсом;
- провести экспериментальную проверку применимости предложенного метода для решения задачи, определить эффективность работы системы в реальных условиях.
Назначением системы является точное оценивание знаний пользователя проходящего тестирования на основе адаптивного комплексного тестирования по выбранной предметной области. Так же комфортность обучения за счет внедрения системы вопросно-ответного интерфейса.
Текущее состояние проблемы
Исследование человеко-машинного взаимодействия и использование вопросно-ответного интерфейса в системах тестирования – это один из эффективных методов обучения и проверки знаний. Аналитический аппарат системы позволит получить статистически достоверные результаты, в отличие от стандартной схемы индивидуального оценивания, которая имеет ряд серьезных недостатков:
- субъективизм, заключающийся в том, что разные преподаватели могут по-разному оценить способности одного и того же студента;
- отсутствие широкой шкалы оценивания;
- «локальность» оценка, которая имеет смысл только в рамках небольшой группы оцениваемых;
- трудоемкость массового тестирования;
- задание, как правило, не охватывает весь предмет, что не позволяет оценить реальные знания испытуемого.
Информатизация и компьютеризация учебного процесса выражается не только в прохождении тестов, но и работе в различных приложениях системы (электронная библиотека, видео-лекции и т.д.). Это сопровождается, а зачастую и базируется на компьютерных системах обучения той или иной степени сложности с охватом тех или иных сторон учебного процесса. Важным моментом процесса обучения следует считать системы контроля знаний, где наряду с разными способами (индивидуальные задания, групповые проекты, онлайн-дискуссии) есть тестирование [2].
При создании модели системы тестирования с вопросно-ответным интерфейсом, было изучено большое количество работ по данной теме, среди которых можно выделить ряд общих недостатков:
- использование одной методики составления теста, что сужает возможности тестирования;
- негибкость процедур расчета итоговой оценки, вследствие применения методов, использующих алгоритм накопления баллов, методов ранжирования, методов поощрения и штрафов;
- высокая трудоемкость формирования высокоэффективных тестов, или сведение процедуры формирования теста к случайному выбору вопросов;
- использование заранее сформированных тестов, что исключает возможность использования адаптивных методик тестирования или делает их недостаточно гибкими.
С точки зрения процесса обучения, формальная модель системы тестирования состоит из пяти составных частей.
На рисунке 1 показана общая схема работы пользователя с системой вопросно-ответного интерфейса тестирования.
Пользователь. Интерфейс пользователя, с помощью которого он делает запросы и общается с системой в целом.
База сценариев обучения. Подсистема, предназначенная для предоставления методических материалов в соответствии с выбранным системой сценарием обучения.
База сценариев проверки знаний. Подсистема проверки знаний, предназначенная для тестирования знаний, полученных пользователями на этапе обучения.
Вывод результатов. Блок подведения итогов обучения и прохождения тестирования пользователем.
Вопросно-ответный интерфейс. Главный блок, представляющий ядро системы и осуществляющий взаимодействие пользователя с подсистемами [3].
Одним из преимуществ системы вопросно-ответного интерфейса тестирования является высокий формализм, следовательно, возможность ее автоматизации с целью снижения трудоемкости и повышения качества оценивания знаний.
Существуют адаптивные и неадаптивные методы контроля знаний. При неадаптивных методах в процессе контроля все обучающиеся проходят одну и ту же, заранее определенную последовательность проверочных заданий из «Базы сценариев», которая не зависит от действий обучаемого во время контроля. Адаптивные методы максимально используют данные из блока «Пользователь» (например, уровень подготовленности).
Тестовые задания по своей форме могут быть нескольких типов:
- на выбор;
- на соответствие;
- на ранжирование;
- на конструирование;
- ситуационные.
Вопросно-ответный интерфейс системы тестирования будет иметь возможность использования разных методов оценки знаний. Например, с использованием моделей, учитывающих только правильность ответов обучающихся, и моделей, учитывающих параметры заданий и уровень усвоения знаний [4].
Выводы
Повышение ценности образования в обществе и развитие вычислительной техники информационных технологий определили широкое распространение обучающих систем и систем проверки знаний.
Разрабатываемая система призвана повысить качество оценивания знаний, формализовать и автоматизировать методику формирования адаптивных тестов, оценить качество формируемых системой тестов, предоставить возможность оценивания знаний как, в общем, по дисциплине, так и по отдельным темам в частности.
Научная новизна исследования заключается в применении вопросно-ответного интерфейса для реализации системы тестирования и оценки знаний. Разработан новый подход к созданию систем тестирования и выставлению оценки высокой степени точности.
Литература
[1] Корхов А.В. Метод построения вопросно-ответной системы с использованием математической формализации русского языка // Труды XXXII научной конференции факультета ПМ-ПУ СПбГУ. СПб., 2001.
[2] Логунова О.С. Человеко-машинное взаимодействие: теория и практика: Учебное пособие / О.С. Логунова, И.М. Ячиков, Е.А. Ильина. – Ростов н/Д : Феникс, 2006
[3] Болотова JI.C. Системы искусственного интеллекта. М., 1998.
[4] Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учебное пособие / Н.М. Олейник. Донецк, ДонГУ, 1991. 66с.