в библиотеку

Агентная подсистема оценки компетенций для интеллектуальной системы обучения.

Авторы: Вороной А.С., Селиванова А.И., Черниченко Е.А.
Донецкий национальный технический университет
Кафедра систем искусственного интеллекта

Источник: Материалы конференции Информационные управляющие системы и компьютерный мониторинг (ИУС-2013) / Материалы международной научно-технической конференции студентов и молодых учёных. - Донецк, ДонНТУ - 2013, с. 173-176.

Аннотация:
Вороной А.С., Селиванова А.И., Черниченко Е.А. Агентная подсистема оценки компетенций для интеллектуальной системы обучения. Рассмотрен подход к оценке знаний обучаемых для мультиагентных интеллектуальных обучающих систем основанный на тестировании компетенций. Предложена структурная организация мультиагентной подсистемы оценки компетенций. Определены задачи агентов и их коммуникации при формировании индивидуальной среды и тестов для оценки текущих компетенций обучаемых.

Общая постановка проблемы

В связи с задачами модернизации системы образования в высшей школе в контексте Болонской декларации актуализируется задача перехода к планированию результатов образования на языке компетенций. Образовательный подход, основанный на обозначении компетентности как цели профессиональной подготовки специалиста в вузе, определяется как компетентностный. Применение компетентностного подхода означает формирование индивидуальных программ обучения соответствующих особенностям каждого обучающегося [1] и учитывающих потребности компаний в профессиональной ориентации специалистов. Требование гибкости и динамичности таких образовательных программ обусловливает необходимость инструментальной поддержки процессов формирования компетентностей обучающегося и оценки уровня их достижимости. Это может быть реализовано с помощью распределенных интеллектуальных агентно-ориентированных технологий, обеспечивающих достижение требуемых компетенций за счет введения адаптивности в процесс обучения. Основная задача заключается в обеспечении оптимальной траектории движения обучающегося к цели на основе построения индивидуального плана обучения и управляемого усвоения им учебного материала в обучающей системе.

Основными задачами, решаемыми в интеллектуальной мультиагентной обучающей системе (ИМОС), являются:
- определение текущей компетенции обучаемого – его знаний, умений, навыков и способности их применять при решении практических задач – описание исходной (текущей) компетенции обучаемого;
- планирование последовательности изложения учебного материала - программы основного обучения, в соответствии с текущими компетенциями обучаемого;
- контроль формирования компетенций и коррекция описания текущей компетенции обучаемого;
- планирование последовательности изложения учебного материала для повторного обучения;

Задачи определения текущей компетенции обучаемого и контроля формирования компетенций решаются в существующих системах путем использования технологий тестового контроля, когда испытуемому предлагается выполнить заранее подготовленные задания различной степени сложности. Недостатком существующих средств тестирования обучающих систем является ориентация преимущественно на диагностику и оценку качества знаний, умений и навыков, приобретаемых студентом в результате освоения конкретных дисциплин и практик. Традиционные тестирующие средства не позволяют проверять и оценивать высокие, продуктивные уровни знаний. Поэтому актуальна задача разработки оценочных подсистем для интеллектуальных систем обучения на основе компетентностного подхода.

Анализ существующих средств тестирования.

В настоящее время совершенствуются существующие и появляются новые формы оценки компетенций, особое место среди которых занимают различные тесты. Создаются электронные системы, позволяющие проводить оценку знаний обучающихся. В связи с этим, существует проблема обмена банками тестовых заданий. Эту проблему позволяет решить только стандартизация представления тестов. Международным стандартом такого представления является спецификация IMS QTI (Question & Test Interoperability).

Разработанная в Новосибирском государственном техническом университете система тестирования «DiTest» [2] поддерживает этот перспективный стандарт. Основными элементами системы являются модули «ввода и редактирования тестов», «проведения опроса» и «обработка результатов и сбора статистики». Модульность системы «DiTest» позволяет легкую замену стандартного модуля на модуль, обеспечивающий лучшее использование в конкретной ситуации. При этом нет необходимости замены других частей системы. Cистема является Internet-ориентированной. Это должно ускорить ее распространение и создание разнообразных тестовых заданий в универсальном формате QTI. Система DiTest обладая необходимой функциональностью и простотой ее расширения, является идеальным решением для проведения дистанционных опросов. Система может использоваться независимо, как единый центр тестирования, так и в совокупности с другими оценивающими системами.

В системе INDIGO (Indigo Software Technologies) [3] тесты задаются в виде иерархической структуры, состоящей из вопросов и групп вопросов. Группы, в свою очередь, могут содержать как вопросы, так и другие группы. На данный момент доступны пять типов вопросов: выбор одного варианта ответа, выбор нескольких вариантов ответа, ввод ответа с клавиатуры, установка соответствия, расстановка в нужном порядке.

Еще одним инструментом тестирования является редактор электронных курсов CourseLab [4], в котором выбор метода тестирования напрямую зависит от особенностей материала курса, целевой установки и применяемых показателей обученности. Все имеющиеся виды тестов не выходят за рамки версии 1.2 стандарта IMS QTI (Question & Test Interoperability), поэтому должны быть доступны для быстрой разработки большинством редакторов электронных курсов. Редактор электронных курсов CourseLab предоставляет возможность простой и быстрой вставки в учебные модули, как отдельных вопросов, так и тестов, состоящих из множества вопросов. Необходимо только заполнить параметры вопросов. В CourseLab поддерживаются следующие типы вопросов: единственный выбор (выбор одного варианта из набора значений, включая и вопросы типа true-false), множественный выбор (выбор нескольких вариантов из набора значений), ранжирование (расположение вариантов в правильном порядке), числовой ввод одного или нескольких значений текстовый ввод одного или нескольких значений, парное соответствие (подбор правильных пар вариантов). Можно использовать случайную выборку вопросов из списка. Редактор CourseLab дает возможность построить практически любое упражнение или тест с использованием полей ввода, элементов форм, зон нажатия мыши, перетаскивания объектов и т.п.

Организация агентной подсистемы оценки компетенций обучаемого.

Интеллектуальная мультиагентная обучающая система организуется как сообщество взаимодействующих коллективов агентов. Процесс обучения и оценки компетенций обеспечивается двумя коллективами (подсистемами) агентов. Коммуникации коллективов агентов представлены на рисунке 1.

Коллектив агентов обучения (КАО) взаимодействует с агентом обучаемого (АО) и репозиторием обучающих ресурсов (РОР). Коллектив агентов тестирования (КАТ) связан с АП и репозиторием ресурсов тестирования (РРТ). Коллективы агентов обучения и тестирования так же взаимодействуют друг с другом. На рисунке представлены только компоненты ИМОС, имеющие отношение к разрабатываемой подсистеме КАТ.

Состав предлагаемой подсистемы оценки компетенций приведен на рис.2. В состав подсистемы входят агенты: обучаемого(АО), определения недостающих компетенций обучаемого (АОНКО), формирования текущей компетенции (АФТК), формирования эталона оценки (АФЭО), мониторинга изменений компетенций и динамического профиля обучаемого (АМИКиДПО), формирования индивидуальной траектории тестирования (АФИТТ), индивидуальной среды тестирования (АИСТ). Динамическая модель компетенций (ДМК) создается на основе образовательно-квалификационной характеристики (ОКХ) для специальности и может меняться в процессе подготовки при корректировке учебных планов и появлении новых компетенций. Динамический профиль обучаемого хранит информацию об обучаемом. В нем фиксируются все полученные в ходе обучения и подтвержденные проверкой компетенции.

Подсистема оценки компетенций решает следующие задачи. При первом обращении к системе формируется профиль обучаемого и определяется его начальный уровень знаний на основе заполняемой им карты базовых компетенций для начала обучения. На этом этапе АМИКиДПО получает информацию от КАО. После завершения очередного этапа обучения или выборе обучаемым режима тестирования компетенций АМИКиДПО взаимодействует с АОНКО, который используя модель компетенций, устанавливает недостающую компетенцию для определения уровня знаний по данной компетенции. Для этого формируется индивидуальная траектория тестирования АФТК и АФИТТ, создается индивидуальная среда тестирования АИСТ и формируются эталонные оценки для тестов АФЭО. Для наполнения среды тестирования используются тестовые ресурсы РРТ.

Обучение может включать работу с основными учебными курсами (для формирования требуемых компетенций) и с дополнительно сформированными учебными курсами – для устранения выявленных пробелов, которые не позволяют студенту усвоить новый курс. Решение задачи формирования повторного индивидуального курса обучения может включать несколько шагов и выполняется КАО. На начальном шаге происходит сравнение требуемой (эталонной) компетенции с текущей (исходной) компетенцией обучаемого. При несовпадении формируется запрос к репозиторию, для поиска множества учебных объектов, изучение которых необходимо для формирования требуемой компетенции. После этапа обучения производится тестирование выбранной компетенции. По результатам тестирования формируется требуемое состояние для следующего шага планирования и т.д. Условием завершения планирования будет устранение различий между текущим и требуемым уровнями, для последнего шага планирования, компетенциями.

Для более качественной оценки знаний предполагается использовать онтологии для требуемых компетенций и на их основе строить индивидуальные траектории обучения и тестирования.

Вывод

Предложенная система может использоваться для повышения качества обучения на основе компетентностного подхода. Применение репозитория тестовых ресурсов позволит накапливать тестовые задания для требуемых компетенций и на их основе строить индивидуальные тесты. Использование данной системы позволит автоматически формировать последовательность предоставления учебного материала - программу основного и повторного обучения, в соответствии с текущими компетенциями обучаемого.

Список литературы

1. Тельнов Ю.Ф. Управление компетенциями в самообучающейся организации // V-я Международная научно-практическая конференция «Интегрированные модели и мягкие вычисления в искусственном интеллекте», Коломна, 2009.

2. Система прохождения и создания тестов DiTest.v2 - Режим доступа: www/ URL: http://ditest.edu.nstu.ru/- Загл. с экрана.

3. «INDIGO» – программа для создания тестов и тестирования - Режим доступа: www/ URL: http://indigotech.ru/- Загл. с экрана.

4. Редактор электронных курсов CourseLab http://websoft.ru/db/wb/root_id/courselab/doc.html/ - Загл. с экрана.