Черепкова Е.П., Губенко Н.Е. Мониторинг и оценка качества обучающих систем

Автор: Черепкова Е.П., Губенко Н.Е.
Источник: Материалы VI Всеукраинской научно-технической конференции студентов, аспирантов и молодых ученых "Информационные управляющие системы и компьютерный мониторинг" (ИУС и КЭМ 2014) — Донецк, ДонНТУ — 2014

Аннотация

Черепкова Е.П., Губенко Н.Е. Мониторинг и оценка качества обучающих систем. Мониторинг и оценка качества обучающих систем. В данной работе рассматриваются основные подходы к формированию набора критериев качества для обучающих систем и программного обеспечения в общем. А так же предлагается решение по созданию средств, для оценивания обучающих систем.

Постановка проблемы

Развитие образования, всегда было важной проблемой для общества, и сегодня оно не потеряло своей значимости. Перед современным образованием стоит множество задач. Особую значимость среди них на настоящем этапе имеет внедрение современных технологий в образовательный процесс. Сегодня мы можем наблюдать как стремительно растет количество обучающих систем на основе последних достижений в области компьютерных технологий. Однако не все они являются эффективным образовательным продуктом.

Проблемы создания продуктивных обучающих систем (ОС) особо обострились в последнее 10-15 лет, по-видимому, в связи с началом глубокого общего кризиса национальных образовательных систем. В основе кризиса лежит тот самый "информационный бум", о котором давно говорили, однако эффект его был не так значителен, как после появления в массовом количестве персональных компьютеров, электронной почты и сети Интернет, что значительно увеличило объем доступной информации, качество и скорость работы с ней по сравнению с предшествующим периодом, когда основными носителями информации были бумага, кино-, фотопленка и пр.[1].

Актуальность оценки качества ОС, так же подтверждает тот факт, что за рубежом, а именно в Великобритании, успешно используется практика оценки качества образовательных систем. В этой стране создана специальная организация, которая называется "Учителя, оценивающие образовательное мультимедиа" (Teachers Evaluating Educational Multimedia — TEEM). Эта организация объединяет независимых экспертов, которые проводят оценку цифровых материалов для обучения. Данная организация имеет правительственную поддержку и входит в состав Curriculum Online [2].
Так же, на базе курса "Мультимедийные системы", студенты часто сталкиваются с проблемой объективной оценки разрабатываемых ими ОС [3]. В этой связи, одной из важнейших задач в данной области является создание средств, которые проводили оценку обучающих систем по регламентируемым параметрам, что позволило бы повысить качество современного образования.

Таким образом, целью исследования является формирование определенного набора критериев для оценки качества обучающих систем на базе современной компьютерной техники и компьютерных технологий, а так же разработка экспертной системы, на основе полученного набора критериев качества, которая позволит оценивать эффективность обучающих систем.

Назначение системы – адекватное оценивание качества ОС на основе сформированного набора критериев оценки качества.

Для достижения поставленной цели необходимо решить следующие задачи:

анализ особенностей обучающих систем для их дальнейшей классификации;
формирование набора критериев, используемых при оценке качества обучающих систем (ОС);
разработка моделей классификации и оценки качества ОС;
мониторинг некоторой случайной выборки ОС с использованием сформированного набора критериев;
разработка экспертной системы для мониторинга и оценки качества ОС;
тестирование экспертной системы на выбранной ранее случайной выборке ОС.

Данной проблемой занимался Колков С.В. в работе "Банк "Возрождение" – Оценка качества электронного курса" [5]. Но рассмотренный им подход слишком локален, и может быть применен только для специализированных ОС.

Постановка задачи исследования

Современные ОС включают в себя компоненты в виде сущностей (обучаемый, оценка) и баз данных (информация об учащемся, обучающие материалы), при этом предназначение такой системы, это обеспечение доступа к обучающим ресурсам, обучение и контроль знаний на базе взаимодействия учащегося с системой. Таким образом, ОС включают в себя целый класс программных образовательных систем, от компьютерного учебника в сети или сервера с базой данных методических материалов до сложных и многофункциональных систем дистанционного обучения [6].

Следовательно, появляется необходимость классификации образовательных ресурсов, так как не все критерии качества имеют одинаковый вес для разных видов ОС. Однако помимо специализированных требований, обусловленных областью применения этих систем в образовательном процессе, так же имеются общие требования к программным системам, которые также необходимо учитывать при оценке качества ОС.

Сегодня, управление качеством должно проводиться на протяжении всего жизненного цикла системы, что обеспечивает создание качественного продукта по мере разработки системы. При этом оценка качества определяется как набор характеристик системы, относящихся к ее способности удовлетворять установленные и предполагаемые потребности пользователей. Любая ОС представляет собой программный комплекс, качество которого может быть определено согласно Международным стандартам ISO 9000, 9001, 9002, 9003 [7], а так же ГОСТ 28195-89 [8], которые содержат требования к качеству системы и определяют различные модели его обеспечения на различных этапах производственного цикла.

В качестве общих критериев качества в данной работе будут использоваться показатели качества представленных в ГОСТ 28195-89 (оценка качества программных средств. Общие положения).

Основные показатели:

Показатели надежности ПС – характеризуют способность ПС в конкретных областях применения выполнять заданные функции в соответствии с программными документами в условиях возникновения отклонений в среде функционирования, вызванных сбоями технических средств, ошибками во входных данных, ошибками обслуживания и другими дестабилизирующими воздействиями;
Показатели сопровождения – характеризуют технологические аспекты, обеспечивающие простоту устранения ошибок в программе и программных документах и поддержания ПС в актуальном состоянии;
Показатели удобства применения – характеризуют свойства ПС, способствующие быстрому освоению, применению и эксплуатации ПС с минимальными трудозатратами с учетом характера решаемых задач и требований к квалификации обслуживающего персонала;
Показатели эффективности – характеризуют степень удовлетворения потребности пользователя в обработке данных с учетом экономических, вычислительных и людских ресурсов;
Показатели универсальности – характеризуют адаптируемость ПС к новым функциональным требованиям, возникающим вследствие изменения области применения или других условий функционирования;
Показатели корректности – характеризуют степень соответствия ПС требованиям, установленным в ТЗ, требованиям к обработке данных и общесистемным требованиям.

Однако данные критерии, так же будут иметь различный вес для разного вида ОС. Именно поэтому так же возникает необходимость определять значимость и удельный вес каждого показателя исследуемой системы. Для этого будет использоваться один из методов экспертной оценки.

Решение задачи

Для решения поставленной задачи предлагается создание экспертной системы на базе сформированного набора критериев качества.
Таки образом, процесс оценки качества ОС представлен на рис.1.

Рисунок 1 – Процесс оценки качества ОС

Использование разрабатываемой экспертной системы позволит создавать более качественные обучающие системы.

Выводы

С помощью предложенной системы процесс оценки качества ОС может быть упрощен и существенно ускорен.
Таким образом, применение данной системы, позволит более детально проанализировать особенности рассматриваемых ОС и более объективно определить их лучшие виды.

Список использованной литературы