Реферат по теме выпускной работыСодержаниеАктуальностьПредполагаемая научная новизна Планируемые практические результаты Обзор исследований и разработок по теме Критерии качества для оценки ОС АктуальностьРазвитие образования всегда было важной проблемой для общества, и сегодня оно не потеряло своей значимости. Перед современным образованием стоит множество задач. Особую значимость среди них на настоящем этапе имеет внедрение современных технологий в образовательный процесс. Сегодня мы можем наблюдать как стремительно растет количество обучающих систем на основе последних достижений в области компьютерных технологий. Однако не все они являются эффективным образовательным продуктом. Проблемы создания продуктивных обучающих систем (ОС) особо обострились в последнее 10-15 лет, по-видимому, в связи с началом глубокого общего кризиса национальных образовательных систем. В основе кризиса лежит тот самый "информационный бум", о котором давно говорили, однако эффект его был не так значителен, как после появления в массовом количестве персональных компьютеров, электронной почты и сети Интернет, что значительно увеличило объем доступной информации, качество и скорость работы с ней по сравнению с предшествующим периодом, когда основными носителями информации были бумага, кино-, фотопленка и пр.[1]. Актуальность оценки качества ОС также подтверждает тот факт, что за рубежом, а именно – в Великобритании, успешно используется практика оценки качества образовательных систем. В этой стране создана специальная организация, которая называется "Учителя, оценивающие образовательное мультимедиа" (Teachers Evaluating Educational Multimedia – TEEM). Эта организация объединяет независимых экспертов, которые проводят оценку цифровых материалов для обучения. Данная организация имеет правительственную поддержку и входит в состав Curriculum Online [2]. В этой связи, одной из важнейших задач в данной области является создание средств, которые бы проводили оценку обучающих систем по регламентируемым параметрам, что позволило бы повысить качество современного образования. Цель и задачи исследованияЦелью исследования является создание нового подхода для оценки ОС, в котором будет сформирован специализированный набор критериев качества и предложен механизм для оценивания ОС. Основные задачи исследования:
Предполагаемая научная новизнаПредполагаемая научная новизна состоит в модификации подхода к созданию базы знаний специализированной экспертной системы (ЭС), в которой предлагается использовать математический инструмент системного подхода для решения проблем связанных с обработкой экспертных суждений. Планируемые практические результатыПланируемые практические результаты будут заключаться в создании ЭС на основе нового сформированного набора критериев качества, которая реализует предложенный подход для оценки ОС, что даст возможность оценивать ОС с учетом новых критериев качества. Обзор исследований и разработок по темеВ ДонНТУ В Донецком национальном техническом университете проблемами, связанными с оцениванием качества различных систем и объектов с использованием экспертной системы, занимались нижеперечисленные магистры: Лукьянов С.В. изучал проблемы в области оценки качества поиска в системах контекстного поиска изображений в БД. В результате анализа методов оценки контекстного поиска изображений им была разработана экспертная система для оценки качества поиска изображений в БД [3]. Шепелева М.В. занималась разработкой экспертной системы экономически обоснованного механизма оценки и регулирования кредитного риска с целью удовлетворения интересов банка, связанных с минимизацией риска кредитного портфеля банка и повышением его качества [4]. В Украине В Украине тематику оценки качества ОС изучали следующие исследователи: Ульшин В.А занимался разработкой архитектуры обучающей системы для мониторинга учебных материалов, структурной модели дистанционного курса с ранжированием дидактических целей, а также разработкой метода определения качества и эффективности учебных материалов [5]. Ризун Н.О. разработал концепцию построения модульной структуры экспертной системы поддержки принятия решений по управлению учебным процесса в ВУЗе на базе развития методологий совершенствования теории тестирования и распределения учебной нагрузки с использованием инструментов системного анализа и проектирования SADT [6]. В мире В России подобными вопросами занимаются ниже перечисленные исследователи: Максимова О. А. занималась рассмотрением проблемы обеспечения мониторинга качества образования надежными и валидными тестовыми измерителями. В качестве решения проблемы предложила применение системы комплексной экспертизы качества тестовых материалов, состоящей из четырех основных этапов [7]. Нешта Е.П. занималась разработкой классификации и оценкой качества программных средств с использованием базы характеристик качества. Разработала структуру СУБД характеристик качества программных средств (ПС). Создала актуализируемое СУБД характеристик качества для ряда классов ПС. Разработала модуль экспертной системы для процедуры сертификации [8]. Воробкалов В.Н. занимался управлением качеством электронных обучающих систем. Разработал метод и критерии оценки качества электронных обучающих систем, которые позволяют осуществлять управление качеством с точки зрения результата процесса обучения на стадиях их разработки, внедрения и эксплуатации [9]. Кокшарова Е.А. предложила подход к решению вопроса об оценки качества обучающего тестирования на основе применения информационных технологий в виде педагогической экспертной системы [10]. Критерии качества для оценки ОСОС включают в себя целый класс программных образовательных систем от компьютерного учебника в сети или сервера с базой данных методических материалов до сложных и многофункциональных систем дистанционного обучения. В связи с таким большим разнообразием, появляется необходимость классификации образовательных ресурсов, так как не все критерии качества имеют одинаковый вес для разных видов ОС. После классификации будут разработаны критерии качества. Однако помимо специализированных требований, обусловленных областью применения этих систем в образовательном процессе, также имеются общие требования к программным системам, которые так же необходимо учитывать при оценке качества. Любая ОС представляет собой программный комплекс, качество которого может быть определено согласно Международным стандартам ISO 9000, 9001, 9002 и 9003 [11], которые содержат требования к системе качества и определяют различные модели его обеспечения на различных этапах производственного цикла. Согласно данным стандартам также будут выделены критерии качества. Таким образом, будет сформирован набор критериев для оценки ОС. Для каждого из которых будет определена значимость с помощью метода анализа иерархий. Метод анализа иерархий (МАИ) - это метод обработки экспертных суждений относительно важности тех или иных показателей (критериев). Согласно этому методу выбранным критериям, эксперты устанавливают приоритеты на основе выбранной шкалы оценок, и после выполнения некоторых операций производится оценивание по всем показателям и выставляется оценка, данный метод разработан американским ученым Томасом Саати и впервые был опубликован в 1980 году [12]. Рассмотрим данный метод подробнее. Первым шагом МАИ является построение иерархической структуры, объединяющей цель выбора, критерии, альтернативы и другие факторы, влияющие на выбор решения. Построение такой структуры помогает проанализировать все аспекты проблемы и глубже вникнуть в суть задачи. Так как, предлагаемая экспертная система будет иметь возможность оценивать один программный продукт (а не сравнивать несколько), следовательно задача сводиться не к сравнению альтернатив и выбора наилучшего, а к сравнению входящей ОС с некоторым "идеалом". Таким образом, при решении сложной проблемы, мы можем использовать иерархию как инструмент для обработки и восприятия больших объемов информации. По мере проектирования этой структуры формируется все более полное понимание проблемы [12]. На рисунке 1 продемонстрирована простейшая иерархия МАИ. Рисунок 1 – Простейшая иерархия МАИ Иерархические структуры, используемые в МАИ, представляет собой инструмент для качественного моделирования сложных проблем. Вершиной иерархии является главная цель; элементы нижнего уровня представляют множество вариантов достижения цели (альтернатив); элементы промежуточных уровней соответствуют критериям или факторам, которые связывают цель с альтернативами. Существуют специальные термины для описания иерархической структуры МАИ. Каждый уровень состоит из узлов. Элементы, исходящие из узла, принято называть его детьми (дочерними элементами). Элементы, из которых исходит узел, называются родительскими. Группы элементов, имеющие один и тот же родительский элемент, называются группами сравнения. Родительские элементы Альтернатив, как правило, исходящие из различных групп сравнения, называются покрывающими критериями. Используя эти термины для описания представленной ниже диаграммы, можно сказать, что четыре Критерия — это дети Цели; в свою очередь, Цель — это родительский элемент для любого из Критериев. Каждая Альтернатива — это дочерний элемент каждого из включающих ее Критериев. Всего на диаграмме присутствует две группы сравнения: группа, состоящая из четырех Критериев и группа, включающая три Альтернативы. Вид любой иерархии МАИ будет зависеть не только от объективного характера рассматриваемой проблемы, но и от знаний, суждений, системы ценностей, мнений, желаний и т. п. участников процесса. После построения иерархии участники процесса используют МАИ для определения приоритетов всех узлов структуры. Информация для расстановки приоритетов собирается со всех участников и математически обрабатывается. Приоритеты — это числа, которые связаны с узлами иерархии. Они представляют собой относительные веса элементов в каждой группе. Подобно вероятностям, приоритеты — безразмерные величины, которые могут принимать значения от нуля до единицы. Чем больше величина приоритета, тем более значимым является соответствующий ему элемент. Сумма приоритетов элементов, подчиненных одному элементу выше лежащего уровня иерархии, равна единице. Приоритет цели по определению равен 1.0. Ниже приведен пример, поясняющий методику вычисления приоритетов [13].
Рисунок 2 – Простейшая иерархическая структура МАИ с приоритетами, определенными по умолчанию Однако значимость критериев формируется следующим образом. Ситуация моделируется с использованием двухмерной обратно симметричной матрицы nxn, где n – количество выявленных критериев. В ячейке на пересечении столбца и строки выставляется соотношение значимости между парой критериев. Матрица помогает ответить на вопрос: какой из сравниваемых критериев наиболее важен, если один важнее другого, то насколько. Одинаковые по значимости критерии имеют значение 1. Абсолютное преимущество выражается максимальным значением 9. Таким образом, в промежутке между этими значениями находятся значения, позволяющие более точно выражать критерии значимости отношений. Данные отношения представлены в таблице 1. Таблица 1
Аналитик должен сравнить уровень предпочтительности двух объектов по каждому критерию, расположенному на вышестоящем уровне, используя значения 1/9…9 из приведенной таблицы. В расчете значений значимости критерия необходимо перемножить баллы по критериям и возвести в степень 1/q, где q – количество критериев, участвующих в расчете. На базе данного метода, а так же метода экспертных оценок будет сформирована база знаний, с использованием которой будет создана экспертная система для оценки качества обучающих систем. Процесс создания и использования экспертной системы представлен на рисунке 3.
Рисунок 3 – Процесс создания и использования ЭС (анимация разработана с помощью Adobe Flash (trial версия); бесконечный цикл, для остановки цикла кликнете правой кнопкой мыши по анимации и снимите метку с пункта "цикл") Достижение высоких показателей качества возможно только в условиях непрерывного мониторинга учебного процесса. Мониторинг в образовании – это система сбора, обработки, хранения и распространения информации об образовательной системе или отдельных ее элементах, ориентированная на информационное обеспечение управления, позволяющая судить о состоянии объекта в любой момент времени и дающая прогноз его развития [14]. Таким образом, с помощью предложенной экспертной системы можно будет проводить мониторинг обучающих систем, что поможет адекватно судить о состоянии качества обучения. ВыводыВ магистерской работе усовершенствован подход к оценке ОС, который основан на методе анализа иерархий. Разработана ЭС на основе нового сформированного набора критериев качества, которая реализует предложенный подход для оценки ОС, что позволяет оценивать ОС с учетом новых критериев качества. Также данная экспертная система позволит существенно упростить и ускорить процесс оценки качества ОС. Важное замечаниеНа момент написания данного реферата магистерская работа еще не завершена. Предполагаемая дата завершения: декабрь 2014 г. Полный текст работы, а также материалы по теме могут быть получены у автора или его руководителя после указанной даты. Список литературы
| ||||||||||||||||||||||||
Черепкова Елена Павловна
Факультет компьютерных наук и технологий
Кафедра эколого-экономического мониторинга
Специальность "Компьютерный эколого-экономический мониторинг"
Мониторинг и оценка качества обучающих систем
Научный руководитель: к.т.н., доц. Губенко Н.Е.
