Ukr   Eng

ДонНТУ   Портал магистров

Гончаров Кирилл Дмитриевич

Факультет компьютерных наук и технологий

Кафедра программной инженерии

Специальность Программная инженерия

Методы и алгоритмы измерения личностных характеристик студентов для многоагентной системы прогнозирования качества обучения

Научный руководитель: к.т.н., доцент, заведующий кафедрой программной инженерии Федяев Олег Иванович

Резюме Биография Реферат Библиотека Ссылки Отчет о поиске Индивидуальный раздел

Реферат по теме выпускной работы

Содержание

• Введение
• 1. Цель и задачи исследования, планируемые результаты
• 2. Обзор исследований и разработок
• 2.1 Обзор международных источников
• 2.2 Обзор национальных источников
• 2.3 Обзор локальных источников
• 3. Структура ментального портрета
• 4. Система тестирования
• 4.1. Разработка многофункционального интерфейса системы
• 4.2. Разработка речевого интерфейса
• 5. Построение и исследование нейросетевой модели оценки успеваемости студентов
• 5.1 Проектирование модели
• 5.2 Построение модели
• 5.3 Результаты
• Выводы
• Список источников

Введение

В работе рассматриваются вопросы прогнозирования и анализа качества обучения студентов на выпускающей кафедре университета. Система профессиональной подготовки студентов, как объект исследования, представляет собой сложную образовательную среду, в которой созданы условия обучения для субъектов образовательного процесса – преподавателей и студентов. Учитывая социально-экономическую значимость образования, оценка эффективности процессов подготовки специалистов и их трудоустройство очень важна для анализа и управления университетом как образовательной средой, в рамках которой решаются задачи составления современных образовательных стандартов, организации эффективного учебного процесса, распределения выпускников на предприятия в соответствии с полученной квалификацией и требованиями заказчиков. Перечисленные задачи являются трудно формализуемыми по причине неоднородности, интеллектуальности и динамичности взаимодействия субъектов, поэтому описать точно поведение такой системы классическими математическими методами очень проблематично.

1. Цель и задачи исследования, планируемые результаты

Данная работа посвящена решению задачи прогнозирования качества профессионального обучения студентов в зависимости от их личностных характеристик и других факторов. Она решается на основе применения искусственных нейронных сетей и сводится к разработке нейросетевой модели, способной функционально описать зависимость получаемых студентом профессиональных знаний и умений по одной дисциплине от факторов, влияющих на полноту этих знаний.

2. Обзор исследований и разработок

Анализ литературы показывает [1], что решение перечисленных задач успешно осуществляется методами имитационного моделирования, которые позволяют разрабатывать качественно новые модели, объединяющие достоинства математических методов, статистики, теории нейронных сетей и программирования.

2.1 Обзор международных источников

Ввиду актуальности задачи, есть множество исследований. К примеру, в частном университете Такакихо, города Токио, проводились исследования итоговых оценок учащихся, на основе рекурсивной нейронной сети (RNN). На основании экспериментальных данных, собранных со 108 студентов, была установлена эффективность RNN для раннего прогнозирования итоговых оценок [2].

2.2 Обзор национальных источников

Исследования подобного рода проводятся не только за рубежом. Например, в исследованиях Пермского государственного национального исследовательского университета [3] рассматривается построение модели на основе нейронной сети для прогнозирования сложной задачи определения группы риска, включающей кандидатов на исключение среди студентов первого курса.

2.3 Обзор локальных источников

В ДонНТУ не первый год проводятся исследования, связанные с решением задач, связанных с учебным процессом и трудоустройством студентов [4], методами имитационного моделирования. Одним из примеров подобных исследований является статья, посвященная формированию зависимости остаточных знаний студентов от их ментальности с помощью нейронных сетей [5].

3. Структура ментального портрета

К важным факторам, влияющим на усвоение студентом учебного материала, можно отнести совокупность индивидуальных психофизиологических особенностей личности. Для их выявления были использованы популярные психологические методы анализа личности (рис.1) [6,7,8].

В совокупности 6 тестов содержали более 200 заданий, что значительно усложняло предъявление тестов и увеличивало время тестирования при большом количестве опрашиваемых студентов. Чтобы ускорить процесс тестирования личности, была разработана система, автоматизирующая опрос студентов и обработку полученных ответов на психологические тесты [9].

4. Система тестирования

4.1. Разработка многофункционального интерфейса системы

Для выявления показателей ментальности студентов была разработана программная система, реализующая методы психологического тестирования и предоставляющая возможность студентам в диалоге с компьютером проходить все тесты (см. рис. 2). Ввиду накладываемых ограничений на время выполнения отдельных тестов, широкого охвата испытуемых студентов и необходимости снижения влияния внешних факторов на результаты, таких как усталость от рутинных действий, было решено предоставить испытуемым более естественный для них речевой интерфейс для управления процессом тестирования.

В системе предусмотрено несколько основных модулей:

• модуль распознавания речевых команд;
• модуль тестирования;
• модуль обработки результатов тестирования;
• модуль визуализации тестирования.

На объектно-ориентированном языке программирования Java была описана функциональность прототипа системы.

Вся собранная информация сохранялась в базе данных, что давало возможность формировать различные варианты обучающего множества для настройки нейросетевой модели.

Рассмотренные факторы позволяют охарактеризовать личность обучаемого с позиции психометрии, что дает основание рассматривать их как ментальный портрет студента.

С помощью применения рассмотренных тестов были определены ментальные (многопрофильные) портреты студентов, изучающих конкретную дисциплину. В частности, были собраны материалы тестирования студентов 3 групп, изучающих в разные годы дисциплину Методы и системы искусственного интеллекта в объеме 60 ментальных портретов.

4.2. Разработка речевого интерфейса

В качестве инструмента разработки движка для компьютерного распознавания речи использовался Sphinx4, который, написан на объектно-ориентированном языке Java и работает на основе скрытых Марковских моделей. Предложенные движком алгоритмы хорошо себя зарекомендовали для распознавания коротких фраз или изолированных слов из небольшого словаря.

Следуя принципу декомпозиции, Sphinx состоит из нескольких моделей, отвечающих за его работу.

В инструментальной среде Sphinx акустико-лингвистические параметры распознаваемых речевых команд описаны следующими моделями:

• акустическая модель;
• фонетическая модель;
• языковая модель.

Акустические свойства звуковых детекторов представлены акустической моделью. Средством отображения слов на звуки выступает фонетическая модель. Языковая модель при работе движка повышает точность распознавания благодаря синтаксическим конструкциям распознаваемых фраз. В разработанном модуле распознавания речевых команд (см. рис. 2) используются два компонента языковой модели. Первый компонент – базовая статистическая языковая модель, содержащая вероятности слов и словосочетаний языка в целом. В другом компоненте языковой модели описывается грамматика.

Словарь команд речевого интерфейса для системы содержит двадцать команд, специально подобранных с учетом специфики диалога с компьютером при тестировании. Поэтому речевое управление не предусматривает ввод произвольных ответов на тесты речью. В словарь вошли команды, управляющие выбором ответа при прохождении теста и команды, позволяющие управлять процессом тестирования и окном отображения тестов. Команды были поделены на группы, где каждой группе соответствует слово-команда (см. рис. 4). В качестве средства группировки использовалась грамматика, реализованная в формате JSGF (Java Speech Grammar Format).

5. Построение и исследование нейросетевой модели оценки успеваемости студентов

5.1. Проектирование модели

Объём остаточных знаний зависит от ментальности студента и некоторых других факторов, которые описаны в предыдущем разделе. Эта связь трудно формализуема, т. е. математически описать её сложно. В таких случаях, как уже было указано выше, целесообразно использовать нейронную сеть, которая позволит выявить существующую связь путем её обучения. Для обучения нейросети имеется в распоряжении следующая объективная информация:

• психологический портрет, характеризующий ментальность студента;
• учебная программа дисциплины;
• критерии оценки знаний;
• экзаменационная ведомость, отображающая успешность обучения студентов.

Нейронная сеть будет обучаться на основании ментальных портретов группы студентов и оценок из экзаменационной ведомости. Схема данной модели представлена на рис. 5.

Исследования качества нейросетевого прогнозирования проводились на ментальных портретах, в которых не учитывалась креативность и ряд других факторов. В этой связи входными сигналами были использованы основные ментальные характеристики студентов, описанные в предыдущем разделе, а также показатели посещаемости студентов. Входные сигналы нейросети образуют вектор X = (x1, x2, …, x6), компоненты которого описаны в табл. 1.

Нейросеть на выходе должна формировать сигналы, определяющие прогнозную экзаменационную оценку, соответствующую ментальному портрету студента, по одной изучаемой дисциплине (рис. 5). В модели оценка закодирована четырёхразрядным бинарным кодом (табл. 2).

5.2. Построение модели

Инструментальной средой для создания нейросетевой модели выступал фреймворк Deep Learning Toolbox для пакета MATLAB [10]. Данный фреймворк позволяет решать задачи от создания различных моделей нейронных сетей до визуализации процессов обучения и работы нейронных сетей.

Нейросетевая модель прогнозирования экзаменационной оценки строится на базе нейросети прямого распространения (Feed forward neural network) [11]. Согласно исследованиям [12] для задачи аппроксимации функции, в большинстве случаев, достаточно использовать 2–3 слоя, чтобы обеспечить реализацию любой нелинейной зависимости между входом и выходом. В модели, описанной в данной статье, использовались 2 слоя нейронов, структура которой представлена на рис. 6.

5.3. Результаты

Как уже было отмечено во введении, рассматриваемая задача по оценке успеваемости студентов относится к классу задач прогнозирования. На точность её решения сильно влияет структура нейронной сети. Количество слоёв и нейронов должно быть сбалансировано с объёмом и структурой обучающего множества.

На примере аппроксимации синусоиды нейросетью, обученной на пяти заданных значениях функции, было показано, что точность может даже ухудшиться в точках, не принадлежащих обучающему множеству, с увеличением числа нейронов в скрытом слое (см. рис. 7).

На точность прогнозирования сильное влияние также оказывает плотность покрытия области определения функции элементами обучающего множества [13]. Из рис. 7 видно, что точность аппроксимации выше в той области, которая покрыта большим числом обучающих пар. Недостаточный объем обучающего множества и его неравномерное покрытие области определения отрицательно сказывается на однозначности построения нейросетевой функции прогноза. Более того, при каждом повторном обучении получаются разные нейросетевые функции, несмотря на неизменность обучающего множества и точное совпадение значений в эталонных точках (см. рис. 8).

Аналогичные проблемы были замечены и при нейросетевом прогнозировании оценки успеваемости студентов на обучающем множестве, состоящем из ментальных портретов и экзаменационных оценок 60 студентов.

Результаты на гистограмме (рис. 9) показывают, что в области студентов, успевающих на оценку 3, из-за большего объёма обучающих примеров вероятность точного прогноза при 100 перезапусках на обучение достигает значения 0.9, что нельзя увидеть в других областях, обозначенных оценкой. Данный эксперимент подчеркивает необходимость в дальнейшем стремиться увеличить объём и улучшить равномерность распределения элементов обучающего множества.

На рис. 10 показаны результаты прогнозирования (классификации) получаемой оценки на экзамене у 10 студентов с удовлетворительной успеваемостью (экзаменационная оценка 3), ментальные портреты которых не учавствовали в обучении нейросетевой модели. Ментальные портреты 7 студентов были правильно отнесены к классу студентов, успевающих на оценку 3. Относительно хороший результат можно объяснить большим объёмом обучающих пар в этой группе студентов (см. рис. 9).

Выводы

В классе нейросетевых функций выполнена постановка задачи прогнозирования успеваемости студентов по их по ментальным портретам.

Разработан прототип системы построения ментального портрета студента на основе психофизиологического тестирования личности. Помимо стандартных тактильно-сенсорных устройств управления компьютером (клавиатура, мышь) прототип системы предоставляет пользователям канал речевого управления, способный распознавать ответы на предоставляемые тесты и другие команды речью с точностью приблизительно 73%.

На основании результатов психометрического оценивания личностей студентов построено обучающее множество для настройки нейромодели. Выполненные исследования показали возможность применения нейросетевого подхода к решению трудно формализуемой задачи прогнозирования успеваемости студентов на этапе их обучения и направление дальнейшей работы по улучшению качества модели.

Нейросетевая модель прогнозирования остаточных знаний на уровне компетенций позволит анализировать качество обучения, видеть степень усвоения студентами учебного материала, обнаруживать расхождение по компетенциям между дисциплиной и требованиями фирм, оценивать возможность трудоустройства выпускников.

При написании данного реферата магистерская работа еще не завершена. Окончательное завершение: май 2020 года. Полный текст работы и материалы по теме могут быть получены у автора или его руководителя после указанной даты.

Список источников

1. Калинин А.М., Тарасов В.Г. Использование данных электронного обучения для оценки и прогнозирования результатов. V Международная научно-практическая конференция Электронное обучение в непрерывном образовании, ЭОНО–2018 (Россия, Ульяновск, 18–20 апреля 2018 г.): сборник научных трудов. – Ульяновск: УлГТУ, 2018. – С. 493–501.
2. Okubo F., Yamashita T., Shimada A., Ogata H. A neural network approach for students’ performance prediction. In Proceedings of the 7th International Learning Analytics & Knowledge Conference, Vancouver, BC, Canada, 13–17 March 2017; pp. 598–599.
3. Русаков С.В., Русакова О.Л., Посохина К.А. Нейросетевая модель прогнозирования группы риска по успеваемости студентов первого курса // Современные информационные технологии и ИТ–образование, Vol.14, N 4, 2018. – p.815–822.
4. Федяев О.И. Нейросетевая модель процесса профессионального обучения молодых специалистов // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS–2015): материалы 5-й межд. научно-техн. конф. (Минск, 19–21 февраля 2015 г.). – Минск: БГУИР, 2015.
5. Федяев О.И. Формирование зависимости остаточных знаний студентов от их ментальности с помощью нейронных сетей / Федяев О.И., Грабчук О.П., Елифёров В.В. // Труды конференции ИАИ–2015, КПИ, Киев, 2015. – С. 258–265.
6. Айзенк Г. Как измерить личность: учеб. пособие / Айзенк Г., Вильсон Г. – М.: Изд-во Когнито–Центр, 2000. – 27 с.
7. Айзенк Г. Новые тесты IQ – М.: Изд-во ЭСКМО, 2003. – 189 с.
8. Ильин Е.П. Психология творчества, креативности, одарённости. – СПб.: Питер, 2004. – 537 с.
9. Гончаров К.Д. Система построения ментального портрета студента с речевым интерфейсом [Электронный ресурс] / Гончаров К.Д., Федяев О.И. //Информатика, управляющие системы, математическое и компьютерное моделирование в рамках IV форума Инновационные перспективы Донбасса (ИУСМКМ – 2018): IX Международная научно-техническая конференция, 22–24 мая 2018, г. Донецк: / Донец. национал. техн. ун-т. – Донецк: ДонНТУ, 2018. – Режим доступа: http://iuskm.donntu.ru.
10. Deep Learning in MATLAB [Электронный ресурс] – Режим доступа:https://www.mathworks.com/
11. Deep Learning: Feedforward Neural Network [Электронный ресурс] – Режим доступа: https://towardsdatascience.com/
12. Saurabh Karsoliya Approximating Number of Hidden layer neurons in Multiple Hidden Layer BPNN Architecture. // International Journal of Engineering Trends and Technology, Vol.3, N 6, 2012. – p.714–717.
13. Бэстенс Д.Э., Ванн ден Берг В.М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. – М.: ТВП, 1997. – 236 с.