НЕЙРОСЕТЕВОЕ ПРОГНОЗИРОВАНИЕ УСПЕВАЕМОСТИ ПО МЕНТАЛЬНЫМ ХАРАКТЕРИСТИКАМ СТУДЕНТОВ

Введение

В работе рассматриваются вопросы прогнозирования и анализа качества обучения студентов на выпускающей кафедре университета. Система профессиональной подготовки студентов, как объект исследования, представляет собой сложную образовательную среду, в которой созданы условия обучения для субъектов образовательного процесса — преподавателей и студентов. Учитывая социально-экономическую значимость образования, оценка эффективности процессов подготовки специалистов и их трудоустройство очень важна для анализа и управления университетом как образовательной средой, в рамках которой решаются задачи составления современных образовательных стандартов, организации эффективного учебного процесса, распределения выпускников на предприятия в соответствии с полученной квалификацией и требованиями заказчиков. Перечисленные задачи являются трудно формализуемыми по причине неоднородности, интеллектуальности и динамичности взаимодействия субъектов, поэтому описать точно поведение такой системы классическими математическими методами очень проблематично.

Анализ литературы показывает [1-3], что решение перечисленных задач успешно осуществляется методами имитационного моделирования, которые позволяют разрабатывать качественно новые модели, объединяющие достоинства математических методов, статистики, теории нейронных сетей и программирования. Например, в работе [3] рассматривается построение модели на основе нейронной сети для прогнозирования сложной задачи определения группы риска, включающей кандидатов на исключение среди студентов первого курса.

Данная работа посвящена решению задача прогнозирования качества профессионального обучения студентов в зависимости от их личностных характеристик и других факторов. Она решается на основе применения искусственных нейронных сетей и сводится к разработке нейросетевой модели, способной функционально описать зависимость получаемых студентом профессиональных знаний и умений по одной дисциплине от факторов, влияющих на полноту этих знаний. В свою очередь она разбивается на две подзадачи [4].

Подзадача 1. Настройка модели по данным наблюдений. Это обратная задача, связанная с нахождением параметров модели, т. е. с построением функции f по наблюдаемым данным Mc, Мп, С и Рс:

где Мс – ментальность студента; Мп – ментальность преподавателя; С – среда обучения; Рс – профессионализм студента по одной изучаемой дисциплине.

Ментальность студента (Мс) определяется элементами, которые характеризуют его воспитательный аспект и приобретённый жизненный опыт:

где m – ментальность; i – интеллект; p – психология; s – здоровье.

Ментальность преподавателя (Мп) в данном случае определяется факторами, от которых зависит качество передачи знаний от преподавателя к студенту:

где us – учёная степень; uz – учёное звание; h - стаж; v - возраст; a - артистизм.

Среда обучения (С) характеризуется состоянием учебно-методического и технического обеспечения учебного процесса, а также уровнем организации обучения студентов.

Профессионализм студента по одной изучаемой дисциплине (Рс) определяется объёмом знаний (zc) и умений (uc), которые он получает в процессе изучения данной дисциплины:

где Zд – объём знаний, определяемый учебной программой дисциплины, которая читается на кафедре; Z – объём знаний по данному профессиональному направлению, определяемый современным состоянием науки и техники;

Подзадача 2. Формирование знаний и умений по ментальности участников образовательного процесса. Данная задача состоит в явном нахождении профессионализма студента (Рс), т. е. его знаний и умений, после изучения конкретной дисциплины, по замеренным данным о ментальности студента (Мс) и преподавателя (Мп) с помощью построенной модели f:

Эта подзадача относится к классу прогнозных задач. С её помощью можно исследовать влияние различных параметров (содержание учебной программы, контингент студентов и т. д.) на качество образования в конкретном университете и строить другие прогнозы.

Для построения модели необходимо учесть факторы (личностные характеристики), влияющие на качество усвоения студентом знаний.

Структура ментального портрета студента

На наш взгляд, к важным факторам, влияющим на усвоение студентом учебного материала, можно отнести совокупность индивидуальных психофизиологических особенностей личности. Для их выявления были использованы популярные психологические методы анализа личности (рис.1) [5-7].

В совокупности 6 тестов содержали более 200 заданий, что значительно усложняло предъявление тестов и увеличивало время тестирования при большом количестве опрашиваемых студентов. Чтобы ускорить процесс тестирования личности, была разработана система, автоматизирующая опрос студентов и обработку полученных ответов на психологические тесты [8]. Интерфейс системы включал не только традиционные оконные формы, но и в некоторых случаях ответы тестируемого могли объявляться голосом. Данный сервис системы снижал время проведения тестирования и устранял необходимость использования бумажной документации. Вся собранная информация сохранялась в базе данных, что давало возможность формировать различные варианты обучающего множества для настройки нейросетевой модели.

Рассмотренные факторы позволяют охарактеризовать личность обучаемого с позиции психометрии, что дает основание рассматривать их как ментальный портрет студента.

С помощью применения рассмотренных тестов были определены ментальные (многопрофильные) портреты студентов, изучающих конкретную дисциплину. В частности, были собраны материалы тестирования студентов 3 групп, изучающих в разные годы дисциплину «Методы и системы искусственного интеллекта» в объеме 60 ментальных портретов.

Стратегия обучения нейросетевых моделей прогнозирования компетенции студентов по конкретной дисциплине

Нейросетевая модель ориентируется на описание зависимости остаточных знаний студентов от их ментальности. Модель рассматривает обучение студентов как статический процесс передачи знаний и навыков от преподавателей к учащимся. Качество обучения каждого студента оценивает преподаватель оценкой в экзаменационной ведомости, используя свой профессионалный и личностный менталитет. В итоге разрабатываемая модель процесса обучения должна прогнозировать на выходе остаточные знания студента по отдельной дисциплине (знания и навыки), с которыми он выходит на рынок труда. Эта модель реализуется в блоке 2 на рис. 2. В перспективе по прогнозным данным об остаточных знаниях и умениях работодатели смогут решать вопрос о трудойстройстве студентов на вакантные должности.

Объём остаточных знаний зависит от ментальности студента и некоторых других факторов, которые описаны в предыдущем разделе. Эта связь трудно формализуема, т. е. математически описать её сложно. В таких случаях, как уже было указано выше, целесообразно использовать нейронную сеть, которая позволит выявить существующую связь путем её обучения. Для обучения нейросети имеется в распоряжении следующая объективная информация:

• психологический портрет, характеризующий ментальность студента;
• учебная программа дисциплины;
• критерии оценки знаний;
• экзаменационная ведомость, отображающая успешность обучения студентов.

Нейронная сеть, реализующая первую модель на рис. 2, будет обучаться на основании ментальных портретов группы студентов и оценок из экзаменационной ведомости. Схема данной модели представлена на рис. 3.

Построение и исследование нейросетевой модели оценки успеваемости студентов

Исследования качества нейросетевого прогнозирования проводились на ментальных портретах, в которых не учитывалась креативность и ряд других факторов. В этой связи входными сигналами были использованы основные ментальные характеристики студентов, описанные в предыдущем разделе, а также показатели посещаемости студентов. Входные сигналы нейросети образуют вектор X = (x1, x2, …, x6), компоненты которого описаныв табл. 1.

Таблица 1. Входные параметры нейросети

Нейросеть на выходе должна формировать сигналы, определяющие прогнозную экзаменационную оценку, соответствующую ментальному портрету студента, по одной изучаемой дисциплине (рис. 3). В модели оценка закодирована четырёхразрядным бинарным кодом (табл. 2).

Таблица 2. Бинарное представление выходных сигналов

Инструментальной средой для создания нейросетевой модели выступал фреймворк Deep Learning Toolbox для пакета MATLAB [9], [10]. Данный фреймворк позволяет решать задачи от создания различных моделей нейронных сетей до визуализации процессов обучения и работы нейронных сетей.

Нейросетевая модель прогнозирования экзаменационной оценки строится на базе нейросети прямого распространения (Feed forward neural network) [9]. Согласно исследованиям [11] для задачи аппроксимации функции, в большинстве случаев, достаточно использовать 2-3 слоя, чтобы обеспечить реализацию любой нелинейной зависимости между входом и выходом. В модели, описанной в данной статье, использовались 2 слоя нейронов, структура которой представлена на рис. 4.

Как уже было отмечено во введении, рассматриваемая задача по оценке успеваемости студентов относится к классу задач прогнозирования. На точность её решения сильно влияет структура нейронной сети. Количество слоёв и нейронов должно быть сбалансировано с объёмом и структурой обучающего множества.

На примере аппроксимации синусоиды нейросетью, обученной на пяти заданных значениях функции, было показано, что точность может даже ухудшиться в точках, не принадлежащих обучающему множеству, с увеличением числа нейронов в скрытом слое (см. рис. 5).

На точность прогнозирования сильное влияние также оказывает плотность «покрытия» области определения функции элементами обучающего множества [12]. Из рис. 6 видно, что точность аппроксимации выше в той области, которая «покрыта» большим числом обучающих пар. Недостаточный объем обучающего множества и его неравномерное «покрытие» области определения отрицательно сказывается на однозначности построения нейросетевой функции прогноза. Более того, при каждом повторном обучении получаются разные нейросетевые функции, несмотря на неизменность обучающего множества и точное совпадение значений в эталонных точках (см. рис. 6).

сплошная (красным) - точная функция; квадратики - точки обучающего множества; тире (синим), точки (коричневым) - вид аппроксимирующих нейросетевых функций при повторном обучении на одном обучающем множестве

Аналогичные проблемы были замечены и при нейросетевом прогнозировании оценки успеваемости студентов на обучающем множестве, состоящем из ментальных портретов и экзаменационных оценок 60 студентов.

Результаты на гистограмме (рис. 7) показывают, что в области студентов, успевающих на оценку «3», из-за большего объёма обучающих примеров вероятность точного прогноза при 100 перезапусках на обучение достигает значения 0.9, что нельзя увидеть в других областях, обозначенных оценкой. Данный эксперимент подчеркивает необходимость в дальнейшем стремиться увеличить объём и улучшить равномерность распределенияэлементов обучающего множества.

— вероятность модели прогнозировать однозначный результат; — распределение количества ментальных портретов на всём диапазоне ментальности в шкале оценок

На рис. 8 показаны результаты прогнозирования (классификации) получаемой оценки на экзамене у 10 студентов с удовлетворительной успеваемостью (экзаменационная оценка «3»), ментальные портреты которых не учавствовали в обучении нейросетевой модели. Ментальные портреты 7 студентов были правильно отнесены к классу студентов, успевающих на оценку «3». Относительно хороший результат можно объяснить большим объёмом обучающих пар в этой группе студентов (см. рис. 7).

Выводы

В классе нейросетевых функций выполнена постановка задачи прогнозирования успеваемости студентов по их по ментальным портретам. На основании результатов психометрического оценивания личностей студентов построено обучающее множество для настройки нейромодели. Выполненные исследования показали возможность применения нейросетевого подхода к решению трудно формализуемой задачи прогнозирования успеваемости студентов на этапе их обучения и направление дальнейшей работы по улучшению качества модели.

Нейросетевая модель прогнозирования остаточных знаний на уровне компетенций позволит анализировать качество обучения, видеть степень усвоения студентами учебного материала, обнаруживать расхождение по компетенциям между дисциплиной и требованиями фирм, оценивать возможность трудоустройства выпускников.

Литература

1. Калинин А.М., Тарасов В.Г. Использование данных электронного обучения для оценки и прогнозирования результатов. V Международная научно-практическая конференция «Электронное обучение в непрерывном образовании, ЭОНО-2018» (Россия, Ульяновск, 18-20 апреля 2018 г.): сборник научных трудов. – Ульяновск: УлГТУ, 2018. - С. 493-501.

2. Федяев О.И. Нейросетевая модель процесса профессионального обучения молодых специалистов // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS-2015): материалы 5-й межд. научно-техн. конф. (Минск, 19-21 февраля 2015 г.). – Минск: БГУИР, 2015.

3. Русаков С.В., Русакова О.Л., Посохина К.А. Нейросетевая модель прогнозирования группы риска по успеваемости студентов первого курса // Современные информационные технологии и ИТ-образование, Vol.14, N 4, 2018. - p.815-822.

4. Федяев, О.И. Формирование зависимости остаточных знаний студентов от их ментальности с помощью нейронных сетей / Федяев О.И., Грабчук О.П., Елифёров В.В. // Труды конференции ИАИ-2015, КПИ, Киев, 2015. - С. 258-265.

5. Айзенк, Г. Как измерить личность: учеб. пособие / Айзенк Г., Вильсон Г. - М.: Изд-во Когнито-Центр, 2000. - 27 с.

6. Айзенк Г. Новые тесты IQ - М.: Изд-во «ЭСКМО», 2003. – 189 с.

7. Ильин Е.П. Психология творчества, креативности, одарённости. - СПб.: Питер, 2004. – 537 с.

8. Гончаров, К.Д. Система построения ментального портрета студента с речевым интерфейсом [Электронный ресурс] / Гончаров К.Д., Федяев О.И. //Информатика, управляющие системы, математическое и компьютерное моделирование в рамках IV форума «Инновационные перспективы Донбасса» (ИУСМКМ - 2018): IX Международная научно-техническая конференция, 22-24 мая 2018, г. Донецк: / Донец. национал. техн. ун-т. – Донецк: ДонНТУ, 2018. – Режим доступа: http://iuskm.donntu.org/elektronnyjarxiv-konferencii/ .

9. Deep Learning: Feedforward Neural Network [Электронный ресурс] – Режим доступа: https://towardsdatascience.com/deep-learning-feedforwardneural-network-26a6705dbdc7

10. Deep Learning in MATLAB [Электронный ресурс] – Режим доступа: https://www.mathworks.com/help/deeplearning/ug/deep-learning-in-matlab.html

11. Saurabh Karsoliya Approximating Number of Hidden layer neurons in Multiple Hidden Layer BPNN Architecture. // International Journal of Engineering Trends and Technology, Vol.3, N 6, 2012. - p.714-717.

12. Бэстенс Д.-Э., Ванн ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. – М.: ТВП, 1997. – 236 с.