Прогнозирование успеваемости учащихся с использованием искусственных нейронных сетей: пример из практики факультета организационных наук

Аннотация

Sonja Isljamovic, Milija Suknovic Прогнозирование успеваемости учащихся с использованием искусственных нейронных сетей: пример из практики факультета организационных наук. Сохранение контингента студентов и их успеваемость в высшем образовании являются важными вопросами для образовательных учреждений, преподавателей и самих студентов. Анализ данных в области образования сосредоточена на разработке моделей и методов изучения данных, собранных в образовательной среде, в целях лучшего понимания и совершенствования образовательного процесса. Анализируя и определяя закономерности между показателями академической успеваемости (средний балл успеваемости) и их связь с личными данными учащихся старших классов, можно представить хорошую основу для адаптации и совершенствования учебной программы высших учебных заведений в соответствии с особенностями студентов. В данной статье мы используем различные алгоритмы искусственных нейросетей для того, чтобы найти наиболее подходящую модель для прогнозирования успеваемости студентов по окончании обучения. Кроме того, были выявлены факторы, которые оказали решающее влияние на общий успех учащихся. Данные были собраны у аспирантов Факультета организационных наук Белградского университета

Ключевые слова: Анализ образовательных данных, успеваемость студентов, искусственные нейронные сети, университетское образование

Введение

Академическое образование представляет собой одну из ключевых ролей в процессе модернизации страны и достижения конкурентных преимуществ. Процесс обучения и развития человеческих ресурсов становится все более важной концепцией, с помощью которой он может стать определяющим фактором успеха в бизнесе и в обществе в целом. Можно сказать, что новая социальная элита формируется в академических кругах с целью стабилизации и улучшения общего состояния экономики и общества.

В данном исследовании искусственные нейронные сети используются для того, чтобы сделать систему раннего прогнозирования успеваемости студентов на основе результатов экзаменов на первом курсе обучения. Ранний прогноз успеха учащихся может помочь преподавателям определить студентов, которые обладают потенциалом для прохождения продвинутых курсов, а также студентов, которые нуждаются в дополнительном образовании для улучшения своих знаний. С другой стороны, разработанная система может быть полезной для студентов, чтобы они могли оценить свои будущие успехи в учебе на основе своих учебных привычек, работы и оценок. Это могло бы помочь им своевременно определить, нужны ли им дополнительные усилия для достижения желаемого успеха.

Статья имеет следующую структуру: в разделе 2 представлен обзор современного состояния дел в области прогнозирования успехов учащихся в работе с искусственными нейронными сетями. В разделе 3 объясняются структура и функция искусственных нейронных сетей, а также эффективные методики прогнозирования. В Разделе 4 представлены экспериментальные результаты данного исследования. Эволюционные модели в этом исследовании оцениваются на основе реальных данных о студентах и их успехах на Факультете организационных наук в Белграде. В разделе 5 обсуждаются результаты и даются указания по дальнейшим исследованиям.

Решения для прогнозирования успеваемости студентов

Способность прогнозировать успеваемость студентов очень важна в образовательной системе вуза, а для факультета, университета и преподавателей, а также для самих студентов. Сбор и анализ данных в области образования (Educational Data Mining - EDM), как новая область исследований, развивался в последнее десятилетие как специальная область применения методов и инструментов для выявления закономерностей и корреляции в данных (data mining), с целью анализа уникальных типов данных, возникающих в системе образования для решения различных проблем процесса образовательно-инструктивного совершенствования (Romero & Ventura, 2007; Romero & Ventura, 2010). EDM занимается разработкой, исследованием и применением методов выявления закономерностей в данных в базе данных в области образования, которые в противном случае было бы трудно или почти невозможно проанализировать и определить зависимость моделей поведения и обучения среди студентов, в первую очередь из-за большого объема данных (Romero et al., 2010).

Применение методов добычи данных в образовательной среде становится все более популярной областью исследований, и в последние годы появляется все больше научных работ (Minaei-Bidgoli & Punch, 2003; Schumacher et al., 2010; Etchells et al.; 2006; Ayesha et al., 2010; Wook et al., 2009). Исследования в области добычи образовательных данных сосредоточены на различных аспектах образовательного процесса: учащиеся, преподаватели, учебные пособия, организация обучения и т.д. (Falakmasir & Habibi, 2010; Kumar & Chadha, 2011; Romero & Ventura, 2007; Guruler et al., 2010). Одна из основных целей и основных областей применения интеллектуального анализа образовательных данных может быть разделена на следующие категории: Прогнозирование успеха студентов, организация учебных программ, прогнозирование зачисления студентов на более высокий уровень образовательной программы, выявление мошенничества при сдаче он-лайн экзамена, идентификация аномальных/экстремальных величин в системе образования, (Kumar & Chadha, 2011). Для достижения этих целей используются различные алгоритмы поиска данных, такие как: дерево решений, искусственные нейронные сети (ИНС), k-ближайший сосед, наивные Байесовские классификаторы, метод опорных векторов, кластерные алгоритмы (Ayesha et al., 2010).

Традиционно, академические исследователи использовали статистические модели и методы для прогнозирования успеха студентов. Сегодня существует множество различных подходов к классификации учащихся и прогнозированию их оценок Гонсалес и Дезжарден (2002) пытались предсказать успех учеников, используя модели линейной регрессии и нейросетей. Результаты их исследований показывают, что модели логистической регрессии не предсказывают поведение студентов в равной степени, как и модели искусственных нейросетей. Томас и Хасс (Thomas and Hass, 2001) сравнили производительность трех различных методов анализа данных для прогнозирования поведения студентов: нейросетей, кластерных алгоритмов и деревьев решений, где модель на основе нейронных сетей дала наилучшие результаты. Дельгадо (Delgado et al., 2006) использовал нейронные сети для предсказания успеха студентов на экзаменах, определяемых с помощью бинарных классов (успех или провал) или без). Wook (Wook et al., 2009), сравнили два метода поиска данных, ИНС и сочетание методов кластеризации и дерева принятия решений для прогнозирования и классификации успеваемости студентов, и на основе этих исследований они определили модели, которые влияют на успеваемость студентов. Го (Го, 2010) использовал нейронную сеть для создания динамических моделей для анализа и прогнозирования удовлетворенности студентов курсами.

В статье (Stathacopoulou et al., 2007) нейронные сети были использованы для добавления способности к обучению и обобщению к нечеткой модели путем кодирования опыта учителей через контролируемое нейронное сетевое обучение. Исследование (Wu et al., 2008) показывает, что надлежащим образом подготовленная классификационная модель ИНС может быть надежным предсказателем для использования в процедуре диагностики нарушений обучения, а также хорошо подготовленная модель ИНС может быть использована для проверки того, является ли процедура диагностики нарушений обучения подходящей. Используются искусственные нейронные сети для прогнозирования количества учащихся средней школы, которые продолжат учебу в университете (Герасимович и др., 2001). Исламович (Исламович и др., 2012) сравнили несколько алгоритмов классификации для того, чтобы предсказать, продемонстрирует ли студент отличные результаты (т.е. самые высокие оценки) на выбранном курсе по усовершенствованным технологиям учебной среды. ИНС были одними из лучших алгоритмов по ряду критериев оценки.

Использование искусственных нейронных сетей

Искусственные нейронные сети (ИНС) по своей структуре, функции и обработке данных схожи с биологическими нейронными сетями и представляют собой относительно хороший метод, решающий проблему классификации и прогнозирования. ИНС представляет собой набор математических моделей, которые могут имитировать некоторые характеристики биологических нейронных систем и имеют сходство с адаптивным человеческим обучением. Они состоят из большого количества связанных нейронов (элементов обработки), соединенных их связями, содержащими проницаемые (весовые) коэффициенты, которые, в зависимости от их роли, аналогичны синапсам. Нейроны организованы в три уровня: входной слой, один или несколько скрытых и выходной слой. ИНС обрабатывает информацию, подобно биологическим нейронным сетям, с возможностью запоминания, изучения и устранения ошибок с высокой скоростью получения решения, чтобы нейронные сети могли быть использованы для решения сложных задач, таких как классификация и прогнозирование (Yeh, 1999). ИНС успешно использовались в различных дисциплинах для моделирования сложных и актуальных проблем (Liao & Wen, 2007).

Для того чтобы найти модель наилучшего качества, мы использовали шесть различных методов построения нейросетевых моделей:

• Быстрый: метод, использующий эмпирические правила и характеристики данных для выбора подходящего варианта топологии сети;
• Динамический: метод, который автоматически создает начальную топологию, а затем добавляет или удаляет скрытые узлы во время тренировки;
• Множественный: метод, который создает несколько сетей с разной топологией, где точное количество зависит от количества обучающих данных. Эти сети обучаются параллельно, и модель с наименьшими ошибками рассматривается в качестве конечной модели.
• Отсечение: метод, который сначала создает большую сеть (с большим количеством скрытых слоев и узлов), а затем удаляет самые слабые узлы из входных и скрытых слоев. Этот метод обычно медленный, но очень часто дает лучшие результаты, чем другие методы.
• RBFN (радиально базисная функциональная сеть): использует метод, аналогичный k-среднему алгоритму кластеризации для того, чтобы разделить данные в соответствии с выходной переменной.
• Исключительное Отсечение: метод, очень похожий на метод Отсечения, который сначала создает большую сеть (с большим количеством различных слоев и узлов), а затем удаляет самые слабые единицы из входного и скрытого слоев. Параметры этого метода настраиваются таким образом, чтобы обеспечить очень детальный поиск возможного пространства модели, с целью нахождения наилучшей возможной. Этот метод является самым медленным, но обычно дает наилучшие результаты.

Прогнозирование успеха студентов - анализ конкретных ситуаций

В данном исследовании программный пакет Clementine (SPSS) был использован для ИНС, разработанный как одно из наиболее эффективных и действенных программных решений, позволяющих осуществлять интеллектуальный анализ данных, а также быстро разрабатывать модели прогнозирования, с высоким качеством. Обработка данных в Clementine осуществляется с использованием различных подключенных узлов, формирующих определенный поток данных, по которым осуществляется поиск и прогнозирование данных.

В качестве исходных данных ( предсказателей ) были использованы 15 переменных величин, которые соотносятся с личностными характеристиками учащихся (их пол), данными средней школы (средний балл успеваемости и тип средней школы), данными приема (пункты вступительных экзаменов) и оценками первого года обучения (индивидуальные оценки по 11 экзаменам первого года обучения). С другой стороны, в качестве выхода из нейронной сети, мы использовали средний балл успеваемости в конце их учебы. Соотношение между тренировочными данными и данными тестирования составило 80:20. Оценка модели проводится на основе не использованных данных.

Производительность разработанных моделей измеряется по абсолютной средней погрешности, среднеквадратическому отклонению и линейной корреляции. Результаты и показатели работы, разработанной ИНС представлены в таблице 1. Лучшие значения для каждого критерия сравнения выделены жирным шрифтом.

Сравнительный анализ результатов на тестовом образце показал, что разработанная ИНС дает приемлемые результаты. Абсолютная средняя погрешность прогнозирования во всех сетях составляет от 0,231 до 0,259, а коэффициент линейной корреляции всегда превышает 87%. Исключительное Отсечение выделяется как лучший алгоритм по всем критериям, дающий наименьшую абсолютную среднюю погрешность (0,231), наименьшее стандартное отклонение (0,293), и в то же время самый большой коэффициент линейной корреляции (89,4%). Разработанная многослойная нейронная сеть с методом Исключительного Отсечения состоит из входного слоя с 15 переменными, выходного слоя с одной переменной и двух скрытых слоев с 30 и 20 нейронами. Результаты с лучшими ИНС указывают на то, что почти на 90% система будет правильно предсказывать итоговый средний академический балл, который представляет собой более чем хорошую точность в предсказании, особенно если мы знаем, что средний академический балл будет равняться одному или двум десятичным, тогда среднее отклонение будет иметь еще меньше влияния на окончательный результат.

С использованием ИНС получаем еще одно преимущество по сравнению с некоторыми другими методами и методами анализа данных, которое выражается в расчете относительной важности входных переменных для прогнозирования выходной переменной. Для того, чтобы определить основные факторы, влияющие на успеваемость студентов, мы использовали это преимущество ИНС. Значимость атрибутов разработанной модели АНН приведена в таблице 2. Видно, что 6 первых ранжированных атрибутов в рамках разработанной модели считаются наиболее важными (относительное значение больше 0,1).

Проведя дальнейший анализ, можно сделать вывод, что оценки на экзамене в первом семестре обучения оказывают большое влияние на общий успех обучения, а также на данные из средней школы (тип средней школы и средний балл успеваемости), где обе группы переменных достигли значения более 0,1. С другой стороны, как видно из таблицы 2, пол студентов и баллы вступительных экзаменов не имеют большого значения для прогнозирования успеха студента. Также некоторые оценки, полученные на экзаменах первого года обучения, особенно по предметам второго семестра, оказали на него небольшое влияние, таким как менеджмент, экономика и психология/социология.

После выбора 6 наиболее важных входных переменных, мы повторили процесс прогнозирования среднего балла только с этими 6 переменными, чтобы изучить потенциальную производительность модели прогнозирования с меньшим количеством входных переменных. Результаты и показатели работы разработанной ИНС приведены в таблице 3, с использованием тех же параметров эффективности.

Разработанные модели с меньшим количеством вводимых ресурсов также дали удовлетворительные результаты. В очередной раз Исключительное Отсечение выделяется как лучший алгоритм по всем критериям, дающий наименьшую абсолютную среднюю погрешность (0,253, наименьшее стандартное отклонение (0,317), и в то же время самый большой коэффициент линейной корреляции (89%). Разработанная многослойная нейронная сеть с методом Исключительное Отсечение состоит из входного слоя с 6 переменными, выходного слоя с одной переменной и двух скрытых слоев с 24 и 18 нейронами. Сравнивая два разработанных метода ИНС с методом Исключительное Отсечение можно сделать вывод, что разница не велика, поэтому иногда можно также использовать модель, разработанную с 6 входными переменными.

Выводы

В данной статье модель прогнозирования успеваемости студентов разработана для того, чтобы помочь преподавателям определить студентов, которые имеют потенциал для изучения продвинутых курсов, а также студентов, которые нуждаются в дополнительном образовании для улучшения своих знаний. Используя информацию о студентах после первого года обучения в качестве входных переменных, разработанная модель многослойной нейронной сети имеет возможность предсказать успех студентов в конце их обучения. Разработка такой модели дает возможность определить, какие аспекты образовательного плана и программы необходимо усовершенствовать, чтобы побудить студентов к более напряженной работе и улучшить свои знания в определенных отраслях науки. Эта система также должна быть полезной для учащихся, с тем чтобы они могли адаптироваться к своим привычкам в учебе, работе и успеваемости и добиться желаемого общего успеха.

Будущие разработки и исследования, во-первых, с точки зрения заблаговременного использования концепций образовательного анализа данных, будут включать интеграцию большого числа входных переменных, таких как переменные, которые непосредственно связаны с исследованиями и социально-экономическими и демографическими показателями, их сравнительный анализ, а во-вторых, в способ разработки моделей для прогнозирования успеха исследований на основе переменных, которые были проанализированы в данной статье.