Системы распознавания эмоций лица в «умных» классах

Amimi Rajae¹, Radgui Amina², Ibn el haj el hassane³

¹ Национальный институт почты и телекоммуникаций, Рабат, Марокко, amimi.rajae@inpt.ac.ma

² Национальный институт почты и телекоммуникаций, Рабат, Марокко, radgui@inpt.ac.ma

³ Национальный институт почты и телекоммуникаций, Рабат, Марокко, ibnelhaj@inpt.ac.ma

Аннотация

Технологии трансформировали традиционные образовательные системы по всему миру. Интеграция цифровых образовательных инструментов в классные комнаты предоставляет студентам лучшие возможности для эффективного обучения и позволяет преподавателю легче передавать знания. В последние годы произошло множество улучшений в области «умных» классов. Например, интеграция систем распознавания эмоций лица (FER) превратила классную комнату в эмоционально осознанное пространство с использованием возможностей машинного интеллекта и Интернета вещей (IoT). В данной статье представлен обзор современного состояния концепции «умных» классов и показано, как применение систем FER существенно повышает уровень этой концепции. Ключевые слова: умные классы, эмоциональное состояние студентов, системы FER, интеллектуальное обучение, база данных выражений студентов

1 Введение

Концепция современного класса уже давно привлекает интерес многих исследователей. Она восходит к началу XVI века, когда отцы-пилигримы основали первую публичную школу в 1635 году. С 1980-х годов, с развитием информационных технологий, таких как сетевое взаимодействие, мультимедиа и информатика, классы различных школ становились все более информационно-насыщенными на разных уровнях.

Как правило, класс определяется как образовательное пространство, где учитель передает знания группе студентов; эта обучающая среда является одним из основных элементов, влияющих на качество образования. Поэтому исследователи предлагают умные классы как инновационный подход, порождающий новую интеллектуальную методику преподавания, которая стала популярной с 2012 года. В литературе представлено два взгляда на эту концепцию. Первый подход, который хорошо использовал совместный рост компьютерных наук и электронной промышленности, сосредотачивается на возможности развертывания различных интеллектуальных устройств взамен традиционных материалов, таких как замена книг на оптические диски или флеш-накопители, отказ от меловой доски в пользу интерактивной. В своей статье

"Что такое умный класс?" И Чжан [1] отмечает: "Умный класс можно классифицировать как класс с компьютерами, проекторами, мультимедийными устройствами (видео и DVD), доступом в сеть, громкоговорителями и т.д., способный регулировать освещение и управлять видеопотоками". По мнению некоторых авторов, эта концепция "технологически насыщенного класса" имеет существенное ограничение, поскольку сосредоточена исключительно на дизайне и оснащении классной среды, игнорируя педагогику и учебную деятельность [2]. Однако предложения других исследований указывают на иной взгляд: [3] и др. представляют классы как эмоционально-осознающую среду, делая акцент на улучшении методик преподавания; этот второй подход фокусируется на педагогическом аспекте, а не на технологиях и программном дизайне. Ким и др. предлагают интегрировать машинный интеллект и IoT, чтобы создать класс, который может слушать, видеть и анализировать вовлеченность студентов [3].

В 2013 году Дерик Леони и др. подтвердили, что "Многие преимущества могут быть получены, если интеллектуальные системы смогут предоставить учителям знания об эмоциях их учащихся" [4]. Эмоции могут быть фундаментальным фактором, влияющим на обучение, а также движущей силой, стимулирующей обучение и вовлеченность. В результате исследователи предлагают различные подходы для оценки аффективных состояний студентов, включая текстовые, визуальные, голосовые и мультимодальные методы. Согласно [5], наиболее широко используемыми каналами измерения являются текстовый и визуальный. По сравнению с визуальным каналом, текстовый (основанный на опросах и анализе текста) является менее инновационным, а системы распознавания эмоций по лицу (FER) занимают верхнюю позицию в визуальном канале. В других современных исследованиях многочисленные исследователи предлагают производительные подходы FER с высокой точностью до 80% [6]; это способствует их интеграции как эффективного метода анализа аффективных состояний студентов.

Несмотря на растущее внимание к технологиям, используемым в умном образовании, нет литературы, которая рассматривала бы многие аспекты применения систем распознавания мимики студентов в умных классах. Наша статья помогает понять концепцию будущих классов и их технологий, в частности FER студентов.

Мы организуем статью следующим образом:

Раздел 2 – определение «умного» класса и технологии;

Раздел 3 – интеграция систем FER, базы данных и подходы;

Раздел 4 – выводы и направления будущей работы;

Раздел 5 – заключение.

2 Умный класс: определение и технологии

2.1 Определение умного класса

Умное обучение — это обучение, усиленное технологиями; оно облегчает взаимодействие между студентами и их преподавателем и предоставляет учащимся доступ к цифровым ресурсам; оно также предоставляет руководство, советы, полезные инструменты и рекомендации для эффективного преподавания и обучения. Эта инновационная система обучения включает несколько новых способов обучения, классифицированных на две категории:

Обучение с помощью технологий: например, прохождение интерактивных курсов через массовые открытые онлайн-курсы (MOOC), образовательные игры или интеллектуальные обучающие системы (ITS).

Обучение с учителем: состоит из обучения в физическом классе, усиленном технологиями, что, как правило, и является концепцией умных классов (SC).

Существует много определений умного класса; действительно, трудно согласиться с единым определением, принятым всем научным сообществом. Авторы, такие как [1], представляют интеллектуальный класс как среду, ориентированную на учащихся, которая поддерживает студентов, адаптируется к их способностям к обучению и помогает учителям передавать свои знания интерактивно и легко. Тем временем [7], [8] и др. определяют умный класс как физическую среду, содержащую цифровые инструменты, интерактивные устройства и различные технологии для облегчения деятельности преподавания и улучшения обучения. [3] и др. предлагают определение, выходящее за рамки простой возможности развертывания интеллектуальных материалов в физическом пространстве; они представляют умный класс как эмоционально-осознающую среду, использующую сенсорику в реальном времени и возможности машинного интеллекта, и в этом контексте предлагают новую систему с передовыми технологиями и дают указания по ее развертыванию.

В литературе авторы представляют концепцию будущего класса по-своему, но цель остается неизменной: улучшить образование с помощью технологий. Уместный вопрос здесь: какие элементы составляют типичный интеллектуальный класс? В ответ на этот вопрос [8] и др. предлагают таксономию типичного умного класса, как показано на Рисунке 1.

Типичный умный класс предоставляет такие инструменты, как настольные компьютеры, цифровые камеры, оборудование для записи и трансляции, интерактивные доски и т.д. [9] для эффективной презентации, лучшей оценки, конструктивного взаимодействия и комфортной физической среды. Чтобы представить эту таксономию, необходимо рассмотреть четыре компонента:

Рисунок 1: Таксономия типичного умного класса

Умный контент и презентация: технологии помогают преподавателю подготовить содержание своих курсов и представить его легко и интерактивно [9]. Умная оценка: включает автоматизированную оценку способности студентов к обучению; также она состоит из управления посещаемостью студентов и сбора их отзывов для повышения качества лекций, как представлено в [10], [11]. Умная физическая среда: умные классы обеспечивают здоровый микроклимат, контролируя такие факторы, как воздух, температура, влажность и т.д., с использованием датчиков и исполнительных механизмов [12], [13], [14]. Умное взаимодействие и вовлеченность: фокусируется на анализе уровня вовлеченности студентов и состоит в предоставлении инструментов для улучшения взаимодействия [10], [15], [16].

2.2 Технологии умного класса

Образовательные технологии (EdTech) — это многомиллиардный бизнес, который растет с каждым годом. Многие страны Организации экономического сотрудничества и развития (ОЭСР) тратят более 10% своих бюджетов на образование [17]. Более того, по мере того как все больше стран увеличивают инвестиции в образование, ожидается рост государственных расходов на EdTech. Например, страны с низким и средним уровнем дохода планируют увеличить расходы на образование с 1,2 триллиона долларов США до 3 триллионов долларов США в год [18]. Согласно Инчхонской декларации, страны должны выделять не менее 4–6% своего ВВП на образование или не менее 15–20% государственных расходов. Помимо прогнозируемого расширения в образовательном секторе, рынок технологий для умных классов быстро растет и тесно связан с достижениями в области информатики, робототехники и машинного интеллекта. Как показано в Таблице 1, каждая технология имеет преимущества и недостатки; наиболее распространенными ограничениями большинства этих технологий являются стоимость на первом месте, за которыми следуют проблемы с техническими знаниями (как правило, у учителей и студентов нет необходимых технических знаний для правильного использования этих технологий). Ниже приведены некоторые из основных технологий SC:

Интерактивная доска (IWB): это интеллектуальный инструмент, который позволяет пользователям манипулировать своими презентациями и проецировать их на поверхность доски с помощью специальной ручки или просто руки [19]. IWB может использоваться для цифровизации операций и задач или просто как презентационное устройство [20]. Использование этого устройства произвело революцию в характере образовательной деятельности; оно способно уменьшить сложность преподавания и предоставить преподавателю больше гибкости во время презентаций.

Система управления посещаемостью на основе RFID: RFID означает радиочастотную идентификацию; это беспроводная технология, используемая для отслеживания объекта, а затем запоминания и извлечения данных с помощью радиометок [21]. Система посещаемости RFID автоматически отмечает присутствие студентов в классе, проверяя их идентификационные карты на считывателе. Это яркое инновационное решение для замены классических журналов посещаемости [22], которое помогает учителям сэкономить время, ежедневно проверяя присутствие студентов.

Образовательный кобот: это новый инновационный инструмент, используемый в качестве робота-коллеги для помощи в выполнении учебных задач. Он содержит несколько датчиков, камер, микрофонов и двигателей, поэтому может слушать, видеть, общаться со студентами и помогать учителю [23]. Встроенные в классы, коботы представляют собой школу будущего и значительно изменили традиционные способы преподавания [24].

Датчики и исполнительные механизмы: заключаются в установке датчиков для сбора данных из окружающей среды, отправки этих данных в облако для анализа и возможного принятия решений о действиях с помощью исполнительных механизмов; например, датчик температуры обнаруживает и измеряет тепло и холод, а затем отправляет информацию на другое устройство для регулировки температуры. Эта технология обеспечивает адекватный здоровый микроклимат, контролируя воздух, температуру, влажность и т.д. [13].

Дополненная реальность (AR): это система, которая объединяет реальный и виртуальный миры; это интерактивный опыт реального мира, в котором компьютерная перцептивная информация улучшает реальные объекты [25]. Впервые она была использована в приложениях для обучения пилотов в 1990-х годах [26], и с годами продемонстрировала высокую эффективность при внедрении в образовательные учреждения; она использовалась для улучшения многих дисциплин, особенно когда студенты изучают предметы со сложными, абстрактными понятиями или просто вещами, которые им трудно визуализировать, такие как математика, география, анатомия и т.д. [27].

Система обратной связи в классе (CRS): используется для сбора ответов от всех студентов и их электронной отправки для анализа учителем, который может графически отобразить сводку собранных данных [28]. CRS является эффективным методом повышения взаимодействия в классе [29]. Согласно Мартин (2007) [30], "Одним из лучших аспектов CRS является то, что она поощряет студентов участвовать без страха быть публично униженными или доминирования в обсуждении более красноречивых студентов".

Готовый к использованию (COTS) айтрекер: это модель, основанная на взгляде, которая используется для мониторинга внимания студентов и обнаружения их блуждания мыслей в классе. Это помогает преподавателю лучше понять их интересы и оценить степень их осознанности [31], [32].

Носимые бейджи: отслеживают положение владельца, обнаруживают, когда другие носители бейджей находятся в радиусе действия, и могут предсказывать эмоции по эмоциональному тону голоса владельца. Это помогает учителю управлять классом; он может использовать эти бейджи, чтобы обнаружить, покинул ли студент класс без разрешения или когда группа учащихся создает громкий шум, который мешает остальным одноклассникам. MIT разработал носимый бейдж командой Сэнди Пентленда [24], [17].

Система управления обучением (LMS): это веб-интегрированное программное обеспечение; используется для создания, предоставления и отслеживания курсов и результатов. Это помогает преподавателям разрабатывать курсы, публиковать объявления, легко и интерактивно общаться, оценивать задания и оценивать своих студентов; кроме того, это позволяет студентам отправлять свою работу, участвовать в обсуждениях и проходить тесты [33], [34], [35].

Распознавание эмоций по лицу студентов (FER): это технология, которая анализирует выражения с помощью изображений человека; она является частью области аффективных вычислений. Авторы используют эту технологию для прогнозирования обратной связи студентов в реальном времени во время лекций [6], что помогает преподавателю улучшить качество своих презентаций.

3 Применение системы FER в умном классе

Подходы FER, используемые для умного класса

Анализ аффективных состояний студентов во время лекции является актуальной задачей в умном классе [36]. Очень важно определить вовлеченность студентов во время лекции, чтобы измерить эффективность педагогики преподавания и улучшить взаимодействие с преподавателем. Поэтому, чтобы получить обратную связь от студентов и достичь их удовлетворения, исследователи предлагают различные методы, такие как: распознавание жестов тела, обнаруженное с использованием сигналов электроэнцефалографии (ЭЭГ) [37], позы тела с использованием либо камер, либо сенсорного стула [16], жесты рук [38], частота сердечных сокращений [39] и так далее. Тем временем, системы FER появляются в литературе как наиболее используемое решение для распознавания аффективных состояний студентов в умном классе.

В последнее время системы FER используются в нескольких областях, таких как робототехника, безопасность, психология и т.д.; таким образом, со временем многие исследователи предлагают новые производительные подходы FER. Структура систем FER организована, как показано на Рисунке 2; входными данными этой системы являются изображения из базы данных FER; эти изображения предварительно обрабатываются таким образом, чтобы соответствовать входному размеру сети; затем адекватные алгоритмы используются для правильного обнаружения области лица и извлечения основных признаков, которые помогают сети обучаться на тренировочных данных; последний шаг — классифицировать результаты в соответствии с метками базы данных [6]. Тысячи статей были написаны на эту тему, но лишь немногие из них применяли системы FER к умным классам.

Ручные подходы: это традиционные методы машинного обучения, заключающиеся в ручном извлечении признаков. Некоторые примеры включают обнаружение краев, повышение резкости, обнаружение углов, гистограммы и т.д. Шаблон LBP, например, представляет собой тип дескриптора изображения, используемого для извлечения текстуры изображения. Затем для классификации используется адекватный классификатор; это также традиционный алгоритм машинного обучения, такой как: метод опорных векторов (SVM), k-ближайших соседей (KNN), дерево решений и т.д.

Подходы глубокого обучения: это новые методы, основанные на нейронных сетях как для извлечения признаков, так и для классификации. Изученные признаки извлекаются автоматически с использованием алгоритмов глубокого обучения; сверточная нейронная сеть (CNN) наиболее часто используется для анализа визуальных изображений; она может выбирать лучшие признаки для классификации изображений.

Гибридные подходы: объединяют алгоритмы машинного обучения и глубокого обучения. Они используют традиционные алгоритмы машинного обучения для извлечения признаков и нейронные сети для классификации изображений;

Замечания и комментарии.

В начале подходы (до 2019 года) использовали классические методы машинного обучения, такие как фильтры Габора, LBP, KNN и SVM, для извлечения признаков и классификации эмоций; затем постепенно, с 2019 года, авторы начали интегрировать нейронные сети. Как показано в Таблице 2, [41] и др. используют гибридный подход, который заключается в использовании LBP-TOP в качестве дескриптора, а затем глубокой нейронной сети (DNN) для классификации, что дает лучший результат (85%) по сравнению с обоими методами, предложенными [40], [10] (точность 72% и 79% соответственно) и новым методом глубокого обучения, предложенным [42]; кроме того, Ашвин и др. предлагают методы с различной улучшенной точностью (от 61% до 88%) путем изменения тренировочных данных [43], [38]; что указывает на важность выбора адекватной базы данных.

Базы данных FER для студентов

В последние годы ощущался недостаток баз данных выражений лиц студентов [36], и большинство авторов используют общие базы данных FER, такие как FER2013 и CK+, для обучения своих моделей [44], [38]. Важно иметь адекватную базу данных, чтобы повысить точность моделей и получить лучшие результаты [16], потому что эффективность моделей FER в основном зависит от качества как баз данных, так и подходов FER [19]. Каждая созданная база данных имеет свои характеристики, зависящие от классов выражений, этнической принадлежности участников, методов маркировки, размера, метода и угла захвата изображения. В Таблице 3 мы собрали базы данных выражений студентов, используемые в интеллектуальных классах.

4 Идеи и будущая работа

В этой статье мы рассмотрели концепцию умного класса и его технологий, особенно систем FER. В будущем мы планируем рассмотреть эволюцию умных классов в этот критический период пандемии.

Сегодня пандемия коронавируса вызывает глобальный кризис в области здравоохранения. В это время страны по всему миру ввели ограничения на социальное дистанцирование, ношение масок и другие аспекты общественной жизни. Карантинные меры в ответ на распространение вируса значительно влияют на образовательные системы. В результате правительства стремятся обеспечить непрерывность обучения и предлагают дистанционное обучение в качестве подходящего временного решения, но, к сожалению, не все студенты во всем мире имеют доступ к цифровым обучающим ресурсам. В нашей будущей работе мы предлагаем модель интеллектуального физического класса, которая учитывает ограничения Covid-19. Мы основываем нашу модель на двух предложениях; как показано на Рисунке 3:

Предложение 1: мы предлагаем систему, которая автоматически определяет, носят ли студенты в классе маски или нет.

Предложение 2: мы определяем расстояния между студентами и сравниваем их с разрешенным расстоянием.

Если студенты не соблюдают ограничения, система отправляет предупреждение учителю в реальном времени.

Замечания и комментарии. Предложенная система интеллектуального класса на Рисунке 3 состоит из (Модели 1, Модели 2) искусственных нейронных сетей для обнаружения студентов без масок и для измерения расстояний между учащимися. Ношение лицевых масок сильно затрудняет работу систем распознавания эмоций по лицу (FER). В нашей будущей работе мы изучим ограничения этих систем, используемых в современных умных классах, а также возможность прогнозирования эмоций на лице студента в маске; поскольку возможно, например, предсказывать блуждание мыслей студентов и уровень их вовлеченности только на основе их взгляда [31], [32].

5 Заключение

Умный класс — не новая концепция, но за годы он претерпел множество изменений благодаря интеграции различных технологий. Исследователи преобразовали класс из простого физического пространства, собирающего учащихся и их преподавателей, в эмоционально-осознающую среду, которая может взаимодействовать со студентами и помогать им эффективно учиться. Многочисленные технологии произвели революцию в эволюции цифровых классов, и системы FER считаются наиболее инновационными. Авторы адаптировали системы FER для использования в умных классах с помощью подходов с высокой точностью и персонализированных баз данных.

Рисунок 3: Предлагаемая модель для интеллектуального класса

Эволюцию этих интерактивных классов можно рассматривать как помощь в обучении в условиях ограничений пандемии COVID-19. Их также можно адаптировать для обучения студентов с особыми потребностями или интеллектуальными нарушениями, чтобы облегчить их взаимодействие с учителями.

6 Благодарности

Авторы хотели бы поблагодарить Национальный центр научных и технических исследований (CNRST) за поддержку и финансирование этого исследования.

Ccылки

[1] Zhang, Y., Li, X., Zhu, L., Dong, X., Hao, Q.: What is a smart classroom? a literature review. In: Perspectives on Rethinking and Reforming Education, pp. 25-40. Springer Singapore (2019) [2] Williamson, B.: Decoding classdojo: Psycho-policy, social-emotional learning and persuasive educational technologies. Learning, Media and Technology 42(4), 440-453 (2017) [3] Kim, Y., Soyata, T., Behnagh, R.F.: Towards emotionally aware AI smart classroom: Current issues and directions for engineering and education. IEEE Access 6, 5308-5331 (2018) [4] Leony, D., Munoz-Merino, P.J., Pardo, A., Kloos, C.D.: Provision of awareness of learners' emotions through visualizations in a computer interaction-based environment. Expert Systems with Applications 40(13), 5093-5100 (2013) [5] Yadegaridehkordi, E., Noor, N.F.B.M., Ayub, M.N.B., Affal, H.B., Hussin, N.B.: Affective computing in education: A systematic review and future research. Computers & Education 142, 103649 (2019) [6] Kas, M., merabet, Y.E., Ruichek, Y., Messoussi, R.: New framework for person-independent facial expression recognition combining textural and shape analysis through new feature extraction approach. Information Sciences 549, 200-220 (mar 2021) [7] Kwet, M., Prinsloo, P.: The 'smart'classroom: a new frontier in the age of the smart university. Teaching in Higher Education 25(4), 510-526 (2020) [8] Saini, M.K., Goel, N.: How smart are smart classrooms? a review of smart classroom technologies. ACM Computing Surveys 52(6), 1-28 (nov 2020) [9] Miraoui, M.: A context-aware smart classroom for enhanced learning environment. International Journal on Smart Sensing and Intelligent Systems 11(1), 1-8 (2018) [10] Tang, C., Xu, P., Luo, Z., Zhao, G., Zou, T.: Automatic facial expression analysis of students in teaching environments. In: Biometric Recognition, pp. 439-447. Springer International Publishing (2015)

[11] Ashwin, T.S., Guddeti, R.M.R.: Unobtrusive behavioral analysis of students in classroom environment using non-verbal cues. IEEE Access 7, 150693-150709 (2019) [12] Pacheco, A., Cano, P., Flores, E., Trujillo, E., Marquez, P.: A smart classroom based on deep learning and osmotic IoT computing. In: 2018 Congreso Internacional de Innovacion y Tendencias en Ingenieria (CONIITI). IEEE (oct 2018) [13] Revathi, R., Suganya, M., NR, G.M., et al.: Iot based cloud integrated smart classroom for smart and a sustainable campus. Procedia Computer Science 172, 77-81 (2020) [14] J, F.B., R, R., M, S., R, G.M.N.: IoT based cloud integrated smart classroom for smart and a sustainable campus. Procedia Computer Science 172, 77-81 (2020) [15] Kapoor, A., Burleson, W., Picard, R.W.: Automatic prediction of frustration. International Journal of Human-Computer Studies 65(8), 724-736 (aug 2007) [16] Kapoor, A., Picard, R.W.: Multimodal affect recognition in learning environments. In: Proceedings of the 13th annual ACM international conference on Multimedia - MULTIMEDIA '05. ACM Press (2005) [17] Khosravi, S., Bailey, S.G., Parvizi, H., Ghannam, R.: Learning enhancement in higher education with wearable technology. arXiv preprint arXiv:2111.07365 (2021) [18] Declaration, I.: Sdg4--education 2030 framework for action (2016) [19] Lant, C.L., Lawson, M.J.: Interactive whiteboard use and student engagement. In: Publishing Higher Degree Research, pp. 33-42. SensePublishers (2016) [20] Glover, D., Miller, D., Averis, D., Door, V.: The interactive whiteboard: a literature survey. Technology, Pedagogy and Education 14(2), 155-170 (jul 2005) [21] D., H., Salih, N., Al, A., Al-Sadawi, B., Alsharqi, H.: Attendance and information system using RFID and web-based application for academic sector. International Journal of Advanced Computer Science and Applications 9(1) (2018) [22] Kassim, M., Mazlan, H., Zaini, N., Salleh, M.K.: Web-based student attendance system using RFID technology. In: 2012 IEEE Control and System Graduate Research Colloquium. IEEE (jul 2012) [23] Alimisis, D., Moro, M., Menegatti, E. (eds.): Educational Robotics in the Makers Era. Springer International Publishing (2017) [24] Timms, M.J.: Letting artificial intelligence in education out of the box: Educational cobots and smart classrooms. International Journal of Artificial Intelligence in Education 26(2), 701-712 (jan 2016) [25] Akcayrr, M., Akcayrr, G., Pektas, H.M., Ocak, M.A.: Augmented reality in science laboratories: The effects of augmented reality on university students' laboratory skills and attitudes toward science laboratories. Computers in Human Behavior 57, 334-342 (2016) [26] Thomas, P., David, W.: Augmented reality: An application of heads-up display technology to manual manufacturing processes. In: Hawaii international conference on system sciences. pp. 659-669 (1992) [27] Chen, P., Liu, X., Cheng, W., Huang, R.: A review of using augmented reality in education from 2011 to 2016. In: Innovations in Smart Learning, pp. 13-18. Springer Singapore (sep 2016) [28] Shaping Future Schools with Digital Technology. Springer Singapore (Sep 2019), https://www.ebook.de/de/product/37068985/shaping_future_schools_with_digital_technology.html [29] Fies, C., Marshall, J.: Classroom response systems: A review of the literature. Journal of Science Education and Technology 15(1), 101-109 (mar 2006) [30] Martyn, M.: Clickers in the classroom: An active learning approach. Educause quarterly 30(2), 71 (2007)

[31] Hutt, S., Mills, C., Bosch, N., Krasich, K., Brockmole, J., D'Mello, S.: "out of the fr-eye-ing pan". In: Proceedings of the 25th Conference on User Modeling, Adaptation and Personalization. ACM (jul 2017) [32] Hutt, S., Krasich, K., Mills, C., Bosch, N., White, S., Brockmole, J.R., D'Mello, S.K.: Automated gaze-based mind wandering detection during computerized learning in classrooms. User Modeling and User-Adapted Interaction 29(4), 821-867 (jun 2019) [33] Courts, B., Tucker, J.: Using technology to create a dynamic classroom experience. Journal of College Teaching & Learning (TLC) 9(2), 121-128 (mar 2012) [34] Conde, M.A., Garcia-Penalvo, F.J., Rodriguez-Conde, M.J., Aller, M., Casany, M.J., Piguillem, J.: An evolving learning management system for new educational environments using 2.0 tools. Interactive Learning Environments 22(2), 188-204 (dec 2012) [35] Alhazmi, A.K., Rahman, A.A.: Why lms failed to support student learning in higher education institutions. In: 2012 IEEE symposium on e-learning, e-management and e-services. pp. 1-5. IEEE (2012) [36] Gligoric, N., Uzelac, A., Krco, S.: Smart classroom: real-time feedback on lecture quality. In: 2012 IEEE International Conference on Pervasive Computing and Communications Workshops. pp. 391-394. IEEE (2012) [37] Kumar, J., kumar, J.: Affective modelling of users in HCI using EEG. Procedia Computer Science 84, 107-114 (2016) [38] T.S., A., Guddeti, R.M.R.: Affective database for e-learning and classroom environments using indian students' faces, hand gestures and body postures. Future Generation Computer Systems 108, 334-348 (jul 2020) [39] Monkaresi, H., Bosch, N., Calvo, R.A., D'Mello, S.K.: Automated detection of engagement using video-based estimation of facial expressions and heart rate. IEEE Transactions on Affective Computing 8(1), 15-28 (jan 2017) [40] Whitehill, J., Serpell, Z., Lin, Y.C., Foster, A., Movellan, J.R.: The faces of engagement: Automatic recognition of student engagementfrom facial expressions. IEEE Transactions on Affective Computing 5(1), 86-98 (jan 2014) [41] Kaur, A., Mustafa, A., Mehta, L., Dhall, A.: Prediction and localization of student engagement in the wild. In: 2018 Digital Image Computing: Techniques and Applications (DICTA). IEEE (dec 2018) [42] Lasri, I., Solh, A.R., Belkacemi, M.E.: Facial emotion recognition of students using convolutional neural network. In: 2019 Third International Conference on Intelligent Computing in Data Sciences (ICDS). IEEE (oct 2019) [43] S., A.T., Guddeti, R.M.R.: Automatic detection of students' affective states in classroom environment using hybrid convolutional neural networks. Education and Information Technologies 25(2), 1387-1415 (oct 2019) [44] Ashwin, T.S., Guddeti, R.M.R.: Impact of inquiry interventions on students in e-learning and classroom environments using affective computing framework. User Modeling and User-Adapted Interaction 30(5), 759-801 (jan 2020) [45] Zatarain-Cabada, R., Barron-Estrada, M.L., Gonzalez-Hernandez, F., Rodriguez-Rangel, H.: Building a face expression recognizer and a face expression database for an intelligent tutoring system. In: 2017 IEEE 17th International Conference on Advanced Learning Technologies (ICALT). IEEE (jul 2017) [46] Bian, C., Zhang, Y., Yang, F., Bi, W., Lu, W.: Spontaneous facial expression database for academic emotion inference in online learning. IET Computer Vision 13(3), 329-337 (mar 2019)