Ключевые слова: искусственный интеллект в образовании, применение LLM в образовании, геймификация обучения, сравнительный анализ LLM.
Введение
В настоящее время большие языковые модели (Large Language Model, LLM) нашли широкое применение в самых разных областях, среди них генерация художественных и научных текстов, разработка программного обеспечения, а также анализ различной текстовой информации. Существенное влияние развитие LLM оказало и на сферу образования. Несмотря на то, что педагогическое сообщество настороженно относится к возможности применения генеративных языковых моделей в учебном процессе, среди учащихся сервисы на основе чатботов, предоставляющих доступ к крупномасштабным языковым моделям, пользуются большой популярностью.
Известные на данный момент проприетарные языковые модели, такие как GPT-4 и Claude 3 обладают впечатляющим потенциалом в обработке и генерации текстов на естественном языке. В то же время их применение в образовании сопряжено с рядом серьезных проблем, касающихся как этических аспектов, так и сохраняющейся вероятности генерации ошибочной информации.
Целью настоящей работы является исследование возможностей применения LLM в учебном процессе при изучении математики и информатики. В данном исследовании мы рассматриваем два возможных контекста применения генеративных языковых моделей – изучение нового материала и закрепление пройденного материала.
1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ В КОНТЕКСТЕ РЕШЕНИЯ УЧЕБНЫХ ЗАДАЧ
На первом этапе нашего исследования мы провели сравнительный анализ популярных языковых моделей в контексте решения учебных задач предметной области «Математика и информатика». Для этого нами был сформирован набор из трех задач. Выбор задач был обусловлен следующими критериями:
- среди задач должны быть как задачи, требующие анализа текстовой информации, так и задачи, требующие анализа формул,
- решение данного набора задач требует проведения вычислений и преобразований формул, операций с абстрактными математическими объектами, логических выводов,
- задачи являются типовыми для курсов дисциплин «Алгебра и начала математического анализа», «Геометрия», «Информатика».
Задачи в форме текстовых запросов к языковым моделям представлены в табл. 1. Все запросы к LLM были сформулированы на русском языке. В качестве текстовой задачи по информатике была выбрана одна из задач открытого банка заданий ОГЭ Федерального института педагогических измерений (ФИПИ) [1].
| № задачи | Текстовый запрос к LLM |
|---|---|
| Задача 1 | «Реши уравнение –sin(x) = cos(x)» |
| Задача 2 | «Каким образом можно построить середину отрезка с помощью циркуля и линейки?» |
| Задача 3 | «Реши задачу. В одной из кодировок Unicode каждый символ кодируется 16 битами. Вова написал текст: «Ом, Бор, Кюри, Попов, Джоуль, Рентген, Курчатов, Резерфорд – великие физики». Фамилию одного учёного ученик написал два раза подряд, добавив необходимые запятую и пробел. При этом размер написанного предложения в данной кодировке оказался на 8 байт больше, чем размер нужного предложения. Напиши в ответе слово, использованное дважды» [1]. |
Для проведения эксперимента был использован сервис LMSYS Chatbot Arena [4], предоставляющий тестовый доступ к некоторым большим языковым моделям. В эксперименте был проведен сравнительный анализ ответов 8 языковых моделей на запросы, представленные в табл. 1. В табл. 2 представлены результаты данного этапа эксперимента. Здесь символ «+» означает, что было получено верное решение и верный ответ; символ «−» означает, что верного решения или ответа получено не было.
| Модель LLM [2] | Задача 1 | Задача 2 | Задача 3 |
|---|---|---|---|
| gpt-4-1106-preview | − | + | + |
| gpt-3.5-turbo-0125 | − | + | − |
| gpt-3.5-turbo-0613 | − | + | − |
| claude-3-opus-20240229 | − | + | + |
| claude-3-sonnet-20240229 | − | + | − |
| gemini-pro-dev-api | − | − | − |
| mistral-large-2402 | − | − | − |
| qwen1.5-72b-chat | − | − | − |
В ходе эксперимента ни одна из представленных моделей LLM не сгенерировала текста верного решения тригонометрического уравнения. Пять моделей сгенерировали верный ход построения середины отрезка с помощью циркуля и линейки. При этом только две модели сгенерировали верное решение задачи по информатике. Также следует отметить, что при повторном запросе на решение задачи по информатике ни от одной модели не было получено верного решения еще раз.
2. ВОЗМОЖНОСТИ ПРИМЕНЕНИЯ ЯЗЫКОВЫХ МОДЕЛЕЙ ПРИ ИЗУЧЕНИИ НОВОГО МАТЕРИАЛА
Второй этап нашего эксперимента был посвящен исследованию особенностей взаимодействия учащихся с языковыми моделями в ходе изучения нового материала. Для этого нами был сформирован список из 24 запросов по теме «Числовые матрицы». Запросы были сформулированы таким образом, что верный ответ по каждому забросу позволяет получить представление о понятии матрицы, а также правилах сложения матриц. Выбор темы обусловлен тем, что с одной стороны данная тема доступна для понимания учащимися старших классов, в то же время, с другой стороны, данная тема не входит в школьную программу и является новой для учащихся.
В ходе данного этапа эксперимента трем учащимся 8, 9 и 10 классов было предложено изучить новую тему, задавая вопросы из представленного списка языковой модели «gpt-3.5-turbo-0125», а затем выполнить 8 заданий, относящихся к разделам «Понятие матрицы» и «Сложение матриц».
При выполнении заданий учащиеся не имели возможности использовать какие-либо справочные материалы и обращаться к LLM. Итогом проведения второго этапа эксперимента стали следующие результаты. При решении задач один участник допустил одну ошибку при указании размера матриц, перепутав порядок указания количества строк и количества столбцов. Следует отметить, что данная ошибка является типичной на первых этапах изучения темы «Числовые матрицы». Остальные задания были выполнены всеми участниками без ошибок.
3. ЗАКРЕПЛЕНИЕ ИЗУЧЕННОГО МАТЕРИАЛА НА ПРИМЕРЕ ИНТЕРАКТИВНОЙ ИГРЫ «МАТЕМАТИЧЕСКАЯ ГОНКА РОБОТОВ»
В качестве примера применения LLM для закрепления пройденного материала в данной работе мы предлагаем к рассмотрению концепт интерактивной игры «Математическая гонка роботов». В ходе игры учащимся предлагается довести мобильного робота (рис. 1) с линии старта до линии финиша, при этом робот может осуществлять движение, выполняя один шаг, только после верного ответа на вопрос учащихся, представляющий собой задачу по изучаемой теме.
Робот имеет архитектуру, описанную в работах [2] и [3], и состоит из шасси на базе платформы Arduino и смартфона, реализующего интерфейс взаимодействия с пользователями. Голосовые команды пользователей преобразуются в запросы к LLM модели. После генерации ответа LLM моделью робот воспроизводит ответ в виде голосового сообщения, а также выводит текст сообщения на экран смартфона. Кроме того, приложение робота осуществляет функции веб-сервера, генерируя текстовый ответ в виде html страницы. Это позволяет отобразить ответ робота с помощью браузера на экране интерактивной доски или любого другого устройства.
Особенностью данного проекта является то, что учащиеся могут собрать и запрограммировать данного робота самостоятельно, используя платформу Arduino [3], смартфон или планшет на базе операционной системы Android и среду разработки AppInventor [2]. При этом, для обращения к LLM можно использовать расширение «ChatBot» среды AppInventor [5].
ЗАКЛЮЧЕНИЕ
Проведенные нами предварительные эксперименты показали, что с одной стороны на данном этапе своего развития языковые модели имеют весьма ограниченные возможности с точки зрения их применения в учебном процессе для изучения нового материала, ввиду высокой вероятности получения недостоверной информации. Однако потенциально LLM могут использоваться в качестве вспомогательных средств представления информации в доступной для учащихся форме. Также можно отметить высокий потенциал в применении LLM для повышения мотивации учащихся к изучению математики и информатики. Кроме того, вариативность ответов LLM при решении задач может быть использована в контексте геймификации этапа закрепления нового материала.
Литература
- Федеральный институт педагогических измерений. Официальный сайт. URL: https://fipi.ru/oge
- Чеботарева Э.В. Образовательные робототехнические проекты с применением среды мобильной разработки App Inventor / Э.В. Чеботарева. Казань: Изд-во МеДДок, 2022. 52 с.
- Chebotareva E. Android Based Educational Mobile Robot Design and Pilot Evaluations / E. Chebotareva, M. Mustafin // International conference on artificial life and robotics, Oita, Japan, 9−12 February 2023. P. 146−149.
- LMSYS Chat. URL: https://chat.lmsys.org/
- MIT App Inventor. URL: https://appinventor.mit.edu/