Возраст информации в LLM моделях и тест Тьюринга

Ключевые слова: LLM модели, возраст информации, тест Тьюринга, искусственный интеллект, chat GPT.

Введение. В последние годы наблюдается стремительное развитие языковых моделей, в частности, моделей, таких как GPT и BERT. Одним из ключевых аспектов их функционирования является возраст информации, который влияет на качество и актуальность генерируемых ответов [1, 2]. Целью данной работы является исследование влияния возраста информации на качество и актуальность ответов, генерируемых большими языковыми моделями (LLM), а также анализ их способности адаптироваться к новым знаниям и событиям.

Изложение основного материала. Большие модели языка (LLM), такие как обширные языковые модели, применяются в различных областях деятельности. Они широко используются в чат-ботах и виртуальных ассистентах для взаимодействия с пользователями и предоставления клиентской поддержки. Благодаря LLM автоматизируются задачи текстовой обработки: генерация текста, перевод и коррекция ошибок становятся более эффективными благодаря этим моделям. Важным аспектом применения LLM является анализ текстов: эти модели помогают классифицировать документы, находить необходимую информацию и делать сводки по большим объемам данных. В сфере образования большие модели языка используются для создания учебных материалов и оказания помощи при обучении. В научных изысканиях модели помогают анализировать сложные тексты и составлять отчеты по научным исследованиям. Кроме того, LLM широко используются в разработке программного обеспечения для автоматизации написания кода и его поддержки [3-5].

Возраст информации в LLM (Large Language Models) — это период, на который актуальны данные, на которых была обучена модель. В процессе обучения LLM использует текстовую информацию, доступную на момент создания модели, и не может получать новые данные в реальном времени. Поэтому «возраст информации» указывает на временные рамки, до которых модель владеет актуальными знаниями. По мере устаревания информации, знания модели могут терять актуальность в контексте текущих событий, новостей, технологий и других быстро меняющихся областей. Когда чат-бот, обученный на данных с определённым временным ограничением, сталкивается с вопросами о событиях, произошедших после момента его обучения, он может столкнуться с несколькими проблемами: отсутствие знаний о новых событиях; генерация общих ответов; предположения на основе прошлого опыта; отсутствие контекста новых технологий или терминов.

Таким образом, по вопросам, связанным с событиями после момента обучения, чат-бот может выдавать устаревшую информацию, неверные предположения или просто признавать недостаток актуальных знаний.

Нахождение возраста информации на примере валютных курсов. Было проведено исследование виртуального голосового помощника, созданного компанией Яндекс – Алиса. Алиса работает на основе мощной нейронной сети YandexGPT, что позволяет общаться с ней, как с человеком. В течении двух недель каждые 3 часа запрашивалась информация о курсе доллара, юаня, рупия и белорусского рубля. По полученным данным была построена функция распределения для времени жизни каждой валюты (рисунок 1). Также было найдено среднее время жизни информации для каждой валюты (таблица 1).

Альтернативный тип выдачи информации. Когда чат-бот не может корректно ответить на вопрос из-за ограниченности его данных, особенно если вопрос касается событий или информации, появившейся после момента его обучения, возможно использование поиска по актуальным источникам, в таком случае бот может обращаться к внешним ресурсам, таким как поисковые системы, чтобы предоставить актуальные данные. Либо бот может сообщить, что его данные устарели или ограничены.

В ходе исследования Алисы были получены данные типы выдачи информации. Например, на вопрос «Какой долг у США?», Алиса выдала список ссылок на данную тему (рисунок 2). А на вопрос «Сколько развелось пар в июне 2024 года?», она ответила, что не смогла найти информацию.

Методика определения момента обучения. Также был проведен анализ на определение момента обучения. Момент обучения чат-бота — это точка во времени, до которой собрана и обработана информация, на которой основано обучение модели. После этого момента чат-бот не обновляет свои знания автоматически и не знает о событиях, произошедших позже.

Вопросы должны были охватывать недавние события или изменения, произошедшие после предполагаемого момента обучения. Нами запрашивалась информация о количестве населения в России по месяцам с сентября 2023 года по июнь 2024 года, и с декабря 2023 года по июнь 2024 Алиса отвечала списком ссылок на данную тему, либо давала не правильные ответы.

Заключение. Результаты проведенных исследований могут использоваться для теста Тьюринга. Использование эффекта другого типа выдачи информации может быть использовано для определения ИИ в качестве собеседника. Вопросы для распознания ИИ должны касаться последних событий [6, 7]. Кроме того, такой подход позволяет боту учитывать контекст разговора и динамически изменять свои ответы в зависимости от запросов пользователя. Например, интеграция с поисковыми системами или базами данных может обеспечить доступ к свежим новостям, фактам и даже культурным или социальным аспектам, которые могут быть важны в конкретной беседе.

Исследование выполнено за счет гранта Российского научного фонда № 24-29-00041

Список литературы

1. Зуев Е.А., Ефремов М.А. Работа с помощью Chat GPT // Современные информационные технологии и информационная безопасность: сборник научных статей 2-й Всероссийской научно-технической конференции, Курск, 28 февраля 2023 года. – Курск: Юго-Западный государственный университет, 2023. – Рр. 39–42. EDN: IWKKIM.
2. Усиков Д. В., Сатаев М. Ю. Наука определения LLM-сгенерированного текста: пер. с англ // Технологии XXI века в юриспруденции: Материалы Пятой международной научно-практической конференции, Екатеринбург, 19 мая 2023 года. – Екатеринбург: АНО «Центр содействия развитию криминалистики «КримЛиб»», 2023. – Pр. 453–475. EDN: KSJEPS.
3. Hadi M.U., Tashi Q.A., Qureshi R., Muneer A., Irfan M., Zafar A., Shaikh M.B., Akhtar N., Hassan S. Z., Shoman M., Wu J., Mirjalili S., Shah M. A Survey on Large Language Models: Applications, Challenges, Limitations, and Practical Usage. // TechRxiv. – 2023. DOI: 10.36227/techrxiv.23589741.v1.
4. Naveed H., Khan A.U., Qiu S., Saqib M., Anwar S., Usman M., Akhtar N., Barnes N., Mian A. A comprehensive overview of large language models //arXiv preprint arXiv:2307.06435. – 2023. DOI: https://doi.org/10.48550/arXiv.2307.06435.
5. Liu L., Meng J., Yang Y. LLM Technologies and 139Information Search // Journal of Economy and Technology. – 2024. – ISSN 2949–9488. DOI: https://doi.org/10.1016/j.ject.2024.08.007.
6. Sejnowski T. J. Large Language Models and the Reverse Turing Test // Neural Comput 2023, vol. 35, iss. 3, pp. 309–342. DOI: https://doi.org/10.1162/neco_a_01563.
7. Wu W., Wu H., Zhao H. Self-Directed Turing Test for Large Language Models //arXiv preprint arXiv:2408.09853. – 2024. DOI: https://doi.org/10.48550/arXiv.2408.09853.