Назад в библиотеку

Проблема распознавания научных текстов, созданных с использованием ИИ чат-ботов в современных исследованиях

Автор: О.А. Костиникова
Источник: Костиникова, О. А. Проблема распознавания научных текстов, созданных с использованием ИИ чат-ботов в современных исследованиях / О. А. Костиникова // Российский лингвистический бюллетень. – 2024. – № 8(56). – DOI 10.60797/RULB.2024.56.16. – EDN UDFZON.

Ключевые слова: ИИ чат-боты, научные публикации, письменные тексты, БЯМ.

Введение

Понимание и использование современных чат-ботов с искусственным интеллектом может существенно повлиять на различные аспекты жизни и работы. Эти чат-боты, созданные на основе передовых технологий ИИ, таких как обработка естественного языка и машинное обучение, предлагают ряд преимуществ, которые могут повысить производительность, улучшить обслуживание клиентов и способствовать личностному развитию.

Язык отражает все изменения, происходящие в обществе, меняется словарный состав, меняется частота использования слов в корпусах текстов. Большая языковая модель (БЯМ, LLM) – языковая модель, состоящая из нейронной сети со множеством параметров, самообученная на большом количестве неразмеченного текста появилась примерно в 2018 году, но именно выпуск ChatGPT в ноябре 2022 года привел к тому, человеческое письмо претерпело значимые изменения. Впервые БЯМ, способная создавать и редактировать тексты «как человек» стала доступна большому количеству пользователей [9]. Появились статьи, раскрывающие положительные перспективы использования модели и других ИИ чат-ботов [2], статьи, описывающие реальные результаты использования в профессиональной деятельности, например при оформлении заявок на гранты [3]. В других исследованиях авторы были обеспокоены проблемами честности исследований и возможных фактических ошибках в текстах, созданных моделями [10], легкими способами создания публикаций-фальшивок [6].

В настоящее время многие исследователи ставят перед собой задачу создания механизмов отслеживания письма с помощью ИИ чат-ботов.

Для анализа нами было отобраны доступные статьи за 2023–2024 гг., описывающие различные способы обнаружения текстов, созданных БЯМ: модели originality.ai [1], дистрибуция частотности употребления [4], на основе списка слов-маркеров [5], излишнее словоупотребление [7].

Основные результаты

В 2023 году появилась статья «Do Artificial Intelligence Chatbots Have a Writing Style? An Investigation into the Stylistic Features of ChatGPT-4» [2] описывающая стилистические особенности текстов, созданных не человеком. К ним исследователи отнесли:

  • параграфы из 3-4 предложений, каждое длиной 16–19 слов;
  • предложения в основном написаны в изъявительном наклонении, в простом настоящем и простом прошедшем времени, а также в два совершенных времени: настоящее совершенное для общих утверждений, почти всегда с наречием always и совершенное длительное – для описания того, что началось в прошлом того, что все еще совершается;
  • используются в основном предложения действительного залога, предложения в страдательном залоге всегда безличные, подлежащее чаще всего "they";
  • широкое использование аббревиатур и технических терминов без их объяснения;
  • лексический состав отличается плотностью использования ключевых слов и низким разнообразием словарного состава.

Обсуждение

Пакистанский исследователь Арслан Акрам [1] во введении к работе говорит, что основной задачей после выпуска ИИ чат-ботов становится модерация содержания любого письменного произведения для удаления вредной или недостоверной информации и автоматического спама, например. Автор начинает статью с приведения данных, показывающих резкий рост статей, опубликованных на ресурсе arxiv.org в трех областях (компьютерные науки, физика, математика) и делится предположением, что это может быть связано с новыми возможностями использования ChatGPT Далее автор описывает результаты работы системы originality.ai, версии модели BERT (Bidirectional Encoder Representations from Transformers – это языковая модель, в которой, в отличие от традиционных алгоритмов, которые проверяют последовательность слов в предложении только в одном направлении (слева направо или справа налево), анализируется всё содержимое предложения – и до, и после слова, включая предлоги и взаимосвязи между словами. По результатам работы представлены данные о росте числа публикаций, созданных ИИ, особенно в сфере компьютерных наук. При этом основная, на наш взгляд, мысль представлена в заключении статьи и состоит она в том, что такое увеличение может влиять на уникальность и достоверность исследований, поэтому стоит задача сохранения прозрачности научных результатов при увеличении риска того, что ИИ может существенно понизить творческий потенциал исследований и привести к повторению исследовательских стилей и идей.

В статье "If ChatGPT transforming Academics’ Writing Style" [4] авторы используют для анализа как опубликованные на ресурсе arXiv статьи с 2019 по 2024 год, так и Google Ngram, включающий данные о частотности употребления слов. Авторы разработали формулу изменения частотности и описывают результаты анализа выявленных изменений. Авторы не только проанализировали слова с наивысшим показателем изменения частотности употребления слова, но и отредактировали контрольные тексты, созданные до внедрения ChatGPT с помощью этой БЯМ, и пришли в выводу, что около 35% проанализированных ими публикаций были созданы или отредактированы с помощью ИИ.

Эндрю Грей [5] в своей работе "ChatGPT “contamination”: estimating the prevalence of LLMs in the scholarly literature" также стремится дать ответ на вопрос о том, что показывает, что научные публикации были созданы или отредактированы с помощью ИИ чат-ботов. В своем исследовании как источник научных текстов он использовал Dimensions – наукометрическую поисково-аналитическую платформу, которая содержит информацию о научных публикациях, клинических исследованиях, грантах и патентах в их взаимосвязи. В статьях анализировалось изменение частотности употребления в период 2019–2023 слов, признанных «визитной карточкой» ChatGPT – 12 прилагательных, выявленных в более ранних исследованиях (commendable, innovative, meticulous, intricate, notable, versatile, noteworthy, invaluable, pivotal, potent, fresh, ingenious), а также 12 наречий, соотносящихся с прилагательными по смыслу (например, lucidly, methodically) и 12 контрольных слов (conclusion, technical, after, early). Исследования показали, что именно в 2023 году происходит значительное увеличение использований отобранных прилагательных и наречий, например, примерно на 50% возросла частотность употребления intricate, meticulously, commendable, meticulous, хотя частотность употребления других слов увеличилась не так заметно. И это увеличение, по мнению автора, доказывает увеличение числа письменных текстов научных работ, созданных или отредактированных с помощью инструментов БЯМ. Автор видит опасность унификации результатов исследований, даже если ИИ чат-боты будут использоваться только для стилистической редактуры текстов. Проблема распознавания сгенерированных текстов на основе выявления «излишне употребляемых слов» по разработанной авторами формуле легла в основу исследования, результаты которого описаны в статье "Delving into ChatGPT usage in academic writing through excess vocabulary" [7]. На основе полученных данных авторы приходят к выводу о том, что около 4% проанализированных публикаций прошли через ИИ чат-боты. Интересно, что авторы проводили анализы не только всей отобранной базы публикаций, но и по нескольким подгруппам (по странам, по области знания статей, по половой принадлежности авторов). В данной работе представлен прогноз роста подобных научных текстов и предлагается использование авторского подхода для некоторых сфер деятельности, где необходимо сдерживать такой рост.и научных результатов при увеличении риска того, что ИИ может существенно понизить творческий потенциал исследований и привести к повторению исследовательских стилей и идей.

В статье "If ChatGPT transforming Academics’ Writing Style" [4] авторы используют для анализа как опубликованные на ресурсе arXiv статьи с 2019 по 2024 год, так и Google Ngram, включающий данные о частотности употребления слов. Авторы разработали формулу изменения частотности и описывают результаты анализа выявленных изменений. Авторы не только проанализировали слова с наивысшим показателем изменения частотности употребления слова, но и отредактировали контрольные тексты, созданные до внедрения ChatGPT с помощью этой БЯМ, и пришли в выводу, что около 35% проанализированных ими публикаций были созданы или отредактированы с помощью ИИ.

Эндрю Грей [5] в своей работе "ChatGPT “contamination”: estimating the prevalence of LLMs in the scholarly literature" также стремится дать ответ на вопрос о том, что показывает, что научные публикации были созданы или отредактированы с помощью ИИ чат-ботов. В своем исследовании как источник научных текстов он использовал Dimensions – наукометрическую поисково-аналитическую платформу, которая содержит информацию о научных публикациях, клинических исследованиях, грантах и патентах в их взаимосвязи. В статьях анализировалось изменение частотности употребления в период 2019–2023 слов, признанных «визитной карточкой» ChatGPT – 12 прилагательных, выявленных в более ранних исследованиях (commendable, innovative, meticulous, intricate, notable, versatile, noteworthy, invaluable, pivotal, potent, fresh, ingenious), а также 12 наречий, соотносящихся с прилагательными по смыслу (например, lucidly, methodically) и 12 контрольных слов (conclusion, technical, after, early). Исследования показали, что именно в 2023 году происходит значительное увеличение использований отобранных прилагательных и наречий, например, примерно на 50% возросла частотность употребления intricate, meticulously, commendable, meticulous, хотя частотность употребления других слов увеличилась не так заметно. И это увеличение, по мнению автора, доказывает увеличение числа письменных текстов научных работ, созданных или отредактированных с помощью инструментов БЯМ. Автор видит опасность унификации результатов исследований, даже если ИИ чат-боты будут использоваться только для стилистической редактуры текстов.

Проблема распознавания сгенерированных текстов на основе выявления «излишне употребляемых слов» по разработанной авторами формуле легла в основу исследования, результаты которого описаны в статье "Delving into ChatGPT usage in academic writing through excess vocabulary" [7]. На основе полученных данных авторы приходят к выводу о том, что около 4% проанализированных публикаций прошли через ИИ чат-боты. Интересно, что авторы проводили анализы не только всей отобранной базы публикаций, но и по нескольким подгруппам (по странам, по области знания статей, по половой принадлежности авторов). В данной работе представлен прогноз роста подобных научных текстов и предлагается использование авторского подхода для некоторых сфер деятельности, где необходимо сдерживать такой рост.

Заключение

Анализ публикаций позволяет сказать, что использование ИИ чат-ботов уже представляет проблему в предоставлении научных исследований. Существуют как положительные оценки процесса и предложения использования БЯМ в некоторых сферах науки при использовании только проверенных источников и доказанных фактов, так и предложения по ограничению использования текстов, сгенерированных или отредактированных ИИ (например, некоторые издательства уже наложили ограничения на использование подобных научных текстов). Проблема использования ИИ чат-ботов в письменных научных публикациях будет требовать от научного сообщества решения в ближайшее время.

В заключение следует отметить, что научиться извлекать пользу из современных чат-ботов с искусственным интеллектом и понимать их стиль крайне важно в современную цифровую эпоху. Это не только повышает эффективность и производительность, но и открывает возможности для личностного и профессионального роста. Принятие этих технологий и их стилей может привести к более эффективному взаимодействию и конкурентному преимуществу в постоянно меняющемся мире.

Конфликт интересов

Не указан.

Рецензия

Все статьи проходят рецензирование. Но рецензент или автор статьи предпочли не публиковать рецензию к этой статье в открытом доступе. Рецензия может быть предоставлена компетентным органам по запросу.

Список литературы на английском языке / References in English