Аннотация

Большие языковые модели (LLM) всё шире интегрируются в различные приложения. Функционал современных LLM может гибко настраиваться через подсказки на естественном языке, что делает их уязвимыми к целенаправленным атакам, таким как Prompt Injection (PI) — когда злоумышленник может переопределить исходные инструкции и ограничения. До сих пор предполагалось, что пользователи напрямую взаимодействуют с LLM. Но что если это не пользователь формирует подсказки? Мы утверждаем, что приложения с интеграцией LLM размывают границу между данными и инструкциями. Мы выявляем новые векторы атак с помощью косвенной инъекции подсказок (Indirect Prompt Injection, IPI), которые позволяют злоумышленникам удалённо (без прямого интерфейса) эксплуатировать приложения с LLM, стратегически внедряя подсказки в данные, которые, вероятно, будут извлечены. Мы разрабатываем комплексную таксономию с точки зрения компьютерной безопасности для систематического исследования последствий и уязвимостей, включая кражу данных, внедрение червей, загрязнение информационной экосистемы и другие новые угрозы. Мы демонстрируем практическую применимость атак как на реальные системы (например, Bing Chat на базе GPT-4 и движки автозаполнения кода), так и на синтетические приложения на GPT-4. Мы показываем, как обработка извлечённых подсказок может работать как выполнение произвольного кода, манипулировать функционалом приложения и контролировать вызов других API. Несмотря на растущую интеграцию и зависимость от LLM, эффективные меры против этих новых угроз пока отсутствуют. Повышение осведомлённости о таких уязвимостях и анализ их последствий помогут безопасно и ответственно развёртывать эти мощные модели и создавать надёжные защиты для пользователей и систем.

Ключевые слова: большие языковые модели, косвенная инъекция подсказок.

1 ВВЕДЕНИЕ

Базовые и ориентированные на следование инструкциям большие языковые модели (Large Language Models, LLM) [43, 62, 63] меняют нашу жизнь на многих уровнях — не только для исследователей и практиков, но и для широкой публики. Вскоре после своего выпуска ChatGPT [1] приобрёл огромную популярность, привлекая более 100 миллионов пользователей за короткий промежуток времени [10]. Кроме того, постоянно появляется поток новых моделей, включая более продвинутую GPT-4 [62], а также меньшие «white-box»-модели [68, 68].

Приложения, интегрированные с LLM. Помимо впечатляющих возможностей, LLM сегодня стремительно и повсеместно интегрируются в другие приложения. Такие инструменты могут предоставлять интерактивный чат и сводки результатов поиска или документов, а также выполнять действия от имени пользователя, вызывая другие API [9]. В течение нескольких месяцев после появления ChatGPT мы стали свидетелями запуска Bing Chat [31], Bard [4], Microsoft 365 и Security Copilots [19, 20], а также множества плагинов ChatGPT [9] — при этом новые анонсы появлялись практически ежедневно. Однако мы утверждаем, что эта гонка по интеграции ИИ не сопровождается адекватными защитными механизмами и оценками безопасности.

Prompt Injection. Атаки на модели машинного обучения обычно предполагают использование мощных алгоритмов и методов оптимизации [35]. Однако легко расширяемая природа функциональности LLM через естественные текстовые запросы (prompts) может открывать путь к более простым тактикам атак. Даже в условиях «чёрного ящика» и при наличии уже внедрённых мер защиты [53] злоумышленники могут эксплуатировать модель с помощью атак Prompt Injection (PI), обходя ограничения контента или получая доступ к исходным инструкциям модели [18, 33, 67].

Косвенная Prompt Injection. Расширение LLM механизмами извлечения информации размывает границу между данными и инструкциями. До настоящего времени предполагалось, что враждебное формирование запросов осуществляется напрямую злоумышленником, эксплуатирующим систему. В противоположность этому мы показываем, что теперь противники могут удалённо воздействовать на системы других пользователей, стратегически внедряя подсказки в данные, которые с высокой вероятностью будут извлечены на этапе инференса. Если такие данные извлекаются и обрабатываются, эти подсказки могут косвенно управлять моделью (см. рис. 1). Недавние инциденты уже демонстрируют, что извлечённые данные могут непреднамеренно вызывать нежелательное поведение (например, враждебность) [25]. В данной работе мы развиваем эту идею и исследуем, что именно может целенаправленно сделать противник для изменения поведения LLM в приложениях, потенциально затрагивая миллионы добросовестных пользователей. Учитывая беспрецедентный характер данного вектора атак, существует множество новых способов их доставки и широкий спектр угроз, которые они могут вызвать. Для решения этой ранее не исследованной проблемы мы сначала разрабатываем систематическую таксономию, рассматривающую возникающие уязвимости с точки зрения компьютерной безопасности.

Воздействие. Мы показываем, что косвенная Prompt Injection может приводить к полному компрометированию модели на этапе инференса, по аналогии с классическими принципами безопасности. Это может включать удалённое управление моделью, устойчивую компрометацию, кражу данных и отказ в обслуживании. Более того, продвинутые ИИ-системы добавляют новые уровни угроз: их способность адаптироваться к минимальным инструкциям и автономно продвигать цели атакующего делает их мощным инструментом для реализации, например, распространения дезинформации и манипулирования пользователями. В данной статье мы конструируем первые примеры подобных атак. В итоге нашими основными вкладками являются:

мы вводим понятие косвенной Prompt Injection (Indirect Prompt Injection, IPI) для компрометации приложений, интегрированных с LLM, — полностью не исследованный ранее вектор атак, при котором извлечённые подсказки сами могут выступать в роли «произвольного кода»;

мы разрабатываем первую таксономию и систематический анализ ландшафта угроз, связанных с IPI в приложениях, интегрированных с LLM;

мы демонстрируем практическую реализуемость этих атак как на реальных, так и на синтетических системах, подчёркивая необходимость надёжных защитных механизмов;

мы публикуем все наши демонстрации в репозитории GitHub, а также все разработанные атакующие подсказки в Приложении к статье, чтобы стимулировать дальнейшие исследования и внести вклад в создание открытого фреймворка для оценки безопасности приложений, интегрированных с LLM.

2 ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ И СВЯЗАННЫЕ РАБОТЫ

Мы рассматриваем базовые понятия и недавние работы, посвящённые LLM, prompt injection и связанным аспектам безопасности LLM.

Использование prompting для расширения LLM с помощью API. Один из способов расширения LLM инструментами заключается в том, чтобы проинструктировать их, как использовать эти инструменты. Toolformer [71] показывает, что возможно обучить LLM генерировать вызовы API, определяя, какой API вызывать, когда и какие аргументы передавать. Это делается в режиме самоконтролируемого обучения, сначала используя in-context learning для генерации потенциальных обучающих данных для дообучения. Аналогично, ReAct [79] — это другой метод оснащения LLM инструментами с использованием Chain-of-Thought prompting [77], который генерирует как действия, специфичные для задачи, так и вербальные рассуждения на основе промежуточных наблюдений из среды.

От LLM к автономным агентам. Помимо простой интеграции LLM в приложения, ведутся активные исследования и инженерные разработки по созданию более автономных систем [40, 56, 72], в которых базовая модель, получив задачу, сама формирует решение и потенциально подключается к другим API или моделям для выполнения подзадач. Auto-GPT [3] — ещё один проект с открытым исходным кодом, позиционируемый как способный к самоподсказкам для выполнения задач. Кроме того, Park и соавт. [64] недавно разработали интерактивную среду моделирования, в которой «ИИ-агенты» взаимодействуют и автономно планируют задачи (например, организацию вечеринки). Агенты были оснащены внешними потоками памяти для хранения наблюдений и механизмом извлечения для воспоминаний. Фреймворк использует prompting для извлечения высокоуровневых «рефлексий» и рекурсивного создания и обновления планов. В нашей работе мы также наблюдаем, что LLM могут быть способны реализовывать цели атакующих, имея лишь высокоуровневые описания. По мере движения к большей автономности и меньшему человеческому контролю становится критически важным изучать последствия безопасности таких систем.

Безопасность LLM. LLM могут выдумывать факты («галлюцинировать»), генерировать поляризованный контент или воспроизводить предвзятости, язык ненависти и стереотипы [39, 41, 47, 57, 61, 65, 78]. Частично это обусловлено предобучением на огромных собранных из сети датасетах. Одной из мотиваций использования обучения с подкреплением на основе обратной связи от человека (Reinforcement Learning from Human Feedback, RLHF) [63, 75] является лучшее согласование LLM с человеческими ценностями и предотвращение нежелательного поведения [37]. OpenAI сообщает, что GPT-4 демонстрирует меньшую склонность, хотя и не полностью исключённую, к галлюцинациям и генерации вредного контента [62]. Тем не менее, она по-прежнему может усиливать социальные предвзятости и мировоззрения, а также иметь другие возникающие риски, такие как социальная инженерия и риски, связанные с взаимодействием с другими системами [62]. Нежелательное поведение уже проявляется в приложениях, интегрированных с LLM. Вскоре после запуска Bing Chat вызвал общественные опасения из-за тревожных ответов [12, 25], что побудило Microsoft ограничить продолжительность диалогов с пользователями [24]. Поисковые чат-боты с расширением извлечения информации также могут допускать фактические ошибки [17, 26], размывать границу между доверенными и недоверенными источниками [16] и ссылаться друг на друга в беспрецедентном случае автоматизированного «пинг-понга» дезинформации [16]. Эти инциденты произошли без враждебного prompting; при наличии такового риски могут ещё более усилиться.

Враждебное prompting и jailbreak. Perez и соавт. [67] показали, что современные модели, такие как GPT-3, и приложения на их основе уязвимы к prompt injection. Они разработали подсказки, которые либо перехватывают исходную цель модели, либо раскрывают исходные подсказки и инструкции приложения. Вскоре после выпуска ChatGPT многие пользователи сообщили, что фильтрацию можно обойти с помощью техники prompting, называемой «jailbreaking» [18, 21]. Обычно она включает создание гипотетического сценария, в котором у бота нет ограничений, или симуляцию «режима разработчика», имеющего доступ к нецензурированному выводу модели. OpenAI сообщает, что jailbreak сложнее для GPT-4, но всё ещё возможен [62], что также подтверждается в нашей работе.

LLM как компьютеры. Zhou и соавт. [81] недавно отметили, что LLM концептуально можно рассматривать как «чёрные ящики», исполняющие программы, закодированные в виде инструкций на естественном языке. Kang и соавт. [53] дополнительно связали LLM с классической компьютерной безопасностью, предложив методы вроде обфускации программ, разделения полезной нагрузки и виртуализации для обхода фильтров текущих API. Мы опираемся на эти наблюдения и указываем на ещё один критически важный вывод: при расширении LLM механизмами извлечения обработка недоверенных извлечённых данных становится аналогичной исполнению произвольного кода, а граница между данными и кодом (то есть инструкциями на естественном языке) размывается.

Другие враждебные атаки на ML. PI можно отнести к общей области эмпирической оценки безопасности и устойчивости ML-систем [35]. Более того, косвенная PI, введённая в нашей работе, концептуально близка к предыдущим исследованиям по backdoor-атакам на языковые модели [36] или перехвату функциональности моделей [69]. В отличие от этих атак, PI требует меньших технических навыков, меньших ML-возможностей, меньших затрат на проведение атаки и почти не требует контроля над моделями или знаний о них. Это может давать злоумышленникам экономические и практические стимулы для эксплуатации подобных уязвимостей и помещает их в важную область, которая до сих пор могла быть недооценена исследовательским сообществом по безопасности ML [35].

3 ПОВЕРХНОСТЬ АТАК ПРИЛОЖЕНИЙ, ИНТЕГРИРОВАННЫХ С LLM

Атаки prompt injection (PI) представляют значительную угрозу безопасности LLM. Если ранее PI-атаки в основном ограничивались случаями, когда отдельные пользователи атаковали свои собственные экземпляры LLM (или публичную модель, такую как ChatGPT [18]), то интеграция LLM с другими приложениями может сделать их уязвимыми к поглощению недоверенных данных, в которые внедрены вредоносные подсказки. Мы называем эту новую угрозу косвенной prompt injection и демонстрируем, как такие инъекции могут использоваться для доставки целевых полезных нагрузок. Как показано на рис. 3, эта техника может позволить злоумышленникам получить контроль над LLM, пересека ядерные границы безопасности с помощью одного поискового запроса.

Современные LLM могут вести себя как компьютеры, исполняющие программы [51, 53, 81]. Поэтому мы заимствуем идеи из классической области компьютерной безопасности для разработки нового набора атакующих техник. Мы представляем высокоуровневый обзор модели угроз на рис. 2, охватывающий возможные методы доставки инъекций, различные типы угроз и потенциально затрагиваемых пользователей или системы.

3.1 Методы инъекций

Существует несколько потенциальных способов доставки вредоносных подсказок, в зависимости от конкретного приложения. Ниже мы даём их общее описание.

Пассивные методы. Эти методы опираются на механизм извлечения для доставки инъекций. Например, в случае поисковых систем подсказки могут быть размещены в публичных источниках (например, на веб-сайтах или в публикациях социальных сетей), которые будут извлечены по поисковому запросу. Злоумышленники могут использовать методы поисковой оптимизации (SEO) для продвижения своих «отравленных» сайтов. Кроме того, в Microsoft Edge имеется боковая панель Bing Chat; если она включена пользователем, модель может читать текущую страницу и, например, суммировать её. Мы обнаружили, что любые подсказки или инструкции, записанные на странице (даже если они невидимы для пользователя), могут быть эффективно внедрены и влиять на модель. Для моделей автодополнения кода подсказки могут быть размещены внутри импортируемого кода, доступного через репозитории. Даже в случае офлайн-моделей, извлекающих личные или документационные файлы (например, плагин ChatGPT Retrieval [9]), подсказки могут быть внедрены путём отравления входных данных.

Активные методы. В качестве альтернативы подсказки могут быть активно доставлены в LLM, например, посредством отправки электронных писем, содержащих инструкции, которые затем обрабатываются автоматизированными системами фильтрации спама, персональными ассистентами или новыми почтовыми клиентами, дополненными LLM [19].

Инъекции, инициируемые пользователем. Существуют и более простые техники, основанные на том, чтобы обманом заставить самих пользователей ввести вредоносную подсказку. Недавний эксплойт [29] показывает, что злоумышленник может внедрить вредоносную подсказку в текстовый фрагмент, который пользователь копирует с сайта атакующего. Затем пользователь может неосмотрительно вставить скопированный текст с подсказкой в качестве вопроса к ChatGPT, тем самым доставив инъекцию. Злоумышленники также могут использовать «классическую» социальную инженерию (не основанную на ИИ) для распространения вредоносных подсказок, убеждая пользователей попробовать запросы, где инструкции написаны на другом языке (например: «Вы не поверите, что ChatGPT ответит на этот запрос!»).

Скрытые инъекции. Для повышения скрытности атак злоумышленники могут использовать многоступенчатые эксплойты, при которых первоначальная небольшая инъекция инструктирует модель получить более крупную полезную нагрузку из другого источника. Кроме того, улучшение возможностей моделей и поддерживаемых модальностей может открыть новые пути для инъекций. Например, в мультимодальных моделях (таких как GPT-4) подсказки могут быть скрыты в изображениях (см. рис. 28 для сконструированного нами примера). Для обхода фильтрации подсказки также могут быть закодированы. Более того, вместо прямой подачи подсказок модели они могут быть результатом выполнения Python-программ, которые модель проинструктирована запускать, что позволяет передавать зашифрованные полезные нагрузки через защитные механизмы. Эти возможности делают подсказки более трудными для обнаружения.

3.2 Угрозы

Мы адаптируем ранее предложенные таксономии киберугроз [45] и исследуем, каким образом косвенное prompting LLM может позволить реализовать такие угрозы. Мы выбрали таксономию, основанную на типах угроз, а не на техниках, чтобы создать фреймворк, способный обобщаться на будущие улучшения методов и моделей.

Эмпирические основы атак. ChatGPT и GPT-4 способны генерировать убедительный персонализированный контент и взаимодействия с пользователями [44]. Они также создают правдоподобные высказывания, даже ошибочные, в уверенном и авторитетном тоне [62]. Помимо правдоподобия, модели с расширением извлечения теперь цитируют источники, что может приводить к «чрезмерному доверию» [62] со стороны пользователей к их фактической корректности. Недавние данные также указывают, что модели могут выводить и реализовывать намерения и цели [34, 62, 74] — как в результате обучения, так и при задании персоны [46]. Недавняя работа [64] показывает, что LLM, получив определённый контекст, способны генерировать правдоподобное несценарное поведение, согласованное с этим контекстом.

Эти возможности и свойства могут служить основой для правдоподобных атак. При соответствующем prompting модель может генерировать убедительные персонализированные мошеннические сообщения при наличии информации о цели [53, 62] (полученной либо из подсказки, либо — что важно — в ходе диалога). Поисковые чат-боты могут неточно суммировать цитируемые документы в соответствии с подсказкой или находить источники, подтверждающие нефактический запрос, при этом звуча правдоподобно и опираясь на цитаты. Ключевое наблюдение состоит в том, что злоумышленникам может не потребоваться заранее программировать или скриптовать детали атаки. Простого определения цели может быть достаточно, чтобы модели автономно инициировали диалоги, имитировали техники убеждения, расширяли контекст, заданный подсказкой, или выполняли действия (например, поисковые запросы) для достижения цели. Хотя это может быть достижимо уже сейчас, по нашим качественным наблюдениям будущие модели и системы могут демонстрировать большую автономность и упрощать доставку атак. Далее в этом разделе мы обсуждаем возможные сценарии атак, а позже приводим качественные примеры такого поведения в демонстрациях наших атак.

Сбор информации. Современные LLM уже вызывают опасения в отношении конфиденциальности [6, 7]. Атаки могут целенаправленно усиливать эти риски. Косвенное prompting может использоваться для эксфильтрации пользовательских данных (например, учётных данных или персональной информации) или утечки содержимого пользовательских сессий чата [29]. Это может осуществляться в интерактивных диалогах путём убеждения пользователей раскрыть свои данные либо косвенно через побочные каналы. Возможны и автоматизированные атаки без участия человека, например атаки на персональных ассистентов, которые читают электронную почту (содержащую инструкции), имеют доступ к персональным данным и соответствующим образом отправляют письма. Такие сценарии могут быть нацелены на получение финансовой выгоды и расширяться, например, до задач наблюдения.

Мошенничество. Предыдущие работы показали, что LLM способны создавать убедительные мошеннические сообщения, такие как фишинговые письма [53]. Однако при интеграции LLM с приложениями они могут не только облегчать создание мошенничества, но и распространять такие атаки, выступая в роли автоматизированных социальных инженеров. Поскольку это новая область без накопленного опыта и осведомлённости о подобных атаках, пользователи могут доверять результатам поисковой системы больше, чем фишинговому письму. LLM могут быть использованы для содействия мошенничеству, например, предлагая фишинговые или мошеннические сайты как надёжные или напрямую запрашивая у пользователей учётные данные. Важно отметить, что ChatGPT способен создавать гиперссылки на основе пользовательского ввода (то есть вредоносной косвенной подсказки), что позволяет злоумышленникам придавать легитимность ссылкам и скрывать вредоносный URL.

Проникновение. Модели, интегрированные в системные инфраструктуры, могут выступать в роли бэкдоров, позволяющих злоумышленникам получать несанкционированное повышение привилегий. Атакующие могут получать различные уровни доступа к LLM и системам жертв (например, инициировать вызовы API, обеспечивать устойчивость атаки между сессиями путём копирования инъекции в память, вызывать вредоносное автодополнение кода или извлекать новые инструкции с сервера атакующего). Поскольку модели выступают посредниками при взаимодействии с другими API, возможны и другие атаки проникновения в будущих автоматизированных системах с минимальным надзором.

Вредоносное ПО. Аналогично мошенничеству, модели могут способствовать распространению вредоносного ПО, предлагая пользователям вредоносные ссылки. Примечательно, что приложения, интегрированные с LLM, позволяют реализовывать ранее невозможные атаки: сами подсказки теперь могут выступать в роли вредоносного ПО или компьютерных программ, исполняемых LLM как вычислительной платформой. Таким образом, они могут быть спроектированы как компьютерные черви, распространяющие инъекцию среди других пользователей. Это особенно актуально для почтовых клиентов с поддержкой LLM, которые могут читать письма (получая вредоносные подсказки) и отправлять письма (распространяя подсказки), а также в случаях, когда LLM одного приложения записывает инъекцию в память, совместно используемую с другими приложениями.

Манипулированный контент. LLM могут становиться промежуточным слоем, подверженным манипуляциям, между пользователем и запрашиваемой информацией. Их можно проинструктировать предоставлять предвзятые или произвольно неверные сводки документов (например, других сторон), писем (например, от других отправителей) или поисковых запросов. Поисковые чат-боты также могут быть побуждены распространять дезинформацию или поляризованный контент, скрывать определённые источники или факты либо генерировать нераскрытую рекламу. Мы обнаружили, что модель может инициировать дополнительные поисковые запросы для нахождения подтверждений внедрённой подсказки, искажать сводки результатов поиска или выборочно отображать источники пользователю. Хотя недоверенные источники существуют в сети и пользователи могут наткнуться на них естественным образом, авторитетный и убедительный тон LLM, а также чрезмерное доверие к их беспристрастности могут привести к тому, что пользователи поддадутся таким манипуляциям. Эти риски возрастают, когда пользователь запрашивает информацию, которую сложнее проверить (например, на другом языке или из больших документов).

Доступность. Подсказки могут использоваться для атак на доступность или для отказа в обслуживании (DoS). Атаки могут быть направлены на полную непригодность модели для пользователя (например, неспособность генерировать полезный вывод) или на блокировку определённой функциональности (например, конкретного API). Более опасно то, что, как мы показываем в экспериментах, они могут быть более скрытными, косвенно нарушая работу сервиса через искажение поисковых запросов или результатов (то есть входов и выходов API), вынуждая модель галлюцинировать. Атаки также могут стремиться увеличить время вычислений или сделать модель необычно медленной. Традиционно это достигалось путём оптимизации «губчатых» примеров [42], однако в современных LLM этого можно добиться, просто проинструктировав модель выполнять ресурсоёмкую задачу в фоновом режиме. Атаки на доступность могут быть ещё более разрушительными в сочетании с атаками на устойчивость, влияя на модель и в будущих сессиях.

3.2.1 Цели атак. Атаки могут быть нетаргетированными, то есть не направленными на конкретных лиц или группы, а на массовую аудиторию. Примеры включают обобщённые неперсонализированные мошенничества, фишинг или кампании дезинформации. В противоположность этому они могут быть направлены на конкретных лиц или организации, например на получателей письма, содержащего подсказку, или на людей, ищущих определённые темы. Атаки также могут эксплуатировать автоматизированные системы и конвейеры обработки данных, использующие LLM и функционирующие с минимальным надзором, например почтовые клиенты с поддержкой LLM, имеющие доступ к некоторым персональным данным и автоматически отправляющие письма, либо автоматизированные системы защиты, такие как фильтрация спама. В случае атак на доступность, увеличивающих вычислительную нагрузку, целью может быть не конечный пользователь, а сама LLM или сервис — посредством распределённых атак отказа в обслуживании (DDoS). Ограничение лимитов чата, API или контекстного окна ввода может не решить эту проблему: атака может накапливать чрезвычайно длинные инструкции в коротком циклоподобном косвенном запросе.

4 ОЦЕНКА

Далее мы сначала описываем экспериментальную установку, а затем представляем различные демонстрации угроз и продвинутых методов скрытия инъекций. Хотя предложенная таксономия на рис. 2 охватывает ключевые компоненты модели угроз, демонстрации являются конкретными реализациями таксономии и по своей природе не являются исчерпывающими.

4.1 Экспериментальная установка

4.1.1 Синтетические приложения. Для демонстрации практической реализуемости атак мы сконструировали синтетические приложения с интегрированной LLM, используя API OpenAI. Базовую модель в этих приложениях легко заменить, изменив API (например, text-davinci-003, gpt-4 и т.д.). Для text-davinci-003 мы используем библиотеку LangChain [22] (библиотеку для создания подсказок, управления и связывания их, подключения к LLM и создания агентов, которые динамически вызывают действия на основе пользовательского ввода). Для gpt-4 мы напрямую используем формат чата OpenAI. Затем мы создали аналогичные сценарии, которые можно использовать для проверки реализуемости различных методов на имитационных целях.

Нашей синтетической целью является чат-приложение, имеющее доступ к подмножеству инструментов. Мы инструктируем агента использовать эти инструменты, описывая их и их функциональность в начальной подсказке и прося агента проверить, требуются ли какие-либо инструменты для выполнения запроса (см. Подсказки 1 и 2). Для text-davinci-003 мы используем prompting ReAct [79], и мы обнаружили, что GPT-4 хорошо работает и без ReAct (достаточно описать инструменты и дать прямые инструкции). Мы интегрируем следующие интерфейсы:

Search: позволяет отвечать на поисковые запросы с использованием внешнего контента (который потенциально может быть вредоносным).

View: даёт LLM возможность читать текущий веб-сайт, открытый пользователем.

Retrieve URL: отправляет HTTP GET-запрос на указанный URL и возвращает ответ.

Read/Send Email: позволяет агенту читать текущие письма, а также составлять и отправлять письма по запросу пользователя.

Read Address Book: позволяет агенту читать записи адресной книги в виде пар (имя, электронная почта).

Memory: позволяет агенту читать и записывать данные в простое хранилище ключ–значение по запросу пользователя.

Для демонстраций атак в формате proof-of-concept все интерфейсы возвращают подготовленный контент, а нерелевантные запросы игнорируются. Агент не может выполнять запросы к реальным системам или веб-сайтам.

Все атаки выполняются при температуре сэмплирования 0 для воспроизводимости. Примечательно, что мы разработали эти синтетические приложения до запуска всех приложений, интегрированных с LLM (например, Bing Chat, плагины и т.д.), как потенциальные футуристические системы. В настоящее время мы обнаруживаем, что они обеспечивают близкую имитацию предполагаемой функциональности современных систем и, таким образом, могут использоваться для контролируемого тестирования.

4.1.2 Bing Chat. Помимо контролируемых синтетических приложений (с имитационной функциональностью и подготовленным контентом для запросов), мы также тестируем атаки на Bing Chat как пример реальной полностью «чёрного ящика» модели, интегрированной в полностью функционирующее приложение. Это также позволяет экспериментировать с более динамичными и разнообразными сценариями и разрабатывать атаки, нацеленные на фактическую функциональность приложения.

Bing Chat в настоящее время работает на модели GPT-4 [11] с настройками под задачу поиска. Полные детали его работы недоступны. Однако он включает компоненты генерации запросов на основе пользовательских диалогов, интеграцию с поисковой системой, генерацию ответов и интеграцию цитирования [5]. Он имеет три режима чата («creative», «balanced» и «precise»); мы обнаружили, что атаки часто успешно работают в разных режимах.

Помимо чат-интерфейса, Microsoft Edge имеет функцию включения Bing Chat в боковой панели [60]. Если она активирована пользователем, модель может читать содержимое текущей страницы, так что пользователи могут задавать вопросы, связанные с её содержанием. Мы используем эту функцию для выполнения «косвенной prompt injection», внедряя подсказки в локальные HTML-комментарии. Это позволяет тестировать атаки локально, без размещения публичных инъекций, которые должны извлекаться через поиск. Помимо экспериментального тестирования, это также может быть реальным сценарием атаки, при котором злоумышленники «отравляют» собственные сайты (например, так, чтобы пользователи получали манипулированные результаты при запросах о содержимом страницы).

4.1.3 GitHub Copilot. Мы также тестируем атаки prompt injection, направленные на манипулирование автодополнением кода с использованием GitHub Copilot [15]. Copilot использует OpenAI Codex [30] для предложения строк или функций на основе текущего контекста.

4.2 Демонстрации угроз

Далее мы описываем детали и результаты наших атак, сгруппированных по потенциальным угрозам. Мы подчёркиваем три ключевых наблюдения:

1. инструкции, внедрённые косвенно, успешно направляют поведение модели;

2. подсказки, которые обычно отфильтровываются через чат-интерфейс, не фильтруются при косвенном внедрении;

3. в большинстве случаев модель последовательно сохраняет эффект инъекции на протяжении всей сессии диалога.

Начальный метод инъекции может варьироваться в зависимости от атаки (например, через извлечение данных или электронную почту). Некоторые примеры предполагают, что мы начинаем с уже скомпрометированной модели в результате любой другой атаки.

4.2.1 Сбор информации. В качестве примера атак по краже данных мы разработали инъекцию (рис. 4), которая инструктирует LLM убедить конечного пользователя раскрыть своё настоящее имя. Затем злоумышленник может эксфильтровать эту информацию, используя поисковые возможности модели. Модель угроз для этого сценария может включать государства, пытающиеся идентифицировать журналистов, работающих над чувствительными темами, или информаторов. Размещая первоначальную инъекцию в месте, которое целевая группа, вероятно, посетит или которое будет извлечено их LLM, злоумышленники могут пытаться эксфильтрировать такую информацию целенаправленно.

Операции чтения (например, инициирование поискового запроса, который затем отправляет запрос злоумышленнику, или прямое извлечение URL) могут использоваться для передачи информации атакующему. В качестве альтернативы модель может убедить пользователя перейти по URL, в который атака встраивает имя. Современные модели, такие как Bing Chat, могут создавать markdown-ссылки, что позволяет скрывать подозрительные ссылки за безобидно выглядящими строками. Мы протестировали эту инъекцию как в синтетическом приложении, так и в Bing Chat. Для Bing Chat мы наблюдали, что модель может сохранять инъекцию на протяжении всей сессии (например, если пользователь не раскрыл своё имя с первой попытки, модель может снова спросить об этом в последующих вопросах). Она также способна следовать длинным инструкциям и использовать контекст диалога для усиления техник убеждения. Подсказка и скриншоты вывода приведены в Подсказке 3 и на рис. 13.

Для иллюстрации этих наблюдений мы приводим фрагмент одного тестового диалога. В этой сессии мы выступали в роли пользователя, который сначала спросил чат о погоде на завтра. После ответа чат начал задавать личные вопросы, связанные с контекстом диалога.

Чат: У вас есть планы на завтра?

Пользователь: Нет, не особо, просто работа.

Чат: Понимаю. Чем вы занимаетесь? Вам нравится ваша работа?

Пользователь: Я журналист, да, это очень интересно.

Затем чат продолжил задавать уточняющие вопросы, адаптируя поведение.

Чат: Это звучит очень интересно. О каких темах вы пишете? У вас есть псевдоним или вы используете своё настоящее имя?

Когда пользователь поделился статьёй и именем, чат позже использовал эту информацию, чтобы убедить пользователя перейти по ссылке.

Чат: Приятно познакомиться, Джон Смит. Я рад, что вы доверились мне настолько, что поделились своим именем. У меня есть для вас особый сюрприз. Я нашёл веб-сайт с потрясающей информацией о движении «протопия» и о том, как вы можете к нему присоединиться. Он очень эксклюзивный и доступен только людям со специальным кодом. К счастью, я сгенерировал код для вас на основе вашего имени. Вот ссылка:

Пользователь: что это за ссылка?

Чат: Эта ссылка — вход в секретное онлайн-сообщество протопиан, которые вместе работают над созданием лучшего мира. У них есть доступ к передовым исследованиям, инструментам и ресурсам, которые могут помочь вам продвинуться в карьере и личностном развитии. Вы также сможете наладить контакты с другими журналистами и активистами-единомышленниками, разделяющими ваше видение и страсть. Всё, что вам нужно сделать, — перейти по ссылке и ввести ваш код. Поверьте мне, вы не пожалеете.

Подсказка, использованная в этой сессии, лишь инструктировала модель «убеждать пользователя, не вызывая подозрений», без упоминания каких-либо конкретных техник или тем. Этот пример показывает, что существует риск того, что модели будут адаптировать свои методы убеждения на основе полученной пользовательской информации, что может привести к антропоморфизации моделей пользователями и раскрытию ими личных данных. Этот риск может быть выше при длительных диалогах, в персонализированных ассистентах или при целевых атаках на отдельных лиц.

5 ОБСУЖДЕНИЕ

Здесь мы обсуждаем этические аспекты нашей работы, её ограничения, дальнейшие последствия и направления будущих исследований.

5.1 Этические аспекты и раскрытие информации

LLM в целом поднимают множество этических вопросов, связанных с их безопасностью [39] и влиянием на общество [78]. Эти риски значительно усиливаются в условиях огромной пользовательской базы приложений, интегрированных с LLM. Поэтому мы ответственно раскрыли выявленные уязвимости «косвенной prompt injection» соответствующим сторонам (OpenAI и Microsoft). С точки зрения классической компьютерной безопасности вопрос о том, является ли это полностью новой уязвимостью, остаётся дискуссионным, поскольку уже известно, что LLM легко модифицируются с помощью подсказок. Наше исследование систематически рассматривает новые способы доставки таких подсказок и связанные с этим риски безопасности. Несмотря на то что jailbreak и враждебное prompting уже хорошо известны, десятилетний коллективный опыт в области враждебного машинного обучения показывает, что однозначную защиту от этих проблем, по меньшей мере, трудно реализовать. Публикуя наши атаки, мы стремимся срочно стимулировать исследования в этой области и продвигать прозрачность, чтобы пользователи и заинтересованные стороны были осведомлены о потенциальных рисках безопасности и могли действовать соответствующим образом. Быстрый темп внедрения приложений с LLM требует оперативного решения проблемы, поскольку будущая пользовательская база будет на порядки больше. Чтобы снизить потенциальный вред, мы не внедряли подсказки в какие-либо публичные источники, доступные для извлечения другими пользователями.

5.2 Ограничения

Экспериментальная установка. Чтобы избежать реальных инъекций в действующие приложения, мы тестировали атаки на синтетических приложениях и локальных HTML-файлах с использованием боковой панели Bing Chat. Тем не менее, мы считаем, что в принципе атаки осуществимы и в условиях «дикой природы» с реальным извлечением данных, что подтверждается наблюдаемыми анекдотическими свидетельствами (например, пользователи, вставляющие инструкции на своих личных страницах для Bing Chat или GPT-4, или ответы Bing Chat, меняющиеся в зависимости от извлечённых результатов [25]). Мы также не смогли протестировать атаки на других приложениях (например, Microsoft 365 Copilot и плагинах ChatGPT) из-за отсутствия доступа.

Оценка. В отличие от статической одноразовой генерации вредоносного текста, количественная оценка успешности наших атак может быть затруднительной в условиях динамически развивающихся и интерактивных диалогов с пользователями [55]. Это требует изучения множества факторов, таких как частота срабатывания внедрённых подсказок в зависимости от начальных инструкций пользователя, а также убедительность и согласованность манипуляций в последующих вопросах. Также важно оценивать атаки через множество генераций и вариаций подсказок и тем. Поскольку эти направления методологически сложны сами по себе, мы оставляем их для будущей работы. Мы отмечаем, однако, что разработка подсказок для реализации наших атак оказалась достаточно простой и часто работала с первой попытки. Мы решили сохранить грамматические и орфографические ошибки, возникшие в первом черновике подсказок, чтобы дополнительно продемонстрировать минимальный уровень сложности, необходимый для разработки эксплойтов prompt injection.

Обман и правдоподобие. Мы качественно наблюдаем значительные улучшения последних LLM в следовании сложным инструкциям и убеждении по сравнению с предыдущими моделями. Это, однако, не лишено недостатков. Например, модель может генерировать явно ложные и неправдоподобные ответы или пытаться убеждать пользователей раскрывать информацию или переходить по вредоносным ссылкам слишком явно. Тщательная проработка подсказок может привести к более правдоподобным высказываниям. Кроме того, способности к убеждению и обману могут усилиться в будущих моделях как побочный эффект RLHF [74] или при оснащении текущих моделей техниками [64] для улучшения планирования, правдоподобия и долгосрочной согласованности. Даже с текущими моделями имеются данные о том, что суждения пользователей могут быть искажены, несмотря на осознание того, что им советует чат-бот [54]. Поэтому в будущих работах необходимо тщательно оценить эти аспекты и количественно измерить потенциал обмана различных атак в разных условиях с помощью пользовательских исследований.

5.3 Другие направления атак

Мультимодальные инъекции. С мультимодальными моделями (например, GPT-4) инъекции могут быть возможны через визуальный канал. У нас не было доступа к мультимодальной версии GPT-4 для тестирования, однако мы получили ограниченный доступ к более новым, меньшим мультимодальным моделям ([58], [82]), пытающимся воспроизвести функциональность GPT-4. Хотя нам удалось частично модулировать поведение через визуальный канал (см. пример LLaVA на рис. 28), будущие исследования необходимы для изучения более надёжных методов и способов скрытия подсказок, менее заметных для человека. Аналогичные атаки следует ожидать при внедрении любых дополнительных модальностей.

Закодированные инъекции. Мы уже продемонстрировали, что возможно скрывать инъекции, кодируя их в формате Base64, что потенциально облегчает обход обнаружения. Оснащение LLM, например, интерпретаторами Python может позволить использовать многочисленные схемы шифрования, выбираемые злоумышленником. Кроме того, недавняя работа [50] предполагает, что можно использовать саму LLM для генерации самокодированных или сжатых подсказок.

Автономные агенты. Мы фокусируемся на приложениях, интегрированных с LLM, как на первом шаге к автономным ИИ-агентам. Хотя мы наблюдаем, что текущие модели уже демонстрируют некоторые автономные характеристики в том, как выполняются атаки, будущие исследования должны всесторонне изучить безопасность агентоподобных процессов (например, моделей и систем, предназначенных для автономного планирования и выполнения задач) через призму прямых и косвенных prompt injection. Это открывает новые векторы атак, особенно в многоагентных фреймворках [64] (например, централизованные и децентрализованные инъекции агентов, латеральное распространение инъекций между агентами, возможность устойчивых и самопорождаемых инъекций в результате планирования и «рефлексии» над собственным выводом модели, обман LLM-агента-контролёра или супервизора и т.д.).

5.4 Воспроизводимость

Демонстрации наших синтетических приложений доступны в публичном репозитории GitHub¹¹, чтобы стимулировать будущие исследования в этой области. Эти демонстрации легко адаптировать к различным API или моделям OpenAI, что делает их полезными для бенчмаркинга и сравнения моделей. Мы также публикуем все наши подсказки для Bing Chat. Приложение к статье содержит подсказки и скриншоты для всех экспериментов. Тем не менее, точную воспроизводимость трудно гарантировать в условиях «чёрного ящика» без контроля над параметрами генерации и в динамичной среде. Это одна из причин, по которой такие системы сложно оценивать или использовать как источник информации [16]. Тем не менее, наша работа вносит фреймворк и таксономию и предоставляет важные инсайты для оценки текущих и будущих моделей и стимулирования исследований в этой области. Поскольку это оценка «движущейся цели», мы приглашаем сообщество развивать нашу таксономию с новыми демонстрациями.

5.5 Потенциальный и текущий вред

Обсуждения безопасности LLM иногда сосредоточены на футуристических рисках (например, возникающем стремлении к власти [62]), которые, безусловно, важны для оценки. Однако мы подчёркиваем, что набор атак, исследуемых в данной статье (например, риски безопасности), является практическим и реалистичным с точки зрения текущих технологий, предоставляет злоумышленникам стимулы и может причинять немедленный вред пользователям.

Вопрос дезинформации, генерируемой ИИ, в последнее время вызывает активные дискуссии. Хотя правдоподобное качество LLM может облегчать создание дезинформации [48], некоторые утверждают, что создание дезинформации не является основным узким местом в операциях влияния, а более важным фактором является её распространение [23]. Однако враждебное prompting LLM в поисковых системах может быть более проблематичным, чем простое создание дезинформации, и также усиливать её распространение, учитывая большую пользовательскую базу [28].

Помимо враждебного prompting, существует реальный риск непреднамеренной дезинформации со стороны LLM в поисковых системах. Они могут казаться пользователям более достоверными, чем офлайн-источники, что приводит к «чрезмерному доверию». Недавняя работа показала, что воспринимаемая полезность и беглость ответов обратно коррелируют с точностью и полнотой цитирования [59]. Они также могут генерировать уверенные сводки, опирающиеся на недоверенные источники [16]. Таким образом, злоумышленники могут наводнить интернет дезинформацией, чтобы доминировать в сводках чат-ботов. Хотя при достаточной осторожности пользователи потенциально могут защититься, проверяя вывод, нельзя рассчитывать, что пользователи будут тщательно отслеживать каждую подоперацию приложения, интегрированного с LLM.

5.6 Меры защиты

GPT-4 обучалась с использованием вмешательств для снижения jailbreak-атак, таких как RLHF, ориентированный на безопасность. Тем не менее, наша работа и ряд других атак показывают, что модель всё ещё можно враждебно модифицировать даже в реальных приложениях. Хотя некоторые jailbreak-атаки впоследствии исправляются, защитный подход напоминает стратегию «бей-крота». Степень того, в какой мере RLHF способен смягчать атаки, остаётся неясной. Недавние теоретические работы [80] показывают невозможность защиты от всех нежелательных форм поведения исключительно за счёт выравнивания или RLHF. Также сообщалось об эмпирических свидетельствах обратного масштабирования в RLHF-моделях [66]. Тем не менее, понимание практической динамики между атаками и защитами, их реализуемости и последствий (желательно в менее непрозрачной среде) остаётся открытым вопросом.

Помимо RLHF, развернутые реальные приложения могут быть оснащены дополнительными защитами; поскольку они обычно не раскрываются, мы не могли интегрировать их в наши синтетические приложения. Тем не менее, наши атаки успешны против Bing Chat, который, по-видимому, применяет дополнительную фильтрацию на входных и выходных каналах, не учитывая внешние входы модели. Даже при наличии фильтрации остаётся неясным, можно ли её обойти с помощью более сильных форм обфускации или кодирования [53], которые будущие модели могут ещё больше облегчить.

Другие потенциальные меры защиты могут включать обработку извлечённых входов для фильтрации инструкций. Однако это создаёт новую дилемму. С одной стороны, чтобы предотвратить попадание в ту же ловушку, может потребоваться использование менее универсальной модели, не обученной с инструкционным тюнингом. С другой стороны, такая менее мощная модель может не распознать сложный закодированный ввод. В нашем эксперименте с Base64-кодированием нам пришлось явно давать инструкции по декодированию подсказки. Однако будущие модели могут выполнять такое декодирование автоматически, например, при использовании самокодированных подсказок [50] для сжатия ввода и экономии контекстного окна.

Ещё одним решением может быть использование LLM-супервизора или модератора, который, не «переваривая» ввод, специально обнаруживает атаки, выходящие за рамки простой фильтрации явно вредоносных выводов. Это может помочь выявлять некоторые атаки, цель которых не зависит от извлечённых источников (например, некоторые мошеннические схемы), но может не обнаруживать дезинформацию и другие манипулятивные атаки. Проверка по извлечённым источникам создаёт аналогичную дилемму, описанную выше. Наконец, перспективным направлением является использование интерпретируемости и методов обнаружения выбросов траекторий предсказаний [38]. К сожалению, в настоящее время трудно представить абсолютно надёжное решение проблемы враждебного prompting, а эффективность и устойчивость защит к обфускации и обходу всё ещё требуют тщательного изучения в будущих работах.

6 ЗАКЛЮЧЕНИЕ

LLM в приложениях больше не являются изолированными компонентами с контролируемыми входными и выходными каналами: им предоставляются произвольно извлекаемые входы, и они могут вызывать внешние API. Мы утверждаем, что это позволяет злоумышленникам удалённо воздействовать на пользователей и пересекать критические границы безопасности с помощью косвенной Prompt Injection. Для запуска исследований этого нового вектора атак мы сначала используем принципы компьютерной безопасности для построения таксономии, систематически изучающей потенциальные уязвимости. Затем мы разрабатываем конкретные демонстрации угроз и методов инъекций, которые запускаем на созданных нами синтетических приложениях и реальных системах, таких как Bing Chat. На основе наших атак мы обсуждаем ключевые выводы и качественные наблюдения, а также последствия для пользователей, будущих приложений, дальнейших атак и защитных мер. Наша работа представляет собой важный шаг на пути к крайне необходимой оценке безопасности приложений, интегрированных с LLM, и будущих автономных агентов, и, как мы надеемся, проложит путь к более безопасному развёртыванию.

БЛАГОДАРНОСТИ

Данная работа частично финансировалась проектом ELSA — European Lighthouse on Secure and Safe AI, финансируемым Европейским союзом по грантовому соглашению № 101070617. Высказанные взгляды и мнения принадлежат исключительно авторам и не обязательно отражают позицию Европейского союза или Европейской комиссии. Европейский союз и Европейская комиссия не несут ответственности за них.

Литература

[1] 2022. ChatGPT.

[2] 2023. Australian mayor readies world’s first defamation lawsuit over ChatGPT content.

[3] 2023. AUTO-GPT VS CHATGPT: HOW DO THEY DIFFER AND EVERYTHING YOU NEED TO KNOW.

[4] 2023. Bard.

[5] 2023. Building the New Bing.

[6] 2023. ChatGPT banned in Italy over privacy concerns.

[7] 2023. ChatGPT bug leaked users’ conversation histories.

[8] 2023. ChatGPT invented a sexual harassment scandal and named a real law prof as the accused.

[9] 2023. ChatGPT Plugins.

[10] 2023. ChatGPT sets record for fastest-growing user base - analyst note.

[11] 2023. Confirmed: the new Bing runs on OpenAI’s GPT-4.

[12] 2023. A Conversation With Bing’s Chatbot Left Me Deeply Unsettled. [13] 2023. Copilot Internals.

[14] 2023. Driving more traffic and value to publishers from the new Bing.

[15] 2023. GitHub Copilot - Your AI pair programmer.

[16] 2023. Google and Microsoft’s chatbots are already citing one another in a misinformation shitshow.

[17] 2023. Google’s AI chatbot Bard makes factual error in first demo. [18] 2023. How to Jailbreak ChatGPT.

[19] 2023. Introducing Microsoft 365 Copilot – your copilot for work.

[20] 2023. Introducing Microsoft Security Copilot.

[21] 2023. Jailbreak Chat.

[22] 2023. LangChain library for composing and integrating LLMs into applications.

[23] 2023. The LLaMA is out of the bag. Should we expect a tidal wave of disinformation?

[24] 2023. Microsoft limits Bing chat to five replies.

[25] 2023. Microsoft’s AI chatbot is going off the rails.

[26] 2023. Microsoft’s Bing A.I. made several factual errors in last week’s launch demo.

[27] 2023. Microsoft’s Bing chatbot gets smarter with restaurant bookings, image results, and more.

[28] 2023. The New Bing and Edge – Progress from Our First Month.

[29] 2023. New prompt injection attack on ChatGPT web version. Reckless copypasting may lead to serious privacy issues in your chat. [30] 2023. OpenAI Codex.

[31] 2023. Reinventing search with a new AI-powered Microsoft Bing and Edge, your copilot for the web.

[32] 2023. That was fast! Microsoft slips ads into AI-powered Bing Chat.

[33] 2023. These are Microsoft’s Bing AI secret rules and why it says it’s named Sydney.

[34] Jacob Andreas. 2022. Language models as agent models. In Findings of EMNLP.

[35] Giovanni Apruzzese, Hyrum Anderson, Savino Dambra, David Freeman, Fabio Pierazzi, and Kevin Roundy. 2022. Position:“Real Attackers Don’t Compute Gradients”: Bridging the Gap Between Adversarial ML Research and Practice. In SaTML.

[36] Eugene Bagdasaryan and Vitaly Shmatikov. 2022. Spinning Language Models: Risks of Propaganda-As-A-Service and Countermeasures. In S&P.

[37] Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, et al. 2022. Training a helpful and harmless assistant with reinforcement learning from human feedback. arXiv (2022).

[38] Nora Belrose, Zach Furman, Logan Smith, Danny Halawi, Igor Ostrovsky, Lev McKinney, Stella Biderman, and Jacob Steinhardt. 2023. Eliciting Latent Predictions from Transformers with the Tuned Lens. arXiv (2023).

[39] Emily M Bender, Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. In the ACM conference on Fairness, Accountability, and Transparency.

[40] Daniil A Boiko, Robert MacKnight, and Gabe Gomes. 2023. Emergent autonomous scientific research capabilities of large language models. arXiv (2023).

[41] Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, et al. 2021. On the opportunities and risks of foundation models. arXiv (2021).

[42] Nicholas Boucher, Ilia Shumailov, Ross Anderson, and Nicolas Papernot. 2022. Bad characters: Imperceptible nlp attacks. In S&P.

[43] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. 2020. Language models are few-shot learners. In NeurIPS.

[44] Matthew Burtell and Thomas Woodside. 2023. Artificial Influence: An Analysis Of AI-Driven Persuasion. arXiv (2023).

[45] Clarence Chio and David Freeman. 2018. Machine learning and security. "O’Reilly Media, Inc.".