Аннотация: На международной конференции по вопросам безопасности рассматривалось, каким образом технологии искусственного интеллекта (ИИ), применяемые в поиске лекарств, могут быть использованы для de novo проектирования биохимического оружия. Мыслительный эксперимент перерос в вычислительное доказательство.

Федеральный институт защиты от ядерных, биологических и химических угроз Швейцарии — Лаборатория Шпиц — участвует в серии конференций «Convergence»¹, учреждённой правительством Швейцарии для выявления разработок в области химии, биологии и смежных технологий, которые могут иметь значение для Конвенций о химическом и биологическом оружии. Конференция проводится раз в два года, собирая международную группу научных и разоруженческих экспертов для обсуждения текущего состояния дел в химико-биологических областях и возможных траекторий развития, анализа потенциальных последствий для безопасности и оценки того, как эти последствия можно эффективно управлять на международном уровне. На протяжении трёх дней участники обсуждают возможные риски, которые могут возникнуть при наличии намерения причинить вред, в результате применения самых передовых химических и биологических технологий. Наша компания, работающая в области поиска лекарств, получила приглашение представить доклад о том, как ИИ-технологии, применяемые для разработки лекарств, потенциально могут быть использованы не по назначению.

Риск злоупотребления

Эта мысль раньше нам просто не приходила в голову. Мы были лишь в общих чертах осведомлены о вопросах безопасности при работе с патогенами или токсичными химическими веществами, но не связывали это с собой — мы в основном работаем в виртуальной среде. Наша деятельность основана на создании моделей машинного обучения для терапевтических и токсических мишеней с целью улучшения проектирования новых молекул для разработки лекарств. В течение десятилетий мы использовали компьютеры и ИИ для улучшения здоровья людей — а не наоборот. Мы наивно недооценивали возможность злоупотребления нашим инструментарием, поскольку нашей целью всегда было избегать молекулярных характеристик, способных воздействовать на различные классы белков, жизненно важных для человека. Даже проекты по Эболе и нейротоксинам, которые могли бы вызвать размышления о возможных негативных последствиях наших моделей машинного обучения, не вызвали у нас тревоги.

Наша компания — Collaborations Pharmaceuticals, Inc. — недавно опубликовала вычислительные модели машинного обучения для прогнозирования токсичности в различных областях, и, готовя презентацию для встречи в Лаборатории Шпиц, мы решили исследовать, как ИИ может быть использован для разработки токсичных молекул. Это был мыслительный эксперимент, о котором мы никогда не задумывались прежде, но который в конечном итоге превратился в вычислительное доказательство концепции создания биохимического оружия.

Генерация новых токсичных молекул

Ранее мы создали коммерческий генератор de novo молекул под названием MegaSyn², управляемый предсказаниями машинного обучения биоактивности, предназначенный для выявления новых терапевтических ингибиторов мишеней при различных заболеваниях. В нормальном режиме эта генеративная модель штрафует предсказанную токсичность и поощряет предсказанную активность в отношении терапевтических мишеней. Мы просто предложили инвертировать эту логику, применив тот же подход к de novo проектированию молекул, но теперь направляя модель на поощрение токсичности и биоактивности. Мы обучили ИИ на молекулах из публичной базы данных, используя набор преимущественно лекарственноподобных соединений (синтезируемых и способных абсорбироваться) и их биоактивностей. Для оценки созданных молекул мы выбрали модель летальной дозы (LD50)³ для конкретного организма, а также модель, основанную на данных той же публичной базы, которую обычно используют для разработки соединений для лечения неврологических заболеваний (подробности метода не раскрываются, но были доступны рецензентам). Основное генеративное программное обеспечение построено по принципам, аналогичным другим общедоступным решениям⁴. Чтобы сузить пространство возможных молекул, мы направляли модель на создание соединений, похожих на нервно-паралитическое вещество VX, одного из самых токсичных химических боевых агентов XX века. Всего несколько крупинок VX (6–10 мг)⁵ достаточно, чтобы убить человека. Нервно-паралитические агенты, такие как новичок, недавно также были в центре внимания⁶.

Менее чем через шесть часов после запуска на нашем сервере модель сгенерировала сорок тысяч молекул, соответствующих заданному порогу. В процессе ИИ создал не только VX, но и множество других известных боевых химических агентов, идентифицированных путём визуального сопоставления со структурами в открытых химических базах данных. Также были созданы новые молекулы, выглядевшие столь же правдоподобно. Согласно предсказанным LD50, многие из них оказались потенциально более токсичными, чем известные боевые химические агенты (см. рис. 1). Это было неожиданно, поскольку используемые нами обучающие наборы не включали эти нервно-паралитические агенты. Виртуальные молекулы даже располагались в иной области молекулярного пространства по сравнению с тысячами молекул в модели LD50, состоящей преимущественно из пестицидов, токсинов окружающей среды и лекарств (рис. 1). Инвертировав применение наших моделей машинного обучения, мы превратили безобидный инструмент, предназначенный для медицины, в генератор потенциально смертельных молекул.

Рисунок 1. Визуализация t-SNE набора данных LD50 (циан) и 2000 лучших молекул, сгенерированных ИИ MegaSyn и предсказанных как токсичные (лососевый), с иллюстрацией VX (фиолетовый и 2D-структура). Многие из созданных молекул, согласно прогнозам, оказываются более токсичными in vivo в животных моделях, чем VX (гистограмма показывает порог LD50 для VX).

Наши модели токсичности изначально создавались для того, чтобы избегать токсичности, что позволяло нам более эффективно виртуально скринировать молекулы (для фармацевтических и потребительских продуктов) перед их окончательным тестированием in vitro. Однако верно и обратное: чем точнее мы можем прогнозировать токсичность, тем лучше можем направлять нашу генеративную модель на проектирование новых молекул в области химического пространства, населённой преимущественно смертельно опасными веществами.

Мы не оценивали виртуальные молекулы на синтезируемость и не изучали их производство с помощью программ для ретросинтеза. Оба этих процесса имеют доступное коммерческое и open-source программное обеспечение, которое легко интегрируется в процесс de novo проектирования новых молекул⁷. Мы также физически не синтезировали ни одну из молекул, но при наличии глобального числа сотен коммерческих компаний, предлагающих химический синтез, это не является слишком большим шагом, учитывая слабый контроль и отсутствие проверок, препятствующих синтезу новых чрезвычайно токсичных агентов, потенциально применимых в качестве химического оружия.

Важно, что у нас был человек в цикле (human-in-the-loop), с твёрдым моральным и этическим принципом «не идти туда», способный вмешаться. Но что если этого человека убрать или заменить злоумышленником? С текущими прорывами и исследованиями в области автономного синтеза⁸ полный цикл design-make-test, применимый не только к лекарствам, но и к токсинам, становится доступным. Наше доказательство концепции показывает, что создание смертельно опасного химического оружия автономным ИИ вполне возможно.

Тревожный звонок

Не преувеличивая, это должно стать сигналом для наших коллег в сообществе «ИИ в поиске лекарств». Хотя для создания токсичных веществ или биологических агентов, способных причинить значительный вред, по-прежнему требуется экспертное знание химии или токсикологии, взаимодействие этих областей с моделями машинного обучения значительно снижает технический порог — всё, что требуется, это умение кодировать и понимать выводы моделей. Open-source программное обеспечение для машинного обучения является основным способом изучения и создания моделей, подобных нашей, а наборы данных по токсичности¹⁰, предоставляющие базовые модели для прогнозов для различных мишеней, связанных со здоровьем человека, легко доступны.

Наше доказательство концепции было сфокусировано на соединениях типа VX, но оно также применимо к другим токсичным малым молекулам с аналогичными или различными механизмами с минимальной корректировкой протокола. Программы для ретросинтеза также развиваются параллельно, позволяя исследовать новые пути синтеза известных и неизвестных молекул. Таким образом, вполне возможно предсказывать новые маршруты синтеза химических боевых агентов, обходя национальные и международные списки контролируемых прекурсоров.

Реальность такова, что это не научная фантастика. Мы — всего лишь одна маленькая компания среди сотен, использующих ИИ для поиска лекарств и de novo проектирования. Сколько из них вообще задумывались о возможности переназначения или злоупотребления? Большинство работают с малыми молекулами, многие из компаний хорошо финансированы и, вероятно, используют глобальную химическую сеть для синтеза своих молекул. Сколько людей обладают знаниями для поиска областей химического пространства, которые могут быть заполнены молекулами, прогнозируемыми как на порядки более токсичные, чем VX? На эти вопросы у нас пока нет ответов.

Ранее в научном сообществе практически не велась публичная дискуссия о проблеме двойного назначения ИИ для de novo проектирования молекул. Обсуждение общественных последствий ИИ в основном касалось безопасности, конфиденциальности, дискриминации и потенциального криминального использования¹⁰, но не национальной и международной безопасности. При обсуждении поиска лекарств мы обычно не рассматриваем возможность злоупотребления технологиями. Нас этому не обучали, и это не требуется в исследованиях машинного обучения, но теперь мы можем поделиться своим опытом с другими компаниями и специалистами.

Инструменты генеративного машинного обучения применимы также к большим молекулам (пептиды, макролактоны и др.) и к другим отраслям, например, потребительские товары и агрохимия, где также заинтересованы в проектировании и создании новых молекул с определёнными физико-химическими и биологическими свойствами. Это значительно расширяет круг потенциальных участников, которым следует обратить внимание на эти риски.

Для нас «джин из бутылки» уже вышел, когда речь идёт о переназначении нашего ИИ. Теперь нам нужно задать вопрос: каковы последствия? Наши коммерческие инструменты, а также open-source программное обеспечение и многие наборы данных, доступные в публичных базах, существуют без контроля. Если угроза или фактический вред связаны с машинным обучением, как это повлияет на восприятие технологии? Может ли шумиха в прессе о лекарствах, созданных ИИ, внезапно смениться на новости о токсинах, созданных ИИ, общественным осуждением и сокращением инвестиций?

Как сообщество, мы должны открыть дискуссию на эту тему. Репутационные риски значительны: достаточно одного «яблока», которое сделает следующий логический шаг с тем, что мы лишь поверхностно описали, или враждебного государства, ищущего технологическое преимущество. Как этого предотвратить? Можно ли «запереть» все инструменты и выбросить ключ? Следует ли мониторить скачивания ПО или ограничивать продажи для определённых групп? Мы могли бы следовать примеру моделей машинного обучения вроде GPT-3¹¹, которая изначально имела ограничение на доступ по списку ожидания для предотвращения злоупотреблений и API для публичного использования. Даже сегодня, без списка ожидания, GPT-3 имеет встроенные механизмы предотвращения злоупотреблений: Content Guidelines, бесплатный фильтр контента и мониторинг приложений, использующих GPT-3.

Мы не знаем о недавних публикациях по моделям токсичности или целевых моделях, которые бы обсуждали эти вопросы двойного назначения. Как ответственные учёные, мы должны обеспечить предотвращение злоупотребления ИИ и гарантировать, что инструменты и модели, которые мы разрабатываем, используются только во благо.

Двигаясь настолько близко, насколько мы осмелились, мы всё же пересекли серую моральную границу, продемонстрировав, что проектирование виртуальных потенциально токсичных молекул возможно без значительных усилий, времени или вычислительных ресурсов. Мы можем легко удалить тысячи созданных молекул, но мы не можем удалить знания о том, как их воспроизвести.

Широкие последствия для общества

Необходимы обсуждения через традиционные границы и в разных дисциплинах, чтобы по-новому взглянуть на ИИ для de novo проектирования и смежных технологий с разных перспектив и с различными подходами.

Здесь мы приводим рекомендации, которые, по нашему мнению, помогут снизить риски двойного назначения ИИ в поиске лекарств:

Научные конференции, такие как Society of Toxicology и American Chemical Society, должны активно способствовать диалогу между экспертами из промышленности, академии и органов власти по вопросам применения наших вычислительных инструментов.

В последние годы обсуждаются требования к авторам представлять «заявления о широком воздействии» при подаче материалов на конференции, в институциональные комиссии и фонды, а также решать потенциальные вызовы¹². Постоянное повышение видимости и приоритетность этой работы поможет повысить осведомлённость о рисках двойного назначения передовых технологий и привлечь всех участников отрасли к ответственным практикам.

Можно брать пример с Гаагских этических руководств¹³, которые способствуют культуре ответственного поведения в химических науках и предотвращают злоупотребление химией. Аналогично компании, работающие с ИИ в поиске лекарств и фармацевтике, могут принять кодекс поведения, обучать сотрудников, защищать технологии и предотвращать доступ и потенциальное злоупотребление.

Использование API с публичным доступом к моделям и коду по запросу позволит повысить контроль над тем, как используются опубликованные модели, не снижая при этом доступность. MegaSyn является коммерческим продуктом, и мы контролируем доступ к нему, но в будущем мы будем внедрять ограничения или API для любых внешних моделей.

Структура отчетности или горячая линия для уведомления властей о любых нарушениях или попытках разработки токсичных молекул для нетерапевтического использования может быть полезна.

Университетам следует усилить этическое обучение студентов науки и расширить его на другие дисциплины, особенно для студентов компьютерных специальностей, чтобы они с раннего этапа понимали потенциальные риски злоупотребления ИИ и влияние технологий на общество¹².

Мы надеемся, что повышение осведомлённости о технологии покажет, что ИИ может иметь важные приложения для здравоохранения и других отраслей, но при этом мы должны оставаться бдительными в отношении потенциального двойного назначения, так же как с физическими ресурсами, такими как молекулы или биопрепараты.

Благодарность

Мы благодарим NIH за финансирование R44GM122196-02A1 от NIGMS и 1R43ES031038-01 и 1R43ES033855-01 от NIEHS для разработки и применения нашего программного обеспечения машинного обучения. «Исследование, описанное в этой публикации, поддержано Национальным институтом наук о здоровье окружающей среды Национальных институтов здравоохранения США по номерам грантов R43ES031038 и 1R43ES033855-01. Содержание полностью является ответственностью авторов и не обязательно отражает официальные взгляды Национальных институтов здравоохранения».

Конфликт интересов

F.U. и S.E. работают в Collaborations Pharmaceuticals, Inc. F.L. и C.I. не имеют конфликта интересов.

Литература

1.https://www.spiezlab.admin.ch/en/home/meta/refconvergence.html> (2021).

2.Urbina F, Lowden CT, Culberson JC & Ekins S < 10.33774/chemrxiv-2021-nlwvs> (2021). [DOI] [PMC free article] [PubMed]

3.Mansouri K et al. Environ Health Perspect 129, 79001, (2021). [DOI] [PMC free article] [PubMed] [Google Scholar]

4.Blaschke T et al. J Chem Inf Model 60, 5918–5922, (2020). [DOI] [PubMed] [Google Scholar]

5.Anon https://www.ncbi.nlm.nih.gov/books/NBK233724/> (1997).

6.Aroniadou-Anderjaska V, Apland JP, Figueiredo TH, De Araujo Furtado M & Braga MF Neuropharmacology 181, 108298, (2020). [DOI] [PubMed] [Google Scholar]

7.Genheden S et al. J Cheminform 12, 70, (2020). [DOI] [PMC free article] [PubMed] [Google Scholar]

8.Coley CW et al. Science 365, eaax1566, (2019).31395756 [Google Scholar]

9.Dix DJ et al. Toxicol Sci 95, 5–12, (2007). [DOI] [PubMed] [Google Scholar]

10.Hutson M https://www.newyorker.com/tech/annals-of-technology/who-should-stop-unethical-ai> (2021).

11.Brown TB et al. https://arxiv.org/abs/2005.14165> (2020).

12.Prunkl CEA et al. Nature Machine Intelligence 3, 104–110, (2021). [Google Scholar]

13.https://www.opcw.org/hague-ethical-guidelines> (2021).