БЕНЧМАРКИНГ RETRIEVAL-AUGMENTED БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ В БИОМЕДИЦИНСКОМ NLP: ПРИМЕНЕНИЕ, УСТОЙЧИВОСТЬ И САМООСОЗНАННОСТЬ

Mingchen Li¹

Zaifu Zhan²

Han Yang³

Yongkang Xiao³

Huixue Zhou³

Jiatan Huang¹

Rui Zhang¹*

¹ Division of Computational Health Sciences, Department of Surgery, University of Minnesota, Minneapolis, MN, USA.
² Department of Electrical and Computer Engineering, University of Minnesota, Minneapolis, MN, USA.
³ Institute for Health Informatics, University of Minnesota, Minneapolis, MN, USA.
* Corresponding author: ruizhang@umn.edu

Введение

В последнее время был достигнут существенный прогресс в области больших языковых моделей (LLM). Для адаптации LLM к биомедицинскому домену были разработаны специализированные биомедицинские LLM, такие как MedLLaMA-13B (1) и Med-PaLM 2 (2). Несмотря на впечатляющие универсальные возможности (3), эти модели по-прежнему сталкиваются с заметными проблемами, включая фактические «галлюцинации» (4) и отсутствие доступа к недавно появившимся знаниям (5).

Retrieval-augmented языковые модели (RAL) (3, 6–8), напротив, при необходимости могут извлекать знания из внешнего хранилища данных, потенциально снижая «галлюцинации» и улучшая способность к адаптации к новым знаниям. Наиболее распространённый подход заключается в том, что специализированный модуль извлечения (retriever) подбирает знания, релевантные входному предложению; затем извлечённые сведения вместе с исходным предложением подаются в LLM, помогая ей сформировать ожидаемый выход.

В задаче ответов на вопросы (question answering, QA) RAL может получать знания из неразмеченного корпуса, который выступает извлекаемой базой знаний, например PubMed. Формат QA позволяет неразмеченному корпусу потенциально предоставлять ответы на вопросы. Однако для задач вроде извлечения триплетов включение неразмеченного корпуса может давать нежелательные эффекты. Контрфактуальная информация, например ошибочные аннотации, распространена в размеченных корпусах и создаёт сложности для retriever-модулей при получении полезных сведений. Кроме того, LLM по-прежнему сталкиваются с проблемой генерации ненадёжной информации, если извлечённые данные были получены некорректно.

Интеграция разнообразных знаний выглядит перспективной для улучшения качества моделей. Например, в QA извлечение ответа может опираться на обширный контекст, что потенциально влияет на результативность извлечения информации. При этом влияние извлечённой информации из различных задач или наборов данных на качество RAL остаётся недостаточно изученным. Для RAL критически важна самоосознанность (self-awareness): если RAL может различать «позитивные» извлечённые знания и «негативные» знания, то у неё появляется возможность корректировать свои действия.

Перечисленные сложности мешают RAL стабильно выдавать надёжные и точные ответы. К сожалению, в биомедицинском домене лишь немногие исследования, такие как Almanac (9), изучали эффективность RAL в QA, что оставляет пробел в понимании того, как эти факторы влияют на RAL в различных задачах биомедицинской обработки естественного языка (NLP). Следовательно, существует насущная потребность в комплексной оценке RAL с различными LLM на широком спектре биомедицинских NLP-задач.

В этой работе проводится комплексная оценка RAL для разных LLM на пяти биомедицинских NLP-задачах по 11 наборам данных. Для этого мы создаём новый бенчмарк RAL для биомедицинского NLP — Biomedical Retrieval-Augmented Generation Benchmark (BioRAB), показанный на рис. 1, а также формируем четыре тестовых стенда для оценки упомянутых фундаментальных способностей.

1. Устойчивость к неразмеченным данным (unlabeled robustness) обозначает способность RAL извлекать полезную информацию из неразмеченного корпуса для извлечения, особенно в задачах, требующих разметки, таких как извлечение триплетов и классификация. Например, в задачах извлечения отношений корпус может быть размеченным набором данных (например, обучающим набором) либо неразмеченным (обучающий набор без меток). Если RAL достигает сопоставимой или более высокой результативности, извлекая данные из неразмеченного набора по сравнению с извлечением из размеченного набора, это указывает, что для RAL размеченные базы данных могут быть не обязательны. В тестовом стенде устойчивости к неразмеченным данным корпус содержит примеры без меток.
2. Контрфактуальная устойчивость (counterfactual robustness) отражает, способна ли RAL извлечь корректную информацию из контрфактуального корпуса; в нашей работе контрфактуальный пример означает ошибочно размеченную аннотацию. В тестовом стенде контрфактуальной устойчивости корпус состоит из примеров, содержащих определённую долю неверных меток.
3. Устойчивость к разнообразию (diverse robustness) оценивает, может ли RAL улучшать качество, интегрируя информацию из нескольких задач. Например, корпус для задачи классификации может быть сформирован из данных задач извлечения отношений и QA. В тестовом стенде устойчивости к разнообразию корпус включает примеры из различных задач.
4. Негативная осведомлённость (negative awareness) относится к способности RAL определять, влияет ли извлечённое знание на итоговый результат положительно или отрицательно. В тестовом стенде негативной осведомлённости корпус состоит из примеров, которые на 100% являются контрфактуальными.

Используя BioRAB, мы оцениваем эффективность по пяти задачам (извлечение триплетов, предсказание связей, классификация текста, QA и вывод в естественном языке) на 11 биомедицинских NLP-наборах данных. Кроме того, BioRAB применяется для оценки пяти широко используемых LLM: LLaMA2-13B (10), MedLLaMA-13B (1), LLaMA3-8B (11), Phi4-14B (12) и Qwen2.5 32B (13), с использованием трёх распространённых retriever-модулей: BM25 (14), Contriever (15) и MedCPT (16).

Мы обнаружили, что хотя RAL могут повышать точность ответов в большинстве рассмотренных биомедицинских NLP-задач, они сталкиваются с заметными трудностями. В частности, в задаче QA мы отмечаем, что RAL не обеспечили существенных улучшений на использованных наборах данных. Мы предполагаем, что это может быть связано с ограничениями корпуса, применяемого для извлечения: поскольку обучающий набор (корпус, используемый для извлечения) может предоставлять недостаточный объём информации по сравнению с использованием Wikipedia или PubMed. Кроме того, RAL испытывают трудности при генерации ожидаемого результата, когда корпус лишён меток, по сравнению с размеченным корпусом.

Интересное наблюдение состоит в том, что на наборах данных ChemProt и Hetionet RAL демонстрируют улучшение качества при использовании неразмеченных корпусов по сравнению с исходной LLM. Вместе с тем RAL в целом не способны извлекать полезную информацию из контрфактуальных корпусов и испытывают трудности при выборе наиболее релевантных сведений. Мы также отмечаем, что это не является универсальным случаем: на некоторых наборах данных, например ADE и Hetionet, RAL способны справляться с контрфактуальными примерами.

Дополнительно, при наличии разнообразного размеченного корпуса RAL не достигают оптимальной результативности по всем задачам, за исключением задачи вывода в естественном языке. Наконец, мы обнаружили, что даже при предоставлении контрфактуальных примеров в ходе обучения LLM всё ещё способна генерировать корректные выходы в некоторых случаях. Однако RAL испытывают трудности с самоосознанностью, поскольку не обладают способностью определять, какие примеры могут помочь улучшить качество модели.

Чтобы решить эти проблемы, мы предлагаем метод detect-and-correct, направленный на усиление способности RAL выявлять и исправлять ошибки в корпусе извлечения, тем самым повышая общую надёжность. Кроме того, мы представляем подход контрастивного обучения (contrastive learning), который уточняет негативную осведомлённость RAL, усиливая её способность различать отличия между примерами. Интеграция этих двух техник существенно повышает устойчивость и способности осознания RAL, делая её более эффективной при обработке сложных retrieval-сценариев. В совокупности эти улучшения способствуют созданию более устойчивой и точной модели для биомедицинских приложений.

Наши вклады заключаются в следующем:

1. Мы предлагаем четыре способности, необходимые для оценки RAL в биомедицинском домене, и вводим бенчмарк BioRAB для их измерения. Насколько нам известно, это первый бенчмарк, специально предназначенный для оценки этих четырёх способностей RAL в биомедицинской области.
2. Мы предлагаем метод detect-and-correct и подход контрастивного обучения для повышения устойчивости RAL (к неразмеченным и контрфактуальным данным) и негативной осведомлённости.
3. Мы оценили LLM при использовании retrieval-augmented подхода и выявили ограничения по четырём ключевым способностям.
4. Мы оцениваем RAL на пяти различных биомедицинских задачах по 11 наборам данных, используя пять LLM и три retriever-модуля.

Результаты RAL и базовых LLM

Сначала мы провели бенчмаркинг различных LLM и RAL на 11 наборах данных; результаты представлены в табл. 1. В задаче извлечения триплетов мы наблюдали, что RAL превосходят LLM (в частности, RAL без модуля извлечения) на LLaMA2-13B, MedLLaMA-13B, LLaMA3-8B и Phi4 14B, демонстрируя более высокую результативность. Например, RAL (MedLLaMA 13B с Contriever) улучшили исходную MedLLaMA 13B на 22.37% по F1-мере на наборе ADE. Ещё один вывод состоит в том, что для Qwen2.5-32B использование разных извлекателей не приводит к значимому улучшению качества.

Также было показано, что RAL эффективно повышают качество LLM в задачах предсказания связей, классификации текста и вывода в естественном языке. RAL (LLaMA2 13B с Contriever) улучшили исходную LLaMA2 13B на 0.40% по F1-мере на наборе PharmKG; RAL (MedLLaMA 13B с BM25) улучшили исходную MedLLaMA 13B на 11.86% по F1-мере на наборе Hetionet; RAL (LLaMA2 13B с MedCPT) улучшили исходную LLaMA2 13B на 0.40% по F1-мере на наборе Ade-corpus-v2; RAL (LLaMA2 13B с Contriever) улучшили исходную LLaMA2 13B на 1.67% по F1-мере на наборе SemClass; RAL (LLaMA2 13B с MedCPT) улучшили исходную LLaMA2 13B на 6.59% по Macro-avgF1 на наборе BioNLI.

На MedMCQA наши выводы отличаются от других работ (17): мы наблюдали, что LLM превосходят RAL в достижении наилучшего качества, и предполагаем, что причина этого расхождения связана с природой «нечувствительных к разметке» задач, в которых RAL способны извлекать большие корпуса, такие как PubMed (18), или другие релевантные наборы данных. В нашем исследовании, однако, корпус формировался исключительно из обучающего набора, что может ограничивать широту знаний, доступных RAL.

Результаты тестовых стендов 1, 2 и 3

Мы оцениваем качество модели на основе неразмеченного корпуса; результаты представлены в табл. 2. Мы делаем следующие наблюдения:

1. RAL, использующая неразмеченный корпус, демонстрирует более низкое качество по сравнению с RAL, использующей размеченный корпус. RAL показали сильную зависимость от размеченного корпуса, особенно в задачах, требующих разметки. Например, при использовании размеченного корпуса качество RAL превосходит качество RAL без размеченного корпуса на 26.41% на наборе ADE.
2. Даже без неразмеченного корпуса RAL всё равно способствует улучшению качества LLM в некоторых задачах. Как показано в табл. 2, на ChemProt и Hetionet RAL, использующая неразмеченный корпус, улучшает качество исходной LLM на 30.16 и 0.06% соответственно. Мы предполагаем, что LLM может обладать достаточными знаниями, чтобы повышать качество на специфических наборах данных.

Мы оцениваем качество модели при разных долях контрфактуальных примеров; результаты приведены в табл. 2. Мы делаем следующие наблюдения:

1. Контрфактуальный корпус является сложным для RAL. На ADE контрфактуальные примеры существенно влияют на качество модели. Например, когда доля контрфактуальных примеров установлена на уровне 80%, Micro-F1 для извлечения триплетов падает примерно до 10%, что демонстрирует значимый разрыв по сравнению с результатом на размеченном корпусе. Аналогичные наблюдения отмечаются на GIT, PharmKG, Ade-corpus-v2, SemClass и BioNLI. Это указывает, что RAL может легко вводиться в заблуждение контрфактуальным корпусом.
2. Более низкая доля контрфактуальных примеров может оказывать меньший негативный эффект на RAL. На Hetionet мы наблюдали, что при доле контрфактуальных примеров 20% качество модели выше, чем на фактическом корпусе. Мы предполагаем, что при меньшей доле контрфактуальных примеров извлекатель имеет больше шансов получить полезную информацию.
3. Контрфактуальный корпус всё же может способствовать улучшению качества LLM. На ADE, GIT, PharmKG, Hetionet, Ade-corpus-v2, SemClass и BioNLI интересное наблюдение заключается в том, что даже при контрфактуальном корпусе качество RAL часто превосходит качество исходной LLM. Мы предполагаем, что контрфактуальный корпус может оказывать положительное влияние на LLM. Несмотря на то что содержимое примеров является контрфактуальным, предоставленные шаблоны всё же помогают генерации.
4. Доли контрфактуальных примеров и качество модели не находятся в обратно пропорциональной зависимости. Этот вывод противоречит человеческой интуиции. На некоторых наборах данных, таких как SemClass, при более высокой доле контрфактуальных примеров качество модели также повышается. Это указывает, что RAL обладает определённой способностью обрабатывать контрфактуальные факты.

Мы оцениваем устойчивость к разнообразию (diverse robustness); результаты приведены в табл. 2. Мы делаем следующие наблюдения:

Разнообразный размеченный корпус создаёт сложности для улучшения качества RAL. Мы обнаружили, что RAL рассматривает знания из разнообразного корпуса как шум, что потенциально ухудшает качество RAL, особенно заметно на ADE. Однако на BioNLI разнообразный размеченный корпус может способствовать улучшению качества модели. Мы предполагаем, что одна из причин состоит в том, что использованный нами извлекатель не смог получить полезную информацию, тогда как другая причина может заключаться в том, что корпус не содержит необходимой информации.

В дополнение к публичным наборам данных мы также использовали наш частный размеченный набор данных Social Determinants of Health (SDoH) Classification, сформированный на основе данных реального мира. Мы наблюдали тот же вывод, что и для публичных наборов: неразмеченный набор данных и контрфактуальный корпус влияют на качество RAL. Мы не включали наш частный размеченный набор данных DS, поскольку RAL без извлекателей демонстрировали более высокое качество.

Результаты тестового стенда 4: негативная осведомлённость

Мы оцениваем качество модели по метрике негативной осведомлённости; результаты приведены в табл. 3. Мы делаем следующие наблюдения: RAL испытывает трудности с негативной осведомлённостью. Истинная доля негативной осведомлённости на PharmKG и BioNLI равна нулю, и лишь 1.07% на ADE. В целом показатель «ложной» негативной осведомлённости выше, чем показатель истинной негативной осведомлённости. Это указывает, что RAL по-прежнему испытывают трудности с самоосознанностью, то есть с пониманием того, какие примеры могут предоставить полезную информацию для генерации.

Результаты нашего метода на неразмеченной базе данных

В табл. 4 представлены результаты нашего метода detect-and-correct в сравнении с RAL при различных настройках корпуса извлечения для задачи классификации текста на Ade-corpus-v2 и SemClass. Наш метод достигает F1 = 94.00% на Ade-corpus-v2 и F1 = 75.17% на SemClass, демонстрируя конкурентоспособные результаты. RAL с размеченным корпусом обеспечивает наивысшие значения: 96.80 и 79.33% по F1 соответственно, тогда как RAL с неразмеченным корпусом показывает слабый результат на SemClass (F1 = 6.83%). Примечательно, что наш метод detect-and-correct превосходит RAL с неразмеченным корпусом, демонстрируя эффективность в повышении устойчивости. Эти результаты подчёркивают влияние подходов, основанных на исправлении, в задачах классификации текста.

Примечание: для обеспечения корректности сравнения мы используем лучшую по качеству RAL из табл. 3 в качестве «backbone» для каждой задачи.

Результаты нашего метода на контрфактуальной базе данных

В табл. 5 приведены значения F1 для RAL при пяти настройках корпуса на двух биомедицинских бенчмарках: PharmKG и BioNLI.

Предложенная нами схема detect-and-correct улучшает извлечение, используя GPT4 для исправления извлечённых контрфактуальных примеров перед инференсом модели. Этот метод существенно повышает качество на BioNLI, достигая F1 = 72.77%, превосходя все остальные конфигурации извлечения. На PharmKG, хотя RAL с размеченным корпусом обеспечивает наивысший F1 (98.00%), наш метод демонстрирует сопоставимый результат (97.80%), подтверждая эффективность контрфактуального исправления в снижении влияния шума извлечения.

Результаты нашего метода по осведомлённости

Рассчитав долю истинной негативной осведомлённости (true negative awareness rate) и долю ложной негативной осведомлённости (fake negative awareness rate) для лучших RAL в задаче классификации SDoH, мы обнаружили, что наш метод, который предварительно обучает модель с использованием RAL, улучшая её способность различать положительные и отрицательные примеры, достигает уровня осведомлённости 49.56% по сравнению с 48.70% для RAL без дополнительных методов. Эти результаты показывают, что наш подход повышает способность модели дифференцировать классы. Улучшение указывает, что включение механизмов различения усиливает устойчивость классификации.

Смещение выборки

Чтобы исследовать, как смещение выборки влияет на оценивание, мы провели имитационные исследования на задаче бинарной классификации. Мы сформировали наборы данных с разными соотношениями положительных и отрицательных примеров (1:1 и 1:5) и представили результаты по метрикам взвешенной точности (weighted precision), взвешенной полноты (weighted recall), F1-меры (F1 score), AUROC (area under the receiver operating characteristic curve) и AUPRC (area under the precision–recall curve). В этих экспериментах мы использовали лучшую по качеству RAL: LLaMA2-13B + MedCPT для Ade-corpus-v2 и LLaMA2-13B + Contriever для SemClass соответственно. Таблица 6 показывает метрики качества на разных датасетах (Ade-corpus-v2 и SemClass) при разных соотношениях положительных и отрицательных примеров (1:1 против 1:5).

Для Ade-corpus-v2 модель демонстрирует стабильное качество как на сбалансированном наборе (1:1), так и на несбалансированном (1:5), с минимальными колебаниями по F1 и AUROC. Для SemClass наблюдается существенное падение качества при переходе от сбалансированного соотношения 1:1 (F1: 66.50%, AUROC: 67.40%) к несбалансированному 1:5 (F1: 48.50%, AUROC: 51.75%). Это указывает, что дисбаланс классов заметно влияет на качество в SemClass и приводит к снижению устойчивости классификации.

Деградация качества SemClass при дисбалансе свидетельствует, что модели сложно обобщать, когда один из классов недопредставлен в обучающих данных. Хотя AUROC остаётся высоким для Ade-corpus-v2, в SemClass при дисбалансе 1:5 наблюдается резкое падение AUROC (67.40% → 51.75%), что подчёркивает трудность различения положительных и отрицательных примеров. Аналогичный тренд наблюдается и для Weighted F1, который падает с 66.08 (1:1) до 35.04 (1:5), показывая, что перепредставление отрицательного класса приводит к смещённым предсказаниям.

Анализ ошибок

Testbed 1

В этой части мы используем ADE, GIT и BioNLI в качестве примеров для анализа ошибок. Чтобы лучше понять влияние неразмеченного корпуса на генерацию модели, данная часть преимущественно анализирует качество RAL на ADE, GIT и BioNLI, которые показали худшие результаты среди девяти датасетов, используемых в исследовании. Мы в основном суммируем два типа ошибок, как показано в таблице 7. Мы наблюдали, что при использовании неразмеченного корпуса RAL склонна генерировать избыточную информацию и испытывает трудности с точным предсказанием ожидаемого вывода, например, головной сущности (head entity) или типа отношения (relation type) в задаче извлечения триплетов.

Testbed 2

В этой части мы используем PharmKG и SemClass в качестве примеров для анализа ошибок. Для запроса “What is the relationship between ethanol and GABRA1?” в PharmKG правильная метка (ground truth label) — “Interactions”. Однако, когда извлечённый корпус содержит 80% шума, сгенерированный ответ — “Chemical-Gene”, что показывает, что избыточный шум при извлечении может ввести модель в заблуждение и привести к неправильным предсказаниям. Например, в SemClass модель должна определить, корректно ли триплет (nitrous acid, INHIBITS, protein) выводится из предложения “Inactivation of protein in poliovirus by nitrous acid”. Правильная метка — True, то есть связь существует. Однако модель предсказывает False, что указывает, что она не распознаёт ингибирующее отношение, выраженное в предложении. Эта ошибка классификации может быть связана с тем, что модель испытывает трудности с неявными лингвистическими сигналами, неверно интерпретирует пассивные конструкции или недостаточно хорошо обобщает термины, связанные с ингибированием.

Testbed 3

В этой части мы используем ADE и MedMCQA в качестве примеров для анализа ошибок. На ADE мы обнаружили, что Diversity-labeled corpus также приводит к избыточности генерации RAL: например, в предложении “easily reversible hypoxemia and hypotension induced by nimodipine.” ожидаемая tail-сущность — “hypotension”, тогда как RAL рассматривает “hypoxemia and hypotension induced by nimodipine” как сущность. Также возникают трудности с извлечением сложных сущностей. Например, в предложении “clinical, spectroscopic, and imaging abnormalities resolved with discontinuation of metronidazole.”, “clinical, spectroscopic, and imaging abnormalities” считается эталонной сущностью (ground truth), тогда как RAL рассматривает всё предложение “clinical, spectroscopic, and imaging abnormalities resolved with discontinuation of metronidazole” как единую сущность. В целом мы обнаружили, что основная проблема заключается в распознавании сущностей, особенно при распознавании tail-сущностей. На MedMCQA мы наблюдали, что генерация ошибок в основном была обусловлена неверным суждением. Например, в предложении “Question: All of the following muscles are elevators of the mandible EXCEPT: Options: (A) Digastric; (B) Masseter; (C) Medial pterygoid; (D) Temporalis,” правильный ответ — “A”, тогда как RAL генерирует “D”.

Обсуждение

Тестовые стенды и наши методы

Результаты показывают, что опора на размеченные по сравнению с неразмеченными корпусами существенно влияет на качество модели, особенно в задачах, требующих большого объёма разметки, таких как ADE, где размеченные данные улучшают результаты на 26.41%. Несмотря на это, RAL всё же повышает качество LLM даже при опоре на неразмеченный корпус, как видно на ChemProt и Hetionet, что указывает на наличие у LLM полезных внутренних знаний. Контрфактуальные корпуса создают сложности: при высокой доле контрфактуальных примеров (80%) значения F1 падают примерно до 10%, что свидетельствует о восприимчивости модели к вводящей в заблуждение информации. Иногда контрфактуальные корпуса повышают качество, как наблюдалось на SemClass, что позволяет предположить: даже некорректные примеры могут вносить вклад в виде полезных шаблонов для генерации. Это явление означает, что RAL способны в некоторой степени работать с контрфактуальной информацией, что противоречит первоначальным ожиданиям. Кроме того, разнообразие внутри размеченных корпусов создаёт проблему для RAL, особенно в ADE, где модели трудно отличать «шум» от действительно ценных знаний.

Негативная осведомлённость (negative awareness) остаётся слабым местом: RAL демонстрирует низкое качество при различении ложных отрицаний, что видно на PharmKG и BioNLI. Однако наш метод detect-and-correct значительно повышает устойчивость текстовой классификации, превосходя вариант с неразмеченным корпусом на SemClass. Эти результаты подчёркивают важность подходов, основанных на исправлении ошибок, и адаптированных механизмов извлечения для оптимизации качества модели на разных датасетах. Кроме того, используя методы контрастивного обучения, RAL могут улучшить способность различать положительные и отрицательные примеры, тем самым повышая осведомлённость и общее качество.

Будущая работа

Чтобы улучшить устойчивость на неразмеченных данных, мы планируем исследовать способы повышения качества генерации меток за счёт предобучения, дообучения (fine-tuning) или retrieval-ориентированных методов, чтобы усилить способность модели к разметке. Ещё одно перспективное направление — обучение моделей извлечения, которые могут быстро адаптироваться к новым задачам, требующим разметки, при минимальном объёме надзора, тем самым улучшая обобщающую способность в условиях дефицита данных (low-resource). Эти усилия дополнительно укрепят устойчивость RAL при работе с неразмеченными данными и сделают их более эффективными для реальных биомедицинских приложений.

Чтобы улучшить способность RAL работать с контрфактуальными корпусами, мы планируем развивать следующие направления. Во-первых, мы намерены разработать стратегии извлечения, включающие оценку неопределённости (uncertainty estimation), позволяя RAL взвешивать извлечённые фрагменты с учётом вероятности того, что они являются контрфактуальными. Во-вторых, мы предлагаем использовать контрастивные целевые функции (contrastive objectives) для обучения RAL различать фактические и контрфактуальные примеры, тем самым повышая устойчивость механизма извлечения к вводящим в заблуждение данным.

Для повышения устойчивости извлечения (retrieval robustness) фильтрация с учётом неопределённости и гибридное извлечение (dense + sparse) могут помочь снизить зависимость от вводящей в заблуждение информации. Решение проблемы негативной осведомлённости требует контрастивного обучения для фильтрации извлечения и состязательного обучения (adversarial training) на контрфактуальных данных, чтобы улучшить способность модели распознавать ложные отрицания. Кроме того, доменно-специфическую адаптацию можно улучшить предобучением на биомедицинских корпусах и дообучением с использованием структурированных графов знаний, чтобы повысить фактическую согласованность. В дальнейших работах следует исследовать эти стратегии, чтобы сделать RAL более надёжными в сложных биомедицинских задачах.

Чтобы количественно оценивать галлюцинации, тестовые стенды для оценки должны включать биомедицинские бенчмарки факт-чекинга, измеряющие точность фактических утверждений. Метрики вроде retrieval grounding score могут оценивать, насколько хорошо ответы модели согласуются с извлечёнными доказательствами, тогда как hallucination rate может отслеживать долю ответов, содержащих непроверяемые или неверные утверждения. Реализация фильтрации извлечения с учётом неопределённости дополнительно снизит включение низко-доверительных или вводящих в заблуждение фрагментов. Дальнейшие исследования также могут рассмотреть многошаговое извлечение (multihop retrieval reasoning), при котором RAL извлекают несколько подтверждающих документов для валидации сложных биомедицинских утверждений. Эти техники могут существенно повысить надёжность RAL в задачах поддержки клинических решений, анализа биомедицинской литературы и исследования лекарств.

Наконец, хотя наше исследование развивает методы retrieval-augmented learning в биомедицинских доменах, оно не включает сравнительные оценки с другими продвинутыми LLM. Устранение этого ограничения в будущих работах будет важно для оценки более широкой применимости и обобщаемости наших выводов.

Материалы и методы

В этой части мы оцениваем эффективность RAL в различных задачах биомедицинского NLP, анализируем результаты на четырёх предложенных тестовых стендах и обсуждаем соответствующие способности моделей.

Настройки и наборы данных

Мы оценивали пять современных LLM — LLaMA2-13B, MedLLaMA-13B, LLaMA3-8B, Phi4 14B и Qwen2.5 32B — вместе с тремя ретриверами: BM25, Contriever и MedCPT. Рассматривались пять задач биомедицинского NLP: извлечение триплетов, предсказание связей, классификация текста, ответы на вопросы (QA) и вывод по естественному языку (natural language inference) — суммарно на 11 датасетах: ADE, ChemProt, GIT, PHarmKG, Hetionet, Ade-corpus-v2, SemedClass, MedMCQA, BioNLI, DS и SDoH. Статистика по датасетам приведена в табл. 8. Эксперименты выполнялись на GPU A100.

Три ретривера

Три ретривера — BM25, Contriever и MedCPT — используют структурированный процесс извлечения наиболее релевантных примеров для повышения качества предсказаний LLM. Процесс включает три основных шага:

1. Ретриверы сначала вычисляют векторное представление входного предложения с использованием своих retrieval-моделей. BM25 использует term-based взвешивание, тогда как Contriever и MedCPT опираются на dense-эмбеддинги, получаемые нейросетевыми моделями.
2. Затем каждый ретривер вычисляет векторное представление для каждого экземпляра в retrieval-корпусе. BM25 основывается на традиционном лексическом сопоставлении, тогда как Contriever и MedCPT применяют deep learning-эмбеддинги для кодирования семантической информации.
3. Наконец, ретриверы измеряют сходство между вектором входного предложения и векторами экземпляров в корпусе. Наиболее релевантные экземпляры (с максимальными значениями сходства) отбираются и подаются в LLM вместе со входом в качестве примеров, помогая модели генерировать более точные предсказания.

Датасеты для извлечения триплетов

В этой работе в качестве базовых датасетов для извлечения триплетов использовались ADE, ChemProt и GIT.

1. ADE. ADE расширен от задачи извлечения отношений до задачи извлечения триплетов. Все предложения либо описывают эффект препарата, либо дозировку препарата. Поэтому триплеты имеют вид (головная сущность: drug, тип отношения: effect, хвостовая сущность: effect_description) и (головная сущность: drug, тип отношения: dosage, хвостовая сущность: dose_description). Среди всех триплетов есть только два типа отношений: effect и dosage.
2. ChemProt. Chemical Protein Interaction Corpus включает 2432 аннотации абстрактов PubMed по взаимодействиям «химическое вещество — белок», охватывая 23 различных типа взаимодействий. Опираясь на предыдущие исследования (19), корпус рассматривает только экземпляры уровня предложения и фокусируется на пяти наиболее значимых типах взаимодействий для классификации: CPR3, CPR4, CPR5, CPR6 и CPR9.
3. GIT. GIT — высококачественный биомедицинский датасет извлечения триплетов для не-препаратных терапий, характеризующийся точной разметкой и широким покрытием типов отношений. Он включает 22 типа отношений из SemMedDB.

Предсказание связей

В задаче предсказания связей мы использовали PHarmKG и Hetionet как базовые датасеты.

1. PHarmKG — knowledge graph, описывающий связи между генами, препаратами и заболеваниями. В этой работе мы предсказываем четыре типа отношений (Interactions, Disease-Gene, Disease-Chemical и Chemical-Gene) между двумя сущностями. Из большого количества триплетов PHarmKG мы случайно выбираем 4000 примеров из training-set для обучения, 500 примеров из testing-set для тестирования и 500 примеров из validation-set для валидации.
2. Hetionet — интегративная сеть заболеваний, включающая 46 типов отношений. Мы случайно выбираем 4000 примеров из training-set для обучения, 500 примеров из testing-set для тестирования и 500 примеров из validation-set для валидации.
3. Dietary supplement (DS). Эта задача определяет, положительно или отрицательно связан диетический (пищевой) добавочный продукт с конкретным событием, либо прямой связи нет. Она облегчает идентификацию причинно-следственных связей или терапевтических эффектов диетических добавок. Например, задача может выявлять отрицательную ассоциацию между «ginseng» и «nausea».

Классификация текста

В задаче классификации текста в работе использовались Ade-corpus-v2 и SemdClass как базовые датасеты.

1. Ade-corpus-v2. Датасет предназначен для классификации: связано ли предложение с нежелательным лекарственным событием (ADE) (true) или нет (false). Мы случайно выбираем 4000 экземпляров для обучения, 500 для тестирования и 500 для валидации.
2. SemdClass направлен на определение того, относится ли заданный триплет к предоставленному предложению. Датасет содержит два класса: false и true.
3. SDoH фокусируется на классификации фрагментов Social and Behavioral Determinants of Health. Датасет содержит 2364 аннотированных заметки, сгруппированных в 20 широких категорий SDoH, охватывающих социальные факторы, влияющие на исходы здоровья: статус занятости, условия труда, доступ к еде, жилищные условия, уровень дохода, медицинская история, страховой статус, доступ к транспорту, жестокое обращение, экологические условия, качество жилья, безопасность района, история преступности/заключения, социальная дискриминация, социальная изоляция, социальная поддержка, иммиграционный статус, злоупотребление веществами, физическая активность и качество сна.

QA и вывод по естественному языку

1. MedMCQA — датасет QA с множественным выбором, разработанный для вопросов медицинских вступительных экзаменов. В этой работе использовалась версия с пятью вариантами ответа (A, B, C, D и E).
2. BioNLI предназначен для определения, согласуется ли гипотеза с посылкой или противоречит ей.

Biomedical Retrieval-Augmented Generation Benchmark

Далее мы описываем операционный процесс RAL. Затем вводим четыре предложенные способности и процесс построения четырёх соответствующих тестовых стендов. В завершение приводим метрики оценки, используемые для измерения качества.

Рабочий процесс RAL

Для снижения галлюцинаций RAL предлагает извлекать внешние знания из корпуса и тем самым улучшать качество LLM. В общем случае (см. рис. 2A) retrieval-корпус должен быть изначально построен; во многих QA-моделях RAL корпус формируется из неразмеченных открытых источников, таких как PubMed и Textbook. Однако для некоторых задач, чувствительных к разметке (например, извлечение триплетов), такой неразмеченный open-source корпус может быть невалиден. В нашей работе корпус определяется как training-set для соответствующей задачи. Например, как показано на рис. 2A, если n обозначает PHarmKG, то каждому ключу соответствует запрос-предложение вида «какова связь между головной сущностью и хвостовой сущностью?» из training-set, а соответствующее значение задаёт целевую метку отношения (relationship) для данного ключа. На втором шаге ретривер извлекает из корпуса релевантные пары (key, value) по входному предложению. На последнем шаге извлечённые пары (key, value) вместе с входным предложением подаются в LLM для генерации ожидаемого вывода.

Для каждого экземпляра X и каждого n используются три компонента: инструкция I, контекст C и ответ R. Например, в training-датасете Ade-corpus-v2 (задача классификации), если метка предложения S: «She had been administered tacrolimus for prophylaxis of graft-versus-host reaction» равна False, то I = «You are an excellent linguist. The task is to predict whether this sentence is True or False. Examples: context: The hemangioma regressed markedly 6 weeks after the procedure and the serous retinal detachment showed marked resolution response: False», C = S, R = False.

Четыре способности BioRAB

Несмотря на успех RAL в снижении галлюцинаций, в биомедицинском домене его свойства изучены недостаточно. Во-первых, не все задачи имеют большие размеченные retrieval-корпуса. Во многих исследованиях training-set используется как корпус, но он всё равно ограничен по сравнению с более крупными корпусами. Если RAL показывает сопоставимое качество с вариантом, использующим размеченный корпус, это демонстрирует способность работать без зависимости от разметки. Во-вторых, RAL может легко быть введён в заблуждение неверной разметкой (см. рис. 2C). В-третьих, RAL потенциально способен извлекать полезные сведения из размеченных корпусов других задач (см. рис. 2D), однако такие сведения могут быть шумными и ухудшать генерацию. Наконец, когда ретривер извлекает неверно размеченную (контрфактуальную) информацию, RAL может быть способен распознавать, что такие знания не способствуют правильному выводу (см. рис. 2E). Для этого мы построили BioRAB для оценки RAL в биомедицинском домене и предложили четыре тестовых стенда.

Устойчивость к неразмеченным данным (Unlabeled robustness). Поскольку не все задачи имеют большие размеченные retrieval-корпуса, ретривер может извлекать информацию из неразмеченных корпусов, при этом RAL всё равно должен уметь генерировать ожидаемый вывод. Для оценки мы вводим тестовый стенд unlabeled robustness (см. рис. 2B): корпус для n определяется как training-set без value (меток) для n.

Контрфактуальная устойчивость (Counterfactual robustness). Построение высококачественного корпуса разметки затруднено, так как часто встречается неверная разметка. В нашей работе такие неверно размеченные экземпляры называются контрфактуальными. Для тестового стенда counterfactual robustness (см. рис. 2C) при построении корпуса для n мы задаём долю ошибочно размеченных экземпляров 20%, 80% или 100%. Например, в датасете классификации с метками True и False, если истинная метка экземпляра True, то ошибочная разметка будет False. Затем ретривер извлекает информацию из такого корпуса и подаёт её вместе со входом в LLM.

Устойчивость к разнообразию (Diverse robustness). Diverse robustness оценивает способность RAL улучшать качество, интегрируя информацию из корпусов разных задач. С одной стороны, корпус других задач может содержать полезные сведения для генерации. Например, в задаче извлечения триплетов при отсутствии подходящего корпуса извлечения, QA-корпус может помочь извлечь нужную информацию. С другой стороны, разные задачи могут добавлять шум и ухудшать качество. Для тестового стенда diverse robustness (см. рис. 2D) при построении корпуса n он включает корпуса других задач. Например, если n соответствует ChemProt (извлечение триплетов), корпус n включает корпуса таких задач, как GIT (извлечение триплетов), PHarmKG (предсказание связей) и т. д. Затем ретривер должен извлечь релевантную информацию из разнообразного корпуса, после чего извлечённые сведения вместе с входным предложением подаются в LLM.

Негативная осознанность (Negative awareness). Negative awareness оценивает способность LLM распознавать, что извлечённая информация является «негативной» (то есть не способствует получению ожидаемого вывода). В реальных сценариях, если ретривер извлекает негативную информацию и LLM способна это определить, модель может искать более полезные сведения, используя такую обратную связь. В тестовом стенде negative awareness (см. рис. 2E) мы считаем все значения в корпусе n некорректными метками. После извлечения документов модель должна сформировать два типа вывода: (1) task-based output (например, триплет), и (2) суждение о том, является ли извлечённое знание негативным.

Метрики оценки

Метрики, зависящие от задачи

В задаче извлечения триплетов, как и в Biomed-RAG (20), триплет считается корректным, если верны тип отношения, головная сущность и хвостовая сущность. Например, в предложении «Infusion of prostacyclin (PGI2) reportedly attenuates renal ischemic injury in the dog and the rat» триплет <Infusion, treats, rat> считается корректным, тогда как <injury, treats, rat> — нет. Мы оценивали модели и сообщали метрики: Micro Precision, Recall и F1 score. Для задач классификации текста, предсказания связей и QA использовались те же метрики, что и для извлечения триплетов. Для задачи natural language inference применялась метрика Macro F1 (как в BioNLI).

Метрики негативной осознанности

Для оценки negative awareness в нашей работе «негативный» экземпляр определяется как неверно размеченный экземпляр. Во-первых, мы оцениваем качество модели на данных с ошибочной разметкой. Например, в данных Ade-corpus-v2 (классификация) с двумя метками True и False такая оценка измеряет качество предсказаний True/False.

Обычно в RAL-схеме, если извлечённый пример содержит входное предложение и ожидаемый вывод, LLM должна достигать 100% качества при тестировании на этом входе. Несмотря на то, что все экземпляры в retrieval-корпусе являются ошибочно размеченными, LLM всё же может сгенерировать корректный вывод, используя такие примеры. В экспериментах мы также исследуем этот аспект. На основе этого наблюдения мы выделяем два типа «негативных» экземпляров:

1. True negatives. Негативный экземпляр подаётся в LLM вместе с входным предложением и приводит к некорректному выводу. В этом сценарии число входных предложений обозначается как \(I^{t}\).
2. False negatives. Негативный экземпляр подаётся в LLM вместе с входным предложением, но модель всё же выдаёт корректный вывод. В этом случае число входных предложений обозначается как \(I^{f}\).

Одновременно мы ожидаем, что LLM сможет вывести «True — the retrieved example is negative example» или «False — the retrieved example is not a negative example» по специальной инструкции: «Please determine whether the retrieved example constitutes negative information. If it is negative, please output False; if it is not negative, please output True» для каждого входного предложения.

Для входного предложения с false-negative примерами, если LLM выводит «False — the retrieved example is not a negative example», это означает распознавание false negative. После такого суждения количество входных предложений с «false negative examples» обозначается как \(f\). Для входного предложения с true-negative примерами, если LLM выводит «True — the retrieved example is a true negative example», это означает распознавание true negative. После такого суждения количество входных предложений с «true negative examples» обозначается как \(t\). Таким образом, доля true negative awareness вычисляется как \(t / I^{t}\), а доля false negative awareness — как \(f / I^{f}\).

Улучшение устойчивости и осознанности RAL

В этом подразделе описывается предложенный метод повышения устойчивости RAL (контрфактуальной и к немаркированным данным), а также способности negative awareness.

Улучшение контрфактуальной устойчивости RAL

Для снижения влияния ошибочно размеченных примеров в корпусе извлечения предлагается двухшаговый подход: этап обнаружения (detection) и этап исправления (correction). Такая методология систематически выявляет и корректирует ошибки, внесённые при аннотации данных или извлечении, повышая качество корпуса для последующих задач. В работе делается акцент на построении testbed и используется простой базовый подход; более продвинутые методы оставлены для будущих исследований.

На первом шаге разрабатывается детектор ошибочно размеченных примеров, который выявляет некорректные метки. На втором шаге корректирующий модуль изменяет ошибочные метки. В частности, в задаче классификации текста используется in-context learning (ICL) с LLM (например, GPT-4), чтобы оценивать корректность присвоенной метки и, опираясь на внутренние знания, исправлять её. Используемый промпт:

“This is a text classification task. Please determine whether the label assigned to the input sentence is correct. If the label is incorrect, please provide the correct label.”

Благодаря этому механизму модель систематически проверяет каждый размеченный пример и помечает те, где метка вероятно неверна; далее некорректные метки исправляются на основании оценки LLM.

Улучшение устойчивости к немаркированным данным

В случае немаркированного корпуса, чтобы повысить устойчивость при отсутствии меток, также применяется ICL с LLM для назначения меток по инструкциям, специфичным для задачи. Пример подробного промпта (для классификации текста):

“This is a text classification task aimed at determining whether a given sentence is related to an Adverse Drug Event (ADE). Please assign a label to each provided sentence to support this task.”

Улучшение осознанности (awareness) RAL

Для повышения negative awareness ключевым направлением является развитие способности модели различать позитивные примеры в корпусе (которые способствуют генерации правильного ответа) и негативные (которые не способствуют).

Для каждого входного предложения x в корпусе могут находиться сотни или тысячи примеров, не связанных с генерацией ответа. Исходя из этого наблюдения, конструируется модель S, помогающая различать примеры, полезные для финальной генерации по x. На вход S подаются: (i) входное предложение x; (ii) множество позитивных примеров C^P = {e^p}, сформированное на основе релевантности к x (в общем случае само x рассматривается как наиболее информативный позитивный пример); (iii) множество негативных сущностей Cⁿ = {eⁿ}, полученное случайной выборкой примеров корпуса, не входящих в C^P.

Для различения позитивных и негативных сущностей S использует LLM-модель f(·) (например, модели семейства Llama) для извлечения семантических представлений f(x), f(e^p) и f(eⁿ) соответственно, а затем выбирает позитивные примеры по расстоянию до входных предложений. Модель S оптимизируется триплетной функцией потерь:

где \(\lVert\cdot\rVert\) — евклидова норма, а \(\alpha\) — параметр зазора (margin), который по умолчанию устанавливается равным 1. В процессе обучения триплетная потеря уменьшает расстояние между \(f(x)\) и \(f(e^{p})\), одновременно увеличивая расстояние между \(f(x)\) и \(f(e^{n})\).

После обучения f(·) используется для instruction tuning в целевых (downstream) задачах. Например, в задаче классификации SDoH обученная \(f(·)\) на основе Phi4 применяется для дообучения модели на классификационном датасете.