АДАПТАЦИЯ МОДЕЛИ, ОСНОВАННОЙ НА ДАННЫХ, УЛУЧШАЕТ СЕГМЕНТАЦИЮ ОЧАГОВ ПОРАЖЕНИЯ

Аннотация: В этом исследовании мы представляем ULS +, улучшенную версию Uni- универсальная модель сегментации поражений (ULS). Исходная модель ULS сегментирует поражения по всему телу на компьютерной томографии с учетом интересующих объемов (VOIs) сосредоточены вокруг точки щелчка. С момента выпуска стало доступно несколько новых общедоступных наборов данных , которые могут еще больше повысить производительность модели. ULS + включает эти дополнительные наборы данных и использует меньшие размеры входных изображений, что привело к повышению точности и ускорению вывода. Мы сравнили ULS и ULS +, используя оценку Dice и надежность, с местоположение точки щелчка в данных теста ULS23 Challenge и подмножестве Набора данных продольной компьютерной томографии. Во всех сравнениях ULS + значительно превосходил сформированный ULS. Кроме того, ULS + занимает первое место в тестировании ULS23 Challenge- таблица лидеров этапов. Благодаря постоянному обновлению данных и клиническим валидация ULS + закладывает основу для создания надежных и клинически значимых моделей сегментации поражений.

1. Введение

Рак остается одной из ведущих причин смертности во всем мире, и его бремя по прогнозам, продолжит расти. По прогнозам, к 2050 году глобальная заболеваемость раком увеличение на 77%, достигнув 35,3 миллиона случаев [1]. Соответственно, радиологи испытывают устойчивый рост рабочей нагрузки [2]. Значительная часть этой рабочей нагрузки возникает в результате лонгитюдной оценки бремени заболевания при онкологической визуализации, когда радиологи должны выявлять, измерять и отслеживать целевые поражения с течением времени в соответствии с соответствует рекомендациям по критериям оценки ответа при солидных опухолях (RECIST). Этот процесс требует последовательной локализации поражения и количественной оценки в разные моменты времени, что отнимает много времени и подвержено вариабельности. Искусственный интеллект (ИИ) предлагает возможности для поддержки рентгенологов в этом рабочий процесс за счет автоматизации отдельных этапов процесса оценки поражения. Методы, основанные на искусственном интеллекте показали многообещающие возможности для обнаружения поражений, сегментации и классификации и могут служат строительными блоками для автоматического отслеживания поражения и оценки реакции. Недавние недавние исследования продемонстрировали возможность объединения регистрации поражения на основе сопоставление с объемной сегментацией для поддержки продольного ответа опухоли как- оценка при компьютерной томографии [3]. Эти подходы направлены на улучшение согласованности измерения поражений и уменьшения вариабельности наблюдений при последующих оценках. Для дальнейшего совершенствования автоматической количественной оценки поражений используется универсальная сегментация поражений- базовая модель управления (ULS) [4] была представлена в 2023 году в рамках ULS23 задача. ULS использует парадигму интерактивной сегментации, ориентированную на клик. В отличие от методов, разработанных для полномасштабной, исчерпывающей сегментации очага поражения, ULS позволяет ра- диологу выбрать конкретное очаг одним щелчком мыши. Затем модель быстро возвращает полную 3D-маску из локализованного интересующего объема (VOI), тем самым соответствие целенаправленному варианту использования с помощью щелчка мыши, распространенному в интерактивном последующем наблюдении рабочие процессы. Учитывая ограниченное требуемое взаимодействие, а также данные обучения для конкретного поражения используемый для разработки этой модели базовый уровень ULS обладает значительным потенциалом для использования в клинической практике. Однако с момента выпуска модели ULS появились новые и ценные были выпущены общедоступные наборы данных, которые могут обогатить обучающие данные этой модели и, таким образом, повысить ее производительность. Кроме того, модель демонстрирует ограниченную устойчивость к щелкните местоположение точки; при указании разных вокселов в очаге поражения в качестве центрального вокселя, результирующие сегментации очага поражения могут отличаться. В этом исследовании мы представляем ULS +, улучшенную версию модели ULS. Наш вклад в модель ULS двоякий: (1) мы расширяем учебные данные за счет включения дополнительных общедоступных наборов данных о КТ-поражениях всего тела, уделяя особое внимание в частности, для поражений, для которых исходная модель ULS работала неоптимально; и (2) мы повышаем устойчивость к изменению точки щелчка за счет увеличения времени выполнения определение путем выборки вокселов случайных поражений в качестве центра VOI. Мы оцениваем ULS + по сравнению с базовым уровнем ULS как с точки зрения эффективности сегментации, так и с точки зрения надежности- ness, демонстрирующий его потенциал как более надежной основы для автоматизированного определения повреждений анализ и продольное отслеживание.

2. Материалы и методы

Модель ULS + основывается на исходной базовой линии ULS путем изменения обучения данные, конфигурация входных данных и стратегия расширения для улучшения обобщения и устойчивость к изменению щелчка мыши. Основные различия между двумя моделями визуализированы на рис. 1 и более подробно описаны ниже.

Рисунок 1 - Различия между моделью ULS и моделью ULS+

Рисунок 2 - Обзор обучающих данных, используемых для ULS +

2.1 Наборы данных

Исходная модель ULS обучалась как на полностью аннотированных, так и на слабо аннотированных наборе данных. Для повышения общего качества аннотаций и сокращения времени обучения, для ULS + использовалась только полная аннотированная часть этих данных. Кроме того, ULS + прошел обучение на шести других наборах данных. Эти наборы данных включают как наборы, специфичные для печени, так и наборы с несколькими типами поражения. Подробную информацию о добавленных данных можно найти в табл. 1. Для каждого набора данных определялся центральный воксель каждой маски поражения, вокруг которого был обрезан VOI из 128 × 128 × 64 вокселов. Если обрезанное изображение включало маски поражения, не связанные с центральным поражением, эти маски были исключены. В результате получилась одна маска поражения на каждое обрезанное изображение.

2.2 Смещение очага поражения

Чтобы повысить устойчивость к изменчивости точек нажатия, мы внедрили стратегию увеличения времени выполнения , которая имитирует различные точки нажатия пользователем. Для каждого поражения мы выбирали выборку две дополнительные случайные точки щелчка внутри маски поражения. Затем мы обрезали VOIs с исходных КТ-снимков, сосредоточенных вокруг этих новых точек, применяя заполнение нулем если кадрирование выходило за границы исходного изображения. Это дало три спа- смещенные вариации одного и того же поражения для обучения

2.3 Обучение

Обучение проводилось на графическом процессоре NVIDIA L40S с использованием фреймворка nnUNet v2- работа [12] с остаточным кодером (размер L). Мы обучили модель для 1000 эпох используя стандартные настройки, но с отключенной повторной выборкой и размером участка, равным входному изображению. Примечательно, что мы уменьшили входные размеры ULS + до 128 × 128 × 64 по сравнению с 256 × 256 × 128 , используемым в базовой линии сокращение было произведено ранее оно было разработано для минимизации задержки вывода для интерактивных клинических рабочих процессов на стандартном оборудовании, а также потому, что больший объем оказался избыточным для задач, ориентированных на клик где нацелен только на центральное поражение. В отличие от базовой линии, мы опустили предварительное обучение под слабым контролем, чтобы упростить конвейер, как показали предыдущие эксперименты, принес незначительные улучшения. Интеграция других методов предварительной подготовки выходила за рамки данного исследования и остается направлением будущей работы.

2.4 Оценка

Чтобы точно сравнить исходную модель ULS с ULS +, мы использовали те же тестовые данные, что и использовались в испытании ULS23. Кроме того, мы протестировали модели на скрытой части набора данных продольной компьютерной томографии (20%, распределение по уровню пациента). Хотя мы признаем, что часть набора продольной компьютерной томографии использовалась для обучения ULS +, а не для обучения исходной Этот набор данных по-прежнему ценен, поскольку содержит больше типов поражений, чем набор тестов ULS23 challenge. Это позволяет проводить более обширную оценку на уровне органов. Исходная модель ULS не использует увеличение времени тестирования, потому что это увеличивает время вывода. Однако, учитывая меньший размер входных данных, ULS + позволяет использовать увеличение времени тестирования, не делая модель неприемлемо медленной в клиниках. Поэтому эта функция была включена для оценки ULS +. Для оценки устойчивости моделей к изменениям пользовательского ввода., мы смоделировали изменчивость предоставленных пользователем точек перехода, используя механизм, описанный в Раздел 2.2. Для каждого поражения мы сгенерировали три сегмента, обрезав входные данные VOI вокруг разных точек: один с центром в центре тяжести поражения 𝑃normal и два с центром в случайных точках, выбранных в пределах маски поражения 𝑃aug1 и 𝑃aug2 Для имитируйте щелчки "не по центру". Этот процесс приводит к незначительному смещению объемов ввода для модели. Оценка надежности определялась как среднее сходство попарных кубиков между полученными тремя сегментами. Этот показатель варьируется от 0 до 1, где более высокие баллы указывают на большую надежность размещение точек щелчка и более согласованные прогнозы, несмотря на изменения в обрезанном объеме ввода.

3. Результаты

В таблице 2 приведены результаты тестов ULS23 и продольной компьютерной томографии. В целом, ULS + неизменно превосходит исходную модель ULS по обоим показателям оценка и надежность в обоих наборах данных, при этом все улучшения являются статистически значимыми. Выигрыш более заметен в наборе данных лонгитюдной компьютерной томографии. Графики риска на рис. 2 (Dice) и рис. 3 (устойчивость) показывают, что ULS+, как правило, смещает баллы в сторону более высоких значений dice и надежности, но они не всегда лучше для каждого типа поражения (например, надпочечников и костей). Эти исключения встречаются при поражении категории с очень небольшим количеством выборок. Качественные примеры как успешных , так и сложных кейсов показаны на рис. 4

Рисунок 3 - Сравнение исходной модели ULS и ULS+ как для ULS23

Рисунок 4 - Оценки Dice исходной модели ULS и ULS + на двух разных наборах тестов, стратифицированных по локализации поражения

Рисунок 5 - Показатели надежности (как определено в уравнении 1) исходной модели ULS и ULS+ для двух различные наборы тестов, стратифицированные по локализации поражения

Рисунок 6 - Примеры сегментации модели ULS и ULS + в обоих наборах данных по поражениям из разных местоположений. Синий: достоверный результат, красный: ULS, желтый: ULS +. Обратите внимание, что для наглядности на этом рисунке некоторые повреждения увеличены с сохранением окружающего контекста. Следовательно, на этой визуализации некоторые повреждения могут отображаться не по центру.

4. Обсуждение

В этом исследовании представлен ULS +, улучшенная версия универсального сегмента поражения модель tation (ULS), разработанная для повышения точности и надежности сегментации до изменение по щелчку мыши. Несмотря на использование меньшего размера входных данных и отсутствие предварительной подготовки, ULS + достигнуты более высокие результаты в Dice и улучшена надежность определения местоположения точки щелчка в двух отдельных наборах данных. Улучшения были относительно однородными по местоположению поражения, это может быть связано с тем фактом, что недавно добавленные обучающие данные содержат случаи поражений по всему телу, обеспечивая обогащение для всех этих типов поражений. Платформа ULS + включает в себя четыре основных обновления: расширенные расширенные, полностью аннотированные данные о различных органах, внедрение расширения по щелчку мыши улучшения, переход к a 128 × 128 × 64 увеличение размера входных данных и времени тестирования. Хотя эти изменения в совокупности совпадают с наблюдаемым повышением производительности, конкретный вклад каждого фактора еще не выделен. Следовательно, системное исследование временной абляции и специальное сравнение того же размера запланированы как будущая работа по количественной оценке индивидуального воздействия этих компонентов. Хотя некоторые из недавно добавленных наборов данных были специфичны для поражений печени, наблюдаемый прирост производительности не ограничивался этим органом. Аналогичное улучшение в показателях Dice для всех типов поражений предполагает, что преимущества новых данных выходят за рамки информации, касающейся конкретного органа, повышая способность модели к оценке всего Сегментация поражения тела. Несколько более низкая устойчивость к щелчкам в скелетных и неопределенные повреждения могут отражать внутренние проблемы этих структур, такие как небольшой размер и нечеткие границы поражения. Следует отметить, что в дополнение к лучшей производительности модель ULS + работает быстрее по сравнению с оригиналом. ULS принимает входные изображения 256 × 256 × 128 принимая во внимание, что ULS + использует размер входного изображения, равный 128 × 128 × 64 Вывод с помощью ULS +, занимает около 0,5 секунды на графическом процессоре NVIDIA A100 SXM4 при применении увеличения времени тестирования. Это сочетание повышенной производительности и высокой скорости делает его более реалистичным применимо в клинических условиях, где высоко ценится экономия времени. Чем меньше размер входных данных вводит неотъемлемое ограничение, заключающееся в том, что повреждения, выходящие за пределы входных данных, поле зрения не может быть полностью сегментировано за один прямой проход. Скользящее окно стратегия логического вывода должна была бы решить эту проблему, но выходила за рамки данного исследования. Наше исследование показывает ценность итеративной переподготовки и обновления моделей искусственного интеллекта с помощью новых, релевантных данных. Поскольку они становятся все более ценными., хорошо аннотированная медицинская визуализация данные становятся общедоступными, уже существующие модели могут извлечь выгоду из этой добавленной информации информация не требует значительной адаптации к архитектуре. Эта парадигма поддерживает устойчивость и постоянное совершенствование клинических инструментов искусственного интеллекта, гарантируя что развернутые системы развиваются вместе с достижениями в области доступности данных и визуализации практика. Поддерживая цикл обновлений на основе данных и клинической валидации, ULS + может служить основой для создания надежных, прозрачных и клинически значимых моделей поражения модели сегментации. Для повышения воспроизводимости код, данные и веса обученной модели доступны на сайте https://github.com/DIAGNi jmegen/oncology-uls-plus.

Список литературы

1. Bizuayehu, H.M.; Dadi, A.F.; Belachew, T.; Alene, K.A.; Ross, H. et al. Global disparities of cancer and its projected burden in 2050 / H.M. Bizuayehu et al. // JAMA Network Open. – 2024. – Vol. 7, No. 11. – e2443198.↑ к тексту
2. Bruls, R.J.M.; Kwee, R.M. Workload for radiologists during on-call hours: dramatic increase in the past 15 years / R.J.M. Bruls, R.M. Kwee. // Insights into Imaging. – 2020. – Vol. 11, No. 1. – Article 121. – DOI: 10.1186/s13244-020-00929-2.↑ к тексту
3. Hering, A.; Westphal, M.; Gerken, A.; Almansour, H.; Maurer, M.; Geisler, B. et al. Improving assessment of lesions in longitudinal CT scans: a bi-institutional reader study on an AI-assisted registration and volumetric segmentation workflow / A. Hering et al. // International Journal of Computer Assisted Radiology and Surgery. – 2024. – Vol. 19, No. 9. – P. 1689–1697. – DOI: 10.1007/s11548-024-03111-y.↑ к тексту
4. de Grauw, M.; Scholten, E.; Smit, E.; Rutten, M.; Prokop, M.; van Ginneken, B. et al. The ULS23 challenge: A baseline model and benchmark dataset for 3D universal lesion segmentation in computed tomography / M. de Grauw et al. // Medical Image Analysis. – 2025. – Vol. 102. – 103525. – DOI: 10.1016/j.media.2024.103525.↑ к тексту
5. Gatidis, S.; Hepp, T.; Früh, M.; La Fougère, C.; Nikolaou, K.; Pfannenberg, C. et al. A whole-body FDG-PET/CT dataset with manually annotated tumor lesions / S. Gatidis et al. // Scientific Data. – 2022. – Vol. 9, No. 1. – Article 601. – DOI: 10.1038/s41597-022-01772-1.↑ к тексту
6. Antonelli, M.; Reinke, A.; Bakas, S.; Farahani, K.; Kopp-Schneider, A.; Landman, B.A. et al. The Medical Segmentation Decathlon / M. Antonelli et al. // Nature Communications. – 2022. – Vol. 13, No. 1. – Article 4128. – DOI: 10.1038/s41467-022-30572-9.↑ к тексту
7. Starmans, M.P.A.; Timbergen, M.J.M.; Vos, M.; Padmos, G.A.; Grünhagen, D.J.; Verhoef, C. et al. The WORC database: MRI and CT scans, segmentations, and clinical labels for 930 patients from six radiomics studies / M.P.A. Starmans et al. – 2021. – DOI: 10.6084/m9.figshare.14724085.↑ к тексту
8. Simpson, A.L.; Peoples, J.; Creasy, J.M.; Fichtinger, G.; Gangai, N.; Keshavamurthy, K.N. et al. Preoperative CT and survival data for patients undergoing resection of colorectal liver metastases / A.L. Simpson et al. // Scientific Data. – 2024. – Vol. 11, No. 1. – Article 172. – DOI: 10.1038/s41597-024-03045-0.↑ к тексту
9. Bartnik, K.; Bartczak, T.; Krzyziński, M.; Korzeniowski, K.; Lamparski, K.; Węgrzyn, P. et al. WAW-TACE: A hepatocellular carcinoma multiphase CT dataset with segmentations, radiomics features, and clinical data / K. Bartnik et al. // Radiology: Artificial Intelligence. – 2024. – Vol. 6, No. 6. – e240296. – DOI: 10.1148/ryai.240296.↑ к тексту
10. Luo, J.; Wan, X.; Du, J.; Liu, L.; Zhao, L.; Peng, X. et al. Comprehensive multi-phase 3D contrast-enhanced CT imaging for primary liver cancer / J. Luo et al. // Scientific Data. – 2025. – Vol. 12, No. 1. – Article 768. – DOI: 10.1038/s41597-025-04101-3.↑ к тексту
11. Wu, Z.; Zhao, Q.; Hu, M.; Li, Y.; Xue, H.; Jiang, Z. et al. MSWAL: 3D multi-class segmentation of whole abdominal lesions dataset / Z. Wu et al. // Lecture Notes in Computer Science. – Springer Nature Switzerland, 2026. – P. 378–388. – DOI: 10.1007/978-3-031-XXXXX-X_33.↑ к тексту
12. Isensee, F.; Jaeger, P.F.; Kohl, S.A.A.; Petersen, J.; Maier-Hein, K.H. nnU-Net: A self-configuring method for deep learning-based biomedical image segmentation / F. Isensee et al. // Nature Methods. – 2021. – Vol. 18, No. 2. – P. 203–211. – DOI: 10.1038/s41592-020-01008-z.↑ к тексту