РАЗРАБОТКА КОМПЛЕКСНОЙ МЕТОДИКИ ДЛЯ АННОТИРОВАНИЯ ИЗОБРАЖЕНИЙ БИОПСИИ

Аннотация

Хрюкин Е.А., Мартыненко Т.В., Васяева Т.А., Швороб Д.С. Разработка комплексной методики для аннотирования изображений биопсии. В статье предложена комплексная методика аннотирования медицинских изображений биопсии на основе языка Python и библиотеки large-image, включающая конвертацию изображений в формат JPEG, автоматическое выделение участков биопсии, их разбиение на фрагменты и использование инструмента Makesense.AI для аннотирования, позволяющая сэкономить вычислительные ресурсы и упростить работу специалистов, обеспечивающая эффективную подготовку данных для обучения нейросетей.

Abstract

Yevgeniy A. Khriukin, Tatyana V. Martynenko, Tatyana A. Vasyaeva, Dani S. Shvorob. Development of a comprehensive method for biopsy image annotation. This paper presents a comprehensive approach to annotating medical biopsy images using Python and the large-image library. The approach includes converting images to JPEG format, automatically detecting biopsy regions, dividing them into fragments, and employing the Makesense.AI tool for annotation. This method helps save computational resources and simplifies the work of specialists, making it an effective tool for preparing data for neural network training.

Ключевые слова

пороговая бинаризация, выделение контуров, large-image, tifffile, Python.

Keywords

threshold binarization, contour detection, large-image, tifffile, Python.

Особенности медицинских изображений большого размера

Медицинские изображения большого размера, такие как снимки биопсии, представляют собой сложные данные, которые требуют особого подхода к обработке и анализу. Один снимок биопсии может занимать гигабайты памяти, особенно если он состоит из множества слоёв или сделан с использованием трёхмерной визуализации. Это создаёт сложности при передаче, хранении и обработке данных, а также увеличивает время, необходимое для аннотирования.

Изображения биопсии обычно создаются с использованием мощных микроскопов, что обеспечивает детализированное отображение тканей. Это необходимо для точного анализа микроскопических структур, таких как клетки, сосуды и патологические изменения. Однако высокое разрешение приводит к огромному объёму данных, что усложняет их хранение, обработку и аннотирование [3].

Формат TIFF (Tagged Image File Format) является одним из наиболее популярных форматов для хранения медицинских изображений благодаря своей гибкости и способности сохранять данные высокого разрешения. Основные преимущества формата TIFF: поддержка высокого разрешения, многостраничные файлы, поддержка сжатия. Для работы с TIFF-изображениями в программных приложениях используются различные библиотеки, каждая из которых имеет свои особенности и ограничения.

Введение

Обработка и аннотирование изображений высокого разрешения представляет собой актуальную задача в сфере анализа медицинских данных, особенно в контексте компьютерной диагностики и подготовки обучающих выборок для нейросетевых моделей. Такие изображения, как правило, характеризуются высокой детализацией и большим объёмом, что требует использования специализированных алгоритмов и инструментов для эффективной работы с ними [1].

Особую сложность представляет аннотирование гистологических срезов, полученных в результате биопсии, из-за необходимости точного выделения морфологических структур на масштабных данных. Традиционные методы аннотирования оказываются трудоёмкими и малоэффективными при работе с подобными изображениями, особенно в условиях ограниченных вычислительных ресурсов [2].

В настоящей работе сделан акцент на оптимизации этапа подготовки данных за счёт автоматизации предварительной обработки изображений, алгоритмической фильтрации нерелевантных участков и адаптации существующих open source-инструментов для нужд конкретной задачи. Анализ современных решений, таких как SlideRunner, QuPath и специализированных Python-библиотек, позволил сформировать обоснованные требования к проектируемому подходу.

Целью статьи является формализация и реализация методики, позволяющей повысить эффективность аннотирования медицинских изображений большого формата при сохранении качества и полноты данных, необходимых для последующего обучения моделей компьютерного зрения.

Библиотеки для работы с форматом TIFF

Таблица 1 – Библиотеки для работы с форматом TIFF

Математическая постановка задачи

Рассматривается задача аннотирования больших медицинских изображений высокого разрешения, где требуется эффективно выделять и объединять области интереса.

Пусть I – изображение, заданное как отображение:

\[I: \Omega \rightarrow \mathbb{R}^{C}\]

где Ω – ограниченная область в двумерном евклидовом пространстве, ℝ – множество вещественных чисел, а C – количество цветовых каналов.

Требуется найти множество ограничивающих прямоугольников R_i, минимизирующее суммарную ошибку разметки и штраф за перекрытие областей. Формально, задача формулируется как задача оптимизации:

\[\min_{R_i} \left[ L_{\text{разметки}}(R_i) + \lambda L_{\text{перекрытия}}(R_i) \right]\]

где \(L_{\text{разметки}}(R_i)\) – функция ошибки разметки для прямоугольника \(R_i\);

\(L_{\text{перекрытия}}(R_i)\) – функция штрафа за перекрытие прямоугольников;

\(\lambda > 0\) – регуляризационный коэффициент, который регулирует баланс между точностью разметки и минимизацией перекрытия.

Таким образом, задача состоит в построении эффективной разметки изображения, учитывающей точность выделения областей интереса. Функция ошибки разметки вычисляется по формуле:

\[L_{\text{разметки}}(R_i) = 1 - \text{IoU}(R_i, G_i)\]

где \(G_i\) – соответствующий эталонный (истинный) прямоугольник;

\(\text{IoU (Intersection over Union)}\) – пересечение по объединению.

Разработка комплексной методики для аннотирования изображений биопсии

Для преодоления описанных выше ограничений, упрощения процесса аннотирования изображений биопсии и решения поставленной задачи была разработана комплексная методика, основанная на использование языка Python и специализированных библиотек.

Методика включает применение следующих инструментов и технологий:

• Библиотека large-image [4] – позволяет эффективно загружать и обрабатывать изображения по частям, что значительно снижает требования к оперативной памяти. Предоставляет унифицированный интерфейс для работы с низкоуровневыми библиотеками. В качестве бэкэнда выбрана библиотека tifffile, которая в ходе экспериментов показала наилучшую производительность.
• Конвертация изображения в формат JPEG с уменьшением разрешения. При этом сохраняется необходимое соотношение между размером файла и качеством изображения, чтобы обеспечить точность аннотации.
• Для постобработки сконвертированного изображения используется библиотека OpenCV [5] – отраслевой стандарт для работы с изображениями.

Инструменты для аннотирования медицинских изображений

Таблица 2 – Инструменты для аннотирования медицинских изображений

Обобщенный алгоритм обработки изображения

Рисунок 1 – Обобщенный алгоритм обработки изображения

Обобщенный алгоритм обработки изображения включает следующие этапы: бинаризация и поиск контуров; разделение изображения на фрагменты; сохранение фрагментов.

Подготовленные фрагменты сохраняются в отдельные файлы, в именах которых закодирована информация, необходимая для последующего переноса аннотаций на оригинальное изображение высокого разрешения. Эта информация включает имя исходного файла, координаты фрагмента относительно исходного изображения, ширину и высоту фрагмента до масштабирования.

Для разметки подготовленных фрагментов используется Makesense.AI [10] — веб-инструмент, который отличается простым и интуитивно понятным интерфейсом, поддержкой различных форматов аннотации (например, JSON, XML), а также гибкостью в настройке классов и типов аннотаций, что важно для патологоанатомов, работающих с уникальными структурами биопсийных материалов.

Описание алгоритма бинаризации и выделения контуров

Рисунок 2 – Этапы подготовки изображения

Визуализация результатов каждого этапа обработки изображений представлены на рис. 2. Процесс бинаризации цветного изображения (рис. 2, а) выполняется с использованием алгоритмов обработки изображений, предоставляемых библиотекой OpenCV, и включает несколько этапов.

Цветное изображение в формате OpenCV имеет три цветных канала в формате BGR. В результате проведенных экспериментов было установлено, что бинаризацию наиболее эффективно проводить по красному каналу (channel = 2).

Для выделения объектов на изображении используется метод пороговой бинаризации. Результат бинаризации — двоичное изображение binary_image, где объекты выделены белым цветом на чёрном фоне. Для улучшения качества бинарного изображения применяется морфологическая обработка, которая помогает устранить шумы и выделить структуры на изображении. Изображение, полученное в результате бинаризации, представлено на рис 2, б.

Алгоритм выделения контуров состоит из нескольких шагов:

• • выделение начальных прямоугольников (рис. 2, в);
• • объединение пересекающихся прямоугольников;
• • объединение близко расположенных прямоугольников;
• • фильтрация прямоугольников;
• • повторное объединение пересекающихся прямоугольников.

Этот алгоритм используется для выделения областей интереса на изображении. Он позволяет уменьшить количество ложных срабатываний, объединить пересекающиеся и близкие области, а также сохранить только значимые регионы (рис. 2, г).

Заключение

В данной статье были рассмотрены основные сложности аннотирования медицинских изображений большого размера, таких как снимки биопсии, и предложено комплексное решение для их преодоления.

Предложенная методика использует библиотеку large-image с tifffile в качестве бэкэнда для обработки TIFF-изображений. Конвертация исходных данных в формат JPEG с необходимым разрешением позволяет значительно уменьшить размер файлов при сохранении качества, необходимого для аннотирования. Методы бинаризации и поиска контуров автоматизируют выделение областей интереса, а разбиение изображения на фрагменты упрощает процесс разметки. Сохранение метаданных, таких как координаты вырезанных областей, в именах файлов позволяет отслеживать связь между исходными и аннотированными данными.

Для аннотирования полученных фрагментов был выбран инструмент Makesense.AI благодаря его простоте, гибкости и доступности для специалистов без технической подготовки. Такой подход обеспечивает удобство работы для патологоанатомов и минимизирует временные затраты на разметку.