ВЫБОР
МЕТОДА ВЫДЕЛЕНИЯ КОНТУРОВ ДЛЯ ОБРАБОТКИ
ИЗОБРАЖЕНИЙ КЛЕТОК КРОВИ ЧЕЛОВЕКА
IN VITRO
И.Г. Герасимов, М.В. Привалов, Т.Л. Степанов
Донецкий национальный технический университет
Кафедра автоматизированных систем управления
iggerasim@mail.ru, max@kita.donntu.ru
Abstract. In article the methods of search of object’s boundaries on the image are described: the active contour model algorithm, the method of segmentation with region’s pattern search. For these methods the output providing parameters were chosen, shortcomings were exposed and defects were as far as possible eliminated. The ways of algorithm realization and further improvement for the concerned methods also were pointed out.
Введение. В современной цитологии для решения диагностических и лечебных задач необходима оценка комплекса параметров клеток, однако в настоящее время автоматизированные системы для выполнения такой оценки фактически отсутствуют. Для того, чтобы построить автоматизированную систему, выполняющую такую оценку, необходимо решить задачу выделения контура индивидуальной клетки.
На данный момент предложено множество методов для поиска границ, которые можно разделить на несколько основных групп:
- деформационные модели [1,2]; к этой группе методов относятся параметрически заданные модели (аналитические и основанные на прототипе) и деформационные модели (метод активных контуров, модели, основанные на сплайнах);
- сегментация, основанная на непосредственном поиске границ [1,3]; к этой группе относятся поиск границ по порогу, определение регионов исходя из найденных границ;
-сегментация, основанная на непосредственном поиске регионов [1,3]; слияние регионов, разбиение регионов, слияние и разбиение регионов, метод водораздела.
Каждый из методов имеет недостатки, как правило, не позволяющие применять их для обработки заданных типов изображений. Поэтому для оконтуривания клеток необходимо выполнить настройку этих методов.
Постановка задачи. В данной работе рассмотрены метод активных контуров [2] и метод сегментации с непосредственным поиском регионов [3]. Были выбраны методы, представляющие различные группы, с помощью которых решают задачи обработки различных изображений (оконтуривать клетки разных типов) и для различных условий, что затруднительно выполнить с помощью методов, рассчитанных только на изображения конкретных объектов.
Для применения этих методов при оконтуривании клеток крови человека необходимо выполнить их точную настройку, для чего необходимо:
- выработать критерии качества имеющегося изображения;
- улучшить качество изображения, если это возможно;
- выбрать параметры методов для различных типов изображений.
Решение задачи. Метод активных контуров [2] требует наличия первоначального контура, который последовательно уточняется. Поиск контура выполняется путем решения задачи минимизации функции энергии, рассчитываемой для каждой точки контура и точек из ее локальной окрестности. Эта энергия состоит из внешней энергии (External Energy) , зависящей от свойств изображения (градиента, яркости), и внутренней энергии (Internal Energy) , зависящей от формы контура. Деформация контура осуществляется путем перемещения точки в точку окрестности с минимальной энергией. Функция внутренней энергии определена следующим образом:
, (1)
где - энергия непрерывности (Continuity Energy), которая описывает форму контура; - энергия надувания (Balloon Energy), которая заставляет контур расти или сжиматься, ,- весовые коэффициенты влияния энергий.
В отсутствии других влияний, энергия непрерывности деформирует открытый контур в прямую линию, а закрытый контур – в окружность. Энергия надувания заставляет контур расширяться (или сжиматься) в отсутствии других воздействий. Энергия надувания является наименьшей в точках, наиболее удаленных от в направлении вектора нормали.
Функция внешней энергии притягивает контур к перепадам или экстремумам:
, (2)
где - энергия интенсивности изображения (Image Intensity Energy), притягивающая контур к областям с высокой или низкой интенсивностью; - энергия градиента изображения (Image Gradient Energy), которая перемещает контур к перепадам интенсивности; , - весовые коэффициенты.
В качестве критерия окончания алгоритма обычно используют отсутствие изменений контура в течение заданного количества итераций и/или превышение предельного значения итераций.
В методе сегментации с непосредственным поиском регионов [3] применяется алгоритм с непосредственным поиском регионов с использованием четырехсвязности. Этот алгоритм заключается в следующем. Пусть - класс элементов множества; - средняя яркость пикселей класса, причем класс C задаёт область в изображении ; – интенсивность пикселя изображения; - мера близости класса и . Если существует класс , задающий связную область в , то к классу добавляются соседние ему (с учетом связности) элементы, которые приписываются к этому классу, если , ( - некий выбранный нами порог), или, в обратном случае, основывается новый класс. При этом метод предполагает объединение соседних классов, если их мера близости меньше заданного порога: .
В рассматриваемой реализации метода первый класс основывается на самой светлой (темной) точке изображения, а не на угловой, как принято обычно. Предполагается, что эта точка принадлежит объекту, а значит, и первый сегмент будет принадлежать объекту. Для устранения артефактов в изображении перед применением метода используют морфологические преобразования [4]. В частности, для этого подходят операции морфологического открытия или закрытия, которые устраняют на изображении малые объекты, в поперечнике не превосходящие размеров шаблона. Для полутоновых изображений открытие удаляет светлые, закрытие – темные объекты.
Описание эксперимента. Исследование методов проводили на изображениях эритроцита (рис.1а) и нейтрофила (рис.1б), полученных путем микроскопирования.
а) б)
Рисунок 1 – Исходные изображения клеток крови. Здесь и на других рисунках а) – эритроцит, б) – нейтрофил.
Эксперимент проводился на отобранных изображениях эритроцита и нейтрофила. Оконтуривание выполнялось с использованием программы, реализующей методы, а также вручную экспертом. Для повышения достоверности при оконтуривании вручную исследовали 10 контуров для каждого изображения и рассчитывали средние значения. Исследовались геометрические характеристики объекта: периметр P, площадь S, компактность (C = P2/S), моменты F1, F2, F3 , разность F3 - F1 и дескриптор Фурье FF [5]. Близость численных характеристик, полученным автоматически и вручную, служит критерием возможности использовать метод для данного типа изображений.
Результаты экспериментов. В результате применения метода активных контуров к исходным изображениям получены результаты, приведенные на рис. 2:
а) б)
Рисунок 2 – Результат оконтуривания методом активных контуров
Стандартный метод работал неудовлетворительно, потому что значимость сил должна меняться в зависимости от близости контура к фактической границе объекта: далеко от границы объекта должна преобладать внутренняя энергия, а вблизи – внутренняя (это особенно важно, если изображение сильно зашумлено или изначальный контур выбран очень неточно). Была проведена адаптация, которая заключается в том, что параметры метода изменялись динамически. В табл. 1 приведены значения основных параметров метода активных контуров на различных итерациях.
Таблица 1 – Параметры уравнений (1) и (2) при проведении эксперимента.
№ итерации Параметр |
1-5 |
6-10 |
11-30 |
0,2 |
0,25 |
0,25 |
|
0,35 |
0,25 |
0,25 |
|
0,2 |
0,1 |
0,1 |
|
-0,25 |
-0,4 |
-0,4 |
|
, пикс. |
Эксперименты, проводившиеся с использованием этого метода, показали, что метод активных контуров позволяет находить границу, но результат во многом зависит от начального контура. С помощью данного метода можно находить границу, и тогда, когда начальный контур неточен, но находится внутри (снаружи) объекта, при помощи энергии надувания, которая действует на расширение (сужение). Этим объясняется многоэтапное проведение оконтуривания при различных весовых коэффициентах на каждом этапе. Метод контуров может не позволить найти границу, если рядом находится 2 границы, или граница представляет собой полосу; тогда окончательный результат может находиться и у внутренней, и у внешней границы объекта (как в случае эритроцита, у которого есть ореол). Вклад энергии надувания наиболее ярко показывает важность динамического изменения параметров в процессе работы метода. В случае, когда точка находится далеко от границы, появляется вероятность нахождения большого количества точек с одинаковым минимальным значением энергии. На основании результатов эксперимента можно дать следующие рекомендации.
1. Изначальный контур по возможности должен повторять контуры объекта с учетом гомотетии. Для замкнутых контуров исходный контур нужно выбирать внутри объекта. Это объясняется тем, что для замкнутого контура энергия (1) стремится превратить его в окружность, а знак выбирается таким образом, чтобы окружность расширялась. С другой стороны, если исходный контур выбран вне объекта, то внешняя энергия должна сужать контур, для чего отрицательный знак должен стоять у энергии надувания, а положительный – у энергии непрерывности.
2. Изменение контура следует производить только после прохода всего контура, так как расчет энергии непрерывности зависит от положения соседних точек.
3. Эмпирически показано, что если метод не достиг результата за 100 шагов, то, как правило, уже и не достигнет. Поэтому критерием окончания может являться стабилизация контура или изменение малого количества его точек (менее 5-10%).
Для другого метода сегментации получены результаты, приведенные на рис. 3:
а) б)
Рисунок 3 – Результат оконтуривания методом сегментацию с непосредственным писком регионов с использованием морфологических преобразований
Значения параметров метода представлены в табл. 2.
Таблица 2 – Параметры метода сегментации с непосредственным поиском регионов
Изображение |
Вид шаблона |
Размер шаблона (диаметр), пикс. |
Порог близости |
Эритроцит |
Круг |
10 |
4 |
Нейтрофил |
Круг |
20 |
5 |
Результат морфологической операции определяется применяемым шаблоном и его размером. Их выбор во многом является эмпирическим. Протестировав различные комбинации структурирующих элементов, можно сделать вывод, что в наибольшей степени для округлой формы клетки соответствует округлый или эллипсоидный шаблон. Выбор конкретного размера шаблона выполнен экспериментально и сделан вывод, что в наибольшей степени округлой форме клетки соответствует округлый или эллипсоидный шаблон. Выбор конкретного размера шаблона может быть выполнен экспериментально.
Отличия данного метода от метода активных контуров:
- меньшая зависимость от слабо выраженной границы, особенно если граница слабо выражена не везде (в аналогичном случае в методе активных контуров подобрать коэффициент для энергии градиента не удастся); морфологические преобразования убирают этот недостаток, но при этом возможно потеря части изображения за счет большой толщины границы;
- меньшая скорость в сравнении с методом активных контуров, так как морфологическая операция проводится со всем изображением, и поэтому целесообразно применять морфологические преобразования не ко всему изображению, а к области интереса;
- в качестве стартовой точки используется точка с наименьшей (наибольшей) интенсивностью, которая предполагается принадлежащей объекту, а значит, при правильном выборе порога, первая область и будет принадлежать объекту;
- развитием данного метода, если в пределах изображения имеется несколько регионов, может служить слияние полученных регионов по тому же критерию.
Результаты определения площади геометрических характеристик объекта вручную, а также обоими методами приведены в табл. 3, а в табл. 4 содержатся отклонения значений параметров клеток, измеренных и рассчитанных по автоматически выделенному контуру, от значений, которые определялись по контуру, выделенному вручную.
Таблица 3 – Результаты расчета геометрических характеристик объекта.
Изображение |
Метод |
P, пикс. |
S, пикс |
C |
F1 |
F2 |
F3 |
FF |
Эритроцит |
Вручную |
341 |
7357 |
15,762 |
0,062 |
0,041 |
0,076 |
1,337 |
Активный контур |
345 |
7291 |
18,583 |
0,060 |
0,039 |
0,074 |
1,331 |
|
Сегментация |
365 |
7216 |
18,462 |
0,057 |
0,037 |
0,078 |
1,256 |
|
Нейтрофил |
Вручную |
340 |
5735 |
20,15 |
0,111 |
0,070 |
0,136 |
1,486 |
Активный контур |
354 |
6024 |
18,246 |
0,096 |
0,066 |
0,129 |
1,376 |
|
Сегментация |
357 |
6042 |
21,094 |
0,093 |
0,070 |
0,129 |
1,452 |
Таблица 4 – Отклонение (∆, %) расчетных параметров от измерений вручную.
Изображение |
Метод |
∆P |
∆S |
∆C |
∆F1 |
∆F2 |
∆F3 |
∆FF |
Эритроцит |
Активный контур |
1,3 |
0,9 |
3,6 |
1,9 |
5,3 |
2,3 |
0,5 |
Сегментация |
7,2 |
1,9 |
17,1 |
8,1 |
8,5 |
3,1 |
6,1 |
|
Нейтрофил |
Активный контур |
4,2 |
5,0 |
3,4 |
13,7 |
6,1 |
5,5 |
7,4 |
Сегментация |
5,1 |
5,4 |
4,9 |
16,0 |
0,1 |
5,4 |
2,3 |
Из табл. 4 следует, что результаты, полученные автоматически, близки к реальным (отклонение по всем показателям, за исключением C и F1).
Выводы. Выполнена адаптация рассмотренных методов оконтуривания к обработке изображений клеток крови. Найдены значения параметров методов для обработки изображений эритроцитов и нейтрофилов и даны рекомендации по их выбору для различных типов изображений. При этом лучший результат показал метод активных контуров.
Направлением дальнейших исследований является: адаптивное изменение параметров метода активных контуров; слияние и разбиение регионов для метода сегментации с непосредственным поиском регионов; проверка работоспособности методов на других объектах.
ЛИТЕРАТУРА
Прэтт У.К. Цифровая обработка изображений: В 2 т. / М.: Мир. – 1982. – Т.2. – 480с.
Michael Kass, Andrew Witkin, and Demetri Terzopoulos. Snakes: Active contour models. International Journal of Computer Vision, pages 321-331, 1988.
Milan Sonka, Vaclav Hlavac, and Roger Boyle. Image Processing, Analysis, and Machine Vision. Brooks and Cole Publishing, 1998.
J. Serra, Image Analysis and Mathematical Morphology, Vol. 2, Academic Press, 1988.
Shen L., Rangayyan R. M., Desautels J. E. L. Application of Shape Snalysis to Mammographic Calcifications // IEEE Trans. Med. Imag. – 1994. – V. 13, N 2. – P. 263 – 274.