Автор: Рубан И.В., Шитова О.В.
Источник: Системи управління, навігації та зв’язку, випуск 3 (11), 2009 г. с. 139–143
Рубан И.В., Шитова О.В. Классификацмя методов обработки статических изображений для локализации объектов (областей «интереса») на них в системах технического зрения. В статье представлена классификация методов обработки статических изображений для локализации объектов (областей «интереса») на них по критерию априорных сведений об объектах. Априорные сведения об объектах предлагается различать в зависимости от этапа локализации. На первом этапе локализация производится по признакам пикселей изображений объектов, на втором этапе по признакам найденных на первом этапе множеств пикселей, т.е. предполагаемых объектов.
Ключевые слова: метод обработки изображений, классификация, локализация.
Для решения задачи локализации объектов на статических изображениях в системах технического зрения применяются различные методы цифровой обработки изображений. Под локализацией в работе понимается процесс определения областей объектов на изображениях по заданным параметрам.
Анализ литературы [1–5] позволил выделить несколько подходов к классификации методов обработки изображений для локализации объектов. Методы обработки различаются в зависимости от типа изображения локализируемого объекта (объект может быть представлен точечным изображением, группой точек, в виде площадного или протяженного изображения), в зависимости от этапа процесса локализации (методы первичного и вторичного поиска), в зависимости от применяемой процедуры поиска (построчное сканирование всего изображения, сравнение выделенных областей с эталоном, обработка отдельных фрагментов сканирующим «окном», нахождение опорных точек, геометрический поиск).
Существуют две основные группы признаков цветных изображений: это признаки пикселя изображения, обычно это характеристики цвета пикселя, и признаки искомого объекта, т.е. множества пикселей, из которых и состоит изображение объекта, обычно это геометрические характеристики.
При выборе значений параметров локализации, исходя из изменяемости условий получения изображений, с целью исключения возможности потери области объекта, значения параметров задаются максимальным диапазоном возможных значений. Исходя из этого, не исключена вероятность локализации ложных областей объектов.
На каждом этапе локализации возможно использование различных параметров объектов, поэтому методов локализации по какому-то одному набору признаков в чистом виде не существует.
На рис. 1 представлена предлагаемая классификация применяемых методов цифровой обработки для локализации объектов на статических изображениях зависимости от известных априорных сведениях об объектах.
Для локализации объектов по априорным данным о признаках пикселей изображений объектов применяют корреляционный анализ изображения, анализ гистограммы изображения и методы сегментации.
Методы корреляционного анализа сводятся к вычислению корреляции изображения заданного объекта с наблюдаемым изображением [5]. Корреляция – это число, отражающее степень совпадения двух функций.
Суть локализации по корреляционному критерию состоит в том, чтобы обнаруживать пиксели (фрагменты и целые изображения) интересующих объектов только в том случае, если между их значениями яркости в заданных каналах наблюдается устойчивая корреляционная связь. Этот критерий и основанные на его использовании корреляционные методы достаточно хорошо известны и описаны в литературе [3].
При поиске и локализации по эталону выполняется корреляционная обработка признаков, полученных от эталона и входного изображения как с использованием порогов по величине сходства, так и без установления порога (когда ищется максимум сходства).
Из множества k альтернативных вариантов выбирается тот объект (или эталон), при котором получается максимальная сумма взаимной корреляции:
Рисунок 1 – Классификация методов обработки изображений для локализации объектов (областей «интереса»)
где Kmax(k) – значения автокорреляции эталонов.
Корреляционные методы характеризуется большой вычислительной сложностью. Связано это с масштабированием и поворотами искомого объекта. Главный недостаток метода сопоставления с эталоном заключается в необходимости использования огромного количества эталонов для учета изменений объектов, возникающих при их повороте и увеличении (уменьшении) размеров, поэтому корреляция редко используется на практике, если возможен произвольный поворот искомого объекта. По этой причине при сопоставлении с эталоном желательно ограничиться признаками, которые меньше зависят от изменений размера и формы объекта, например, структурные признаки объекта.
Анализ гистограммы изображения заключается в построении гистограммы распределения цветовых или статистических свойств пикселей изображения. Гистограмма распределения цветовых значений изображения показывает процентное содержание точек определенной яркости. Поиск и локализация областей интереса производится методом установки пороговых значений яркости, и все точки изображения, лежащие в пределах данных значений, выделяются на изображении, как искомые области.
Для локализации объектов по статистическим характеристикам применяется построение гистограммы пространства статистических характеристик пикселя, например, отклонение каждой из цветовых компонент от среднего значения по окрестности, дисперсия каждой цветовой компоненты в окрестности пикселя и т.д. [4]. Пример алгоритма локализации, основанных на гистограммном анализе изображений, описаны в [8].
Локализация объектов методами сегментации. Если контраст объект-фон является достаточным, тогда локализовать такой объект не представляет труда. Основой таких методов является представление о том, что любое изображение можно разбить на конечное число сегментов – участков, имеющих какие-либо характеристики. Методы сегментации применяются для поиска деталей машинной обработки (поиск краев и связь с ними линий и окружностей), поиска людей (поиск сегментов тела по признакам и объединение их в единое целое), поиска зданий (набор многогранных областей на фоне) [7].
Другим вариантом анализа пикселей объектов является применение методов цветовой сегментации. Задача сегментации в данном случае заключается в том, чтобы классифицировать каждый пиксель изображения в соответствии с тем, попадает ли его цвет в заданный диапазон или нет. Для реализации сопоставления пикселей применятся мера сходства – евклидово расстояние [1]. Методы сегментации в основном используются для локализации объектов, однородных по цвету.
В зависимости от априорных данных о свойствах искомого объекта для локализации применяются структурные методы, методы морфологического анализа, методы локализации по набору метрических характеристик объекта, методы фрактального и текстурного анализа, вероятностные методы.
Суть структурных методов заключается в формировании на основе непроизводных элементов изображения составных структурных элементов объекта. В качестве составных структур служат элементы изображения объекта, составленные из отрезков прямых линий: проекции прямоугольных параллелепипедов на плоскость (в более простом случае ищутся также параллельные линии, прямоугольники и параллелограммы), нахождение которых необходимо, например, для обнаружения зданий и дорог на изображениях. Примером структурного метода локализации объектов является классическое преобразование Хафа. Классическое преобразование Хафа предназначено для выделения на изображении прямых линий, заданных параметрическими уравнениями. Оно основывается на использовании пространства параметров, в котором производится поиск прямых. Точки изображения голосуют за все возможные гипотезы (проходящие через них прямые линии), и параметры найденных прямых соответствуют локальным максимумам в пространстве параметров. Очевидно, что классическое преобразование Хафа можно использовать для нахождения любых контурных объектов, заданных в параметрическом виде.
Развитием структурных методов является метод геометрических шаблонов через пространственные связи (сложные объекты разбиваются на части, имеющие простую структуру, которые распознаются вышеописанными методами, а затем связываются в единое целое) [7].
В основе методов морфологического анализа лежит математическое понятие формы [1]. Методы морфологического анализа, применяемые для локализации областей интереса на изображениях, делятся на методы анализа области изображения объекта и анализа границ области объекта. Характеристиками области являются площадь, компактность, число Эйлера и т.д. Характеристиками границ являются периметр, эксцентриситет, кривизна, направление осей [4]. Для анализа границ применяются методы контурного анализа. Методы контурного анализа [1, 2] применяются для получения внешнего контура изображенных объектов и записи координат точек этого контура.
Чаще всего для обнаружения требуется получить внешний контур в виде замкнутой кривой или совокупности отрезков дуг. Затем, с помощью заданных характеристик осуществляется поиск областей интереса.
Общая схема работы методов обнаружения границ такова:
1. Обнаружение границ объектов.
2. Обнаружение объектов исходя из найденных границ.
Одним из инструментов морфологического анализа для определения местоположения объекта (локализации) является преобразование «успех/неудача» или в английском варианте hit-or-miss transform [1].
Локализация объектов по набору метрических характеристик. В основе анализа метрических свойств искомого объекта лежит схема «гипотеза – проверка». Делается предположение между набором характерных элементов изображения и набором характерных элементов объекта [7].
Локализация объектов по набору метрических характеристик применяется для анализа сегментированных областей, а также после обнаружения границ искомых областей, т.е. после применения методов сегментации и обнаружения границ. Выделенные области проверяются по метрическим характеристикам множества пикселей, из которых эти области состоят. Метрические характеристики изображения основаны на измерении расстояния между точками на его плоскости. Большинство метрических характеристик, встречающихся в задачах анализа изображений, это евклидово расстояние, абсолютное расстояние, максимальное расстояние, число Эйлера, компактность, длина периметра объекта, центр масс, ориентация главной оси инерции, удлиненность (эксцентриситет), радиусы вписанных и описанных окружностей, моменты инерции, коэффициент формы и т.д. [4] .
Модель изображения искомого объекта представляет собой набор параметров, которые задаются пользователем или системой поиска:
где D1...Dn набор метрических характеристик искомого объекта.
Примеры локализации объектов по набору метрических характеристик описаны в [9].
Методы фрактального анализа. Существуют методы анализа изображений с использованием поля фрактальных размерностей [6]. Они позволяют решить задачи обработки изображений, одной из которых является задача выделения областей интереса на изображении, которая является первичным этапом локализации.
Также для эффективного решения задачи поиска по изображениям-образцам и каталогизации изображений разработана система поиска изображений по изображению-образцу на основе фрактального разложения изображений, а также алгоритмы и формат фрактального кодирования изображения методом квадродерева.
Текстурные методы основаны на анализе текстуры изображения объекта – совокупности упорядоченных однотипных узоров (наборов пикселей). Резкие изменения (разрывы яркости), координат цвета или параметров, характеризующих текстуру, являются важными простейшими признаками, поскольку они часто определяют очертания изображенных объектов. Локальные разрывы значений яркости называются яркостными перепадами, или яркостными контурами. Для обработки текстуры применяют фильтры пятен (обнаружение узоров), а затем фильтр полос разного направления. Полученная отфильтрованная информация обрабатывается статистическими методами [7].
Вероятностные методы локализации основаны на локализации изображений объектов, согласованной с критерием качества обнаружения [5]. Пусть область локализации (то есть область предполагаемого размещения объекта j-го класса на изображении) обозначена Dj . Пусть y(n1,n2) – вектор признаков для фрагмента изображения с координатами n1, n2 , l – выбранный класс для анализируемого фрагмента, Rl и Rj – значения рисков для местоположений предполагаемого объекта j-го и l-го классов.
Общий критерий обнаружения записывается в следующем виде:
В зависимости от используемого критерия качества вероятностные методы делятся на локализацию по минимуму общего риска, локализацию объекта по максимуму правдоподобия, локализацию объекта по минимуму значения альтернативной функции правдоподобия, локализацию объекта с помощью классификаторов-обнаружителей [1,3].
Существует необходимость в разработке методов обнаружения, оптимальных в том смысле, что при их использовании будет достигаться наименьшая вероятность появления ошибок при обнаружении.
Проведенный с помощью классификации анализ позволил сделать вывод о том, что методы локализации объектов на изображениях должны соответствовать некоторому комплексу требований, а именно должны учитывать характеристики обнаруживаемого объекта, характеристики всего изображения – наличие шума и т.д., характеристики технического обеспечения, а также соответствовать тактическим требованиям получения изображений. На необходимость разработки новых методов локализации областей объектов указывают следующие проблемы, возникающие при использовании существующих методов:
1. Недостаточность априорной информации о возможных значениях оцениваемых признаков, в частности, яркости (цвета) в зависимости от окраски объекта и фона может меняться в широких пределах.
2. Априорная неопределенность информации о типах обнаруживаемых объектов, которые могут отличаться друг от друга размерами и формой.
3. Наличие теней на объектах и изображениях, которые могут иметь различную конфигурацию и искажать истинные размеры и форму объекта, затрудняют процессы поиска и локализации и др.
Указанные проблемы затрудняют использование описанных методов локализации и требуют модификации существующих и разработки новых методов.
Следовательно, разработки таких методов, в которых на этапах как первичного, так и вторичного поиска, учтены все априорные сведения об объекте (вся известная информация об объекте), и таким образом максимально выполнены требования к скорости и достоверности поиска.
1.Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. – М: Техносфера, 2005. – 1072 с.
2.Введение в контурный анализ; приложения к обработке изображений и сигналов / Я.А. Фурман, А.В. Кревецкий, А.К. Передреев, А.А. Роженцов, Р.Г. Хафизов, И.Л. Егошина, А.Н. Леухин; под ред. Я.А. Фурмана. – 2-е изд., испр. – М.: ФИЗМАТЛИТ, 2003. – 592 с. – ISBN 5-9221-0374-1.
3. Ярославский Л.П. Введение в цифровую обработку изображений / Л.П. Ярославский. – М.: Сов. радио, 1979. – 312 с, ил.
4. Прэтт У. Цифровая обработка изображений: пер. с англ. / У. Прэтт. – М.: Мир, 1982. – Кн. 2. – 480 с.
5. Методы компьютерной обработки изображений / Коллектив авторов под ред. В.А. Сойфера. – М.: ФИЗМАТЛИТ, 2003. – 784 с.
6. Фрактальный анализ процессов, структур и сигналов: коллективная монография / Под ред. Р.Э. Пащенко. – Х.: ХООО «НЭО» ЭкоПерспектива», 2006. – 348 с.
7. Нестеров А.В. Анализ методов цифровой обра-ботки информации в системах компьютерного зрения и обзор областей применения данных систем / А.В. Нестеров // Вестник РГРТУ. – Рязань, 2008. – № 4 (выпуск 26). – С. 121-125.
8. Рубан И.В. Метод поиска областей по цветовым значениям пикселей / И.В. Рубан, О.В. Шитова // Зб. наук. пр. Харківського університету Повітряних Сил. – Х., 2008. – Вип. 3 (18). – С. 125-127.
9. Рубан И.В. Метод локализации объектов в системах обработки изображений дистанционного зондирования Земли / И.В. Рубан, К.О. Вельчев, О.В. Шитова // Системи управління, навігації та зв’язку. – К.: ЦНДІ НУ, 2008. – Вип. 1 (5). – С. 35-37.