Исследование возможности билатеральной фильтрации
для решения задач распознавания объектов на изображениях
и Depth Image Based Rendering (DIBR)

УДК 004.932.72

Исследование возможности билатеральной фильтрации для решения задач распознавания объектов на изображениях и Depth Image Based Rendering (DIBR)

Д. В. Борискин, аспирант, ГОУ ВПО «Донецкий национальный технический университет», г. Донецк, shark9797@mail.ru

С. А. Зори, д.т.н., доцент, ГОУ ВПО «Донецкий национальный технический университет», г. Донецк, sa.zori1968@gmail.com

Аннотация

Статья посвящена исследованию возможностей применения билатеральной фильтрации в задачах распознавания объектов на изображениях и в системах Depth Image Based Rendering. Рассматриваются свойства билатерального фильтра как нелинейного метода сглаживания с сохранением границ, его математическое описание и особенности использования при подавлении шумов. Показано, что построение качественных карт глубины в DIBR и предварительная обработка изображений при распознавании образов тесно связаны с эффективной реализацией билатеральной фильтрации, обладающей высокой вычислительной сложностью.

Ключевые слова: распознавание образов, DIBR, билатеральная фильтрация, Гауссов фильтр, глубина изображения, RGB, эффективность.

Введение

Обработка изображений и распознавание объектов относятся к быстро развивающимся направлениям компьютерных технологий. Особенно актуальна задача восстановления трёхмерной структуры сцены по двумерным изображениям, когда требуется идентифицировать или отследить объекты по их проекциям.

На практике при обработке изображений применяется большое количество фильтров, в том числе билатеральных. Для решения задач распознавания часто приходится подключать дополнительные модули и сложные программные комплексы, что увеличивает требования к ресурсам и времени обработки.

Билатеральный фильтр входит в стандартный набор средств многих библиотек обработки изображений и может использоваться одновременно как средство сглаживания и сохранения границ. Это делает его потенциально полезным как для предобработки изображений в задачах распознавания, так и на этапах формирования карт глубины в системах DIBR.

Цель работы

Целью работы является исследование и анализ функциональных возможностей билатерального фильтра для применения при распознавании объектов на изображениях и в Depth Image Based Rendering, а также оценка перспектив его эффективной и параллельной реализации.

Билатеральный фильтр

Билатеральный фильтр относится к классу нелинейных фильтров сглаживания, которые уменьшают шум, но одновременно сохраняют резкие границы между областями. В отличие от классического Гауссова фильтра, учитывающего только геометрическую близость пикселей, билатеральная фильтрация комбинирует два фактора: расстояние в пространстве и схожесть яркости.

Для каждого пикселя рассматривается окрестность заданного размера. Вклад соседних пикселей в результат определяется произведением двух весовых коэффициентов: рангового (зависящего от разности интенсивностей) и пространственного (зависящего от расстояния до центрального пикселя).

Математические основы билатеральной фильтрации

Пусть f(x, y) — исходное изображение, задающее яркость пикселя в точке с координатами (x, y). В окрестности центрального пикселя a₀ для каждого пикселя a_i вводится ранговый коэффициент r(a_i), зависящий от разности яркости текущего и центрального пикселя, и пространственный коэффициент g(a_i), зависящий от расстояния между ними.

Новое значение яркости центрального пикселя h(a₀) вычисляется как нормированная взвешенная сумма яркостей соседних пикселей:

h(a₀) = k^-1  ∑ f(a_i) · g(a_i) · r(a_i),

где коэффициент нормализации k равен сумме произведений g(a_i) · r(a_i) по всем пикселям окрестности. Как правило, обе весовые функции задаются в виде Гауссовых экспонент с различными параметрами масштабирования.

Подбор параметров фильтра позволяет управлять степенью сглаживания и сохранения границ: при малых значениях масштабных коэффициентов в большей степени сохраняются детали, при больших — более интенсивно подавляются шумы.

На наглядных примерах видно, что билатеральная фильтрация эффективно устраняет мелкий шум и одновременно сохраняет чёткие границы объектов, что критично для последующих этапов распознавания и анализа структуры сцены.

Глубина изображения и DIBR

Depth Image Based Rendering — это класс методов формирования новых видов сцены на основе исходных цветных изображений и связанных с ними карт глубины. Ключевую роль здесь играет качество построения и обработки карты глубины, так как на неё опираются дальнейшие операции рендеринга.

Глубина изображения тесно связана с понятием глубины цвета: каждый пиксель описывается количеством бит, выделенных на представление яркости и цветовых каналов. В типичном случае используется модель RGB, в которой цвет задаётся тремя компонентами (R, G, B); подобные модели применяются и в системах, ориентированных на DIBR.

При решении задач DIBR билатеральный фильтр используется как этап предобработки карт глубины: он сглаживает шумы, сохраняя при этом резкие переходы глубины на границах объектов. Это повышает качество синтезируемых видов, но приводит к существенным вычислительным затратам, поскольку обработка выполняется для каждого пикселя с учётом его окрестности.

Аналогично в задачах распознавания образов билатеральная фильтрация помогает уменьшить влияние шумов и артефактов на изображении, улучшая работу последующих алгоритмов выделения признаков и классификации объектов.

Заключение

В работе рассмотрены основные принципы действия билатерального фильтра и его математическая модель, а также показана роль билатеральной фильтрации при построении карт глубины для DIBR-систем и в задачах распознавания объектов.

Отмечено, что высокая вычислительная сложность билатерального фильтра ограничивает его использование в приложениях реального времени. Поэтому перспективным направлением дальнейших исследований является разработка эффективных и параллельных реализаций билатеральной фильтрации, что позволит повысить производительность DIBR-систем и систем распознавания изображений.

Литература

1. Билатеральные фильтры кратко [Электронный ресурс]. Режим доступа: http://old.unick-soft.ru/Articles.cgi?id=11.
2. An overview of free view point Depth-Image-Based Rendering (DIBR) [Электронный ресурс]. Режим доступа: http://www.apsipa.org/proceedings_2010/pdf/APSIPA197.pdf.
3. Глубина цвета изображения [Электронный ресурс]. Режим доступа: https://ru.wikipedia.org/wiki/Глубина_цвета.
4. Компьютерная графика: глубина цвета [Электронный ресурс]. Режим доступа: http://fb.ru/article/87913/kompyuternaya-grafika-glubina-tsveta.
5. Directional Joint Bilateral Filter for Depth Images [Электронный ресурс]. Режим доступа: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4168506/.

Annotation

Boriskin D.V., Zori S.A. Investigation of the possibility of bilateral filtering for solving object recognition problems in images and Depth Image Based Rendering. The paper studies the capabilities of bilateral filtering as a nonlinear smoothing technique preserving edges and analyzes its applicability in image recognition and DIBR systems. The concept and mathematical formulation of bilateral filtering are described, as well as the use of image depth information for free-viewpoint rendering. It is shown that DIBR tasks rely on efficient construction and processing of depth maps, where bilateral filtering is one of the most computationally intensive stages. Therefore, investigation of efficient and parallel implementations of bilateral filtering is crucial for improving the performance of DIBR and other image recognition and processing procedures.

Key words: pattern recognition, DIBR, bilateral filtering, Gauss, image depth, RGB, efficiency.