РЕФЕРАТ


По теме: <<Методы поиска с учетом формы и расположения объектов в цифровых коллекциях изображений>>

Составитель: Похиль Максим Юрьевич

Данный реферат посвящен основным методам, которые применяются при поиске изображений в цифровых коллекциях изображений, при этом идет учет об расположении объектов на изображении.

 

магистр ДонНТУ Похиль Максим Юрьевич

ВВЕДЕНИЕ

На протяжении последних десятилетий были опубликованы тысячи работ в данной области, но несмотря на это задача поиска графических изображений в базе данных по их содержанию остается актуальной по сегодняшний день. Это можно объяснить сложностью данной задачи, обусловленной в первую очередь сложностью механизма зрительного восприятия человека. Основной проблемой в данной области, по мнению многих исследователей, является «семантический разрыв» между низкоуровневым содержанием изображения, которым оперирует система, и семантикой изображения, необходимой пользователю. Также определенную сложность представляет необходимость работы с большими объемами многомерных данных – векторами признаков, вычисляемых для описания каждого изображения.
Методы обработки изображений играют значительную роль в исследованиях и информационных системах. Часто используется поиск по текстовому описанию, но  он недостаточно эффективен, поскольку требует дополнительных затрат времени, а так же субъективно зависит от человека, составляющего текстовую аннотацию. Более новым подходом к решению указанной проблемы является контекстный поиск, который выполняется по содержимому изображения в соответствии с запросом пользователя, указывающего визуальные характеристики искомого изображения, либо изображение - образец поиска.

Обзор методов поиска изображений
Основные направления исследований при поиске графических изображений

Можно выделить следующие основные направления исследований в данной области:

  • Выделение признаков изображений. Поиск различных способов описания изображений и их сравнения между собой. В рамках данного направления предлагаются все новые виды векторов признаков и способы их вычисления, а также новые метрики, заданные на пространстве этих векторов.
  • Многомерное индексирование. Разработка алгоритмов многомерного индексирования, подходящих для задач CBIR, для которых характерна высокая размерность и большие объемы индексируемых данных.
  • Проектирование систем поиска. Важной особенностью любой системы является ее эргономичность – удобство работы с ней для пользователя. Для систем CBIR этот параметр играет особенную роль ввиду сложности таких систем. Как показать пользователю одновременно большое количество изображений, которые система отобрала в качестве ответа на запрос? Как предоставить пользователю возможность оценить качество поиска, чтобы в дальнейшем было возможно учесть эту оценку для уточнения результата поиска? Как построить диалог пользователя с системой? Поиск ответов на эти вопросы – задача исследователей, занимающихся проектированием систем поиска.

Традиционная архитектура систем CBIR

(Размер анимации: 95Кб, Разрешение анимации:433x283, Количество повторений: 5, Количество кадров: 8)

(Для повторного показа анимации обновите страницу)

Поиск по содержанию – Content Based Image Retrieval (CBIR)

Рисунок 1 - Традиционная архитектура систем CBIR

- выделение признаков изображений
- многомерное индексирование
- проектирование систем поиска

Уровни содержания и поиск изображений

При поиске графических изображений по их содержанию обращают внимание на уровни содержания изображения, которые в свою очередь  подразделяются следующим образом:

Уровни содержания графических изображений


Рисунок 2 – Уровни содержания графических изображений

         Текстовая аннотация включает в себя лишь семантику изображения. А при низкоуровневых характеристиках используют такие факторы как – форма, текстура, цвет, яркость, а также их комбинация.

 При поиске графических изображений по их содержанию применяют следующие признаки:
- признаки цвета
- признаки текстуры
- признаки формы
- пространственные признаки


Схема поиска графических изображений

Рисунок 3 – Схема поиска графических изображений

Цвет

Охарактеризуем признак цвета, который в свою очередь является одним из признаков поиска графических изображений по их содержанию.

Цвет – это качественная субъективная характеристика, определяемая на основании зрительного ощущения, и зависящая от ряда физических, физиологических и психологических факторов..

Признак цвета в основном состоит из двух составляющих:
- гистограммы
- статическая модель

Составляющие признака цвета

Рис. 4 – Составляющие признака цвета

Гистограмма – это способ графического представления табличных данных.
Статическая модель – это модель статистики, которая может характеризоваться рядом признаков: математическое ожидание, дисперсия и т.д.

Этапы  процесса сравнения изображений

В решении задачи контекстного поиска изображений, методом сравнения гистограмм, можно выделить следующие этапы процесса сравнения двух изображений:

  • Дискретизация цветового пространства. На данном этапе цвета в исходном изображении заменяются цветами из требуемого конечного набора.
  • Построение гистограммы. На этом этапе рассчитываются вероятности появления каждого из цветов, принадлежащих требуемому набору, в изображении, и нормализация гистограммы.

Сравнение изображений. Здесь сравниваются гистограммы, построенные на основе сравниваемых изображений, путем вычисления расстояний между ЦГ изображения–образца и гистограммами всех изображений из БД.

Текстура

Текстура - изображение, состоящее из более или менее близких по восприятию элементов. Смешанные текстуры могут включать в себя элементы из нескольких множеств (классов) элементов. Текстуру, окрестности всех точек которой подобны друг другу называют равномерной текстурой.
Текстура является главным признаком, который применяется при поиске графических изображений по их содержанию.
В текстуре в свою очередь выделяют следующие признаки:

Текстурные признаки

Рисунок 8 – Текстурные признаки

Признаки Tamura

Признаки Tamura – это характеристики, существенные для зрительного восприятия:

- Зернистость (coarseness)
- Контрастность (contrast)
- Направленность (directionality)
- Линейность (line-likeness)
- Регулярность (regularity)
- Грубость (roughness)

Форма объектов

Форма объекта – состовляющий признак который применяеться при поиске графических изображений по их содержанию.
Форма объекта обладает рядом признаков:

Признаки формы

Рисунок 12 – Признаки формы

Требования к признакам формы:

- инвариантность к параллельному переносу
- инвариантность к изменению масштаба
- инвариантность к повороту
- устойчивость к незначительным изменениям формы
- простота вычисления
- простота сравнения

ВЫВОДЫ

Существует большой выбор различных алгоритмов поиска графических изображений по их содержанию по каждой из характеристик в отдельности:
- цвет: гистограммы или статистическая модель?
- текстура: фильтры Габора, фильтры ICA
- форма: дескрипторы Фурье, инвариантные моменты

Можно комбинировать методы поиска по различным характеристикам:
- выбор метода синтеза зависит от конкретной задачи (что с чем
смешиваем)
- важно учитывать веса источников
- адаптивный подход

Формулируя точно задачу поиска, свести степень подобия двух изображений к аналитическому выражению в виде некоторой формальной системы, практически не возможно. Причина заключается в неоднозначности самого понятия схожести изображений. Однако если выделить некоторые экспериментальные правила и договорится о размерах ошибки, решение заданной проблемы можно определить в виде некоторой системы уравнений.

СПИСОК ЛИТЕРАТУРЫ

  • Askoy S., Haralick R. M. Textural features for image database retrieval. In Proc. of IEEE Workshop on Content-Based Access of Image and Video Libraries, in conjunction with CVRP’98, p. 45-49, Santa-Barbara, CA, June 1998.
  • Lee J. H. Analyses of multiple evidence com¬bination. SIGIR '97: Proceedings of the 20th annual international ACM SIGIR conference on Research and development in in¬formation retrieval, New York, NY, USA: ACM Press, p. 267-276, 1997.
  • Loncaric S. A survey of shape analysis techniques. Pattern Recognition, 31(8), p. 983-1001, 1998.
  • Manjunath B.S., Ma W.Y. Texture features for browsing and retrieval of image data. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18 (8), p. 837-842, 1996.
  • Rui Y., Huang T. S., Chang S. F. Image Retrieval: Current Techniques, Promising Directions, and Open Issues. JVCIR, Vol. 10, No. 1, p. 39-62, March 1999.
  • Shuang F. Shape Representation and Retrieval Using Distance Histograms. Technical Report TR 01-14, Department of Computing Science, University of Alberta, Edmonton, Alberta, Canada, October 2001.
  • Stricker M., Orengo M. Similarity of Color Images. Proceedings of the SPIE Conference, Vol. 2420, p. 381-392, 1995.
  • Swain M.J., Ballard D. H. Color Indexing. International Journal of Computer Vision, Vol. 7(1), p. 11-32, 1991.
Биография | Реферат | Библиотека | Ссылки | Отчет о поиске | Индивидуальное задание
© 2008 DonNTU. All Rights Reserved