Наталья Васильева

Доклад посвящен обзору алгоритмов и методов, применяемых для решения задачи поиска статических изображений по содержанию (Content-Based Image Retrieval, CBIR). На протяжении последних десятилетий были опубликованы тысячи работ в данной области, но несмотря на это задача поиска изображений остается актуальной по сегодняшний день. Это можно объяснить сложностью данной задачи, обусловленной в первую очередь сложностью механизма зрительного восприятия человека. Основной проблемой в данной области по мнению многих исследователей является «семантический разрыв» между низкоуровневым содержанием изображения, которым оперирует система, и семантикой изображения, необходимой пользователю. Также определенную сложность представляет необходимость работы с большими объемами многомерных данных – векторами признаков, вычисляемых для описания каждого изображения. Можно выделить следующие основные направления исследований в данной области:
Выделение признаков изображений. Поиск различных способов описания изображений и их сравнения между собой. В рамках данного направления предлагаются все новые виды векторов признаков и способы их вычисления, а также новые метрики, заданные на пространстве этих векторов.
Многомерное индексирование. Разработка алгоритмов многомерного индексирования, подходящих для задач CBIR, для которых характерна высокая размерность и большие объемы индексируемых данных.
Проектирование систем поиска. Важной особенностью любой системы является ее эргономичность – удобство работы с ней для пользователя. Для систем CBIR этот параметр играет особенную роль ввиду сложности таких систем. Как показать пользователю одновременно большое количество изображений, которые система отобрала в качестве ответа на запрос? Как предоставить пользователю возможность оценить качество поиска, чтобы в дальнейшем было возможно учесть эту оценку для уточнения результата поиска? Как построить диалог пользователя с системой? Поиск ответов на эти вопросы – задача исследователей, занимающихся проектированием систем поиска.

Особое внимание в этом докладе будет уделено способам описания низкоуровневых признаков изображения (цвета, текстуры и формы объектов), а также задаче комбинированного поиска по данным признакам. Будет приведена классификация известных векторов признаков, обсуждены их достоинства и недостатки. В частности, будут рассматриваться гистограммные [11] и статистические [11, 10] способы описания цвета; матрицы смежности [4], признаки Тамура [12] и вейвлет-признаки [7] для описания текстуры; цепные коды, грид-метод, дескрипторы Фурье и другие методы описания формы [2, 6, 9]. Будет показана возможность применения методов синтеза данных (Data Fusion) для решения задачи комбинированного поиска изображений. На сегодняшний день в литературе предложено большое количество методов синтеза данных в контексте задачи текстового поиска. Общая идея данных методов сводится к тому, чтобы имея результаты работы различных поисковых алгоритмов или систем, можно было получить один общий результат, по тем или иным критериям превосходящий подаваемые на вход. Для эффективного решения задачи поиска изображений необходимо учитывать различные признаки. В то же время, стандартным подходом является независимый поиск по каждому из них. Естественным образом встает задача комбинирования результатов поиска по различным признакам. В рамках доклада будет обсуждаться вопрос применимости известного метода синтеза CombMNZ [5] для решения задачи поиска изображений, а также будут рассмотрены предложенные нашей группой альтернативы данному методу [1, 3]. Будут представлены результаты проведенного нами экспериментального сравнения работы данных методов. Также будут обсуждаться различные подходы к организации поиска по текстовому запросу при условии отсутствия аннотаций для большинства изображений коллекции, в том числе предложенная нашей группой схема поиска по таким коллекциям с использованием методов синтеза данных [1].

Литература:

Васильева Н., Дольник А., Марков И. Поиск изображений. Синтез различных методов поиска при формировании результатов. Интернет-математика, 2007. http://download.yandex.ru/IMAT2007/vassilieva.pdf
Гонсалес Р., Вудс Р.. Цифровая обработка изображений. Изд. Техносфера, Москва, 2005.
Марков И., Васильева Н., Яремчук А. Поиск изображений. Выбор оптимальных весов для слияния метрик по цвету и текстуре в зависимости от запроса-образца. Труды 9-ой Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» (RCDL’2007), том 1, c. 195-200, Октябрь 2007.
Askoy S., Haralick R. M. Textural features for image database retrieval. In Proc. of IEEE Workshop on Content-Based Access of Image and Video Libraries, in conjunction with CVRP’98, p. 45-49, Santa-Barbara, CA, June 1998.
Lee J. H. Analyses of multiple evidence com¬bination. SIGIR '97: Proceedings of the 20th annual international ACM SIGIR conference on Research and development in in¬formation retrieval, New York, NY, USA: ACM Press, p. 267-276, 1997.
Loncaric S. A survey of shape analysis techniques. Pattern Recognition, 31(8), p. 983-1001, 1998.
Manjunath B.S., Ma W.Y. Texture features for browsing and retrieval of image data. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18 (8), p. 837-842, 1996.
Rui Y., Huang T. S., Chang S. F. Image Retrieval: Current Techniques, Promising Directions, and Open Issues. JVCIR, Vol. 10, No. 1, p. 39-62, March 1999.
Shuang F. Shape Representation and Retrieval Using Distance Histograms. Technical Report TR 01-14, Department of Computing Science, University of Alberta, Edmonton, Alberta, Canada, October 2001.
Stricker M., Orengo M. Similarity of Color Images. Proceedings of the SPIE Conference, Vol. 2420, p. 381-392, 1995.
Swain M.J., Ballard D. H. Color Indexing. International Journal of Computer Vision, Vol. 7(1), p. 11-32, 1991.
Tamura H., Mori S., Yamawaki T. Textural features corresponding to visual perception. IEEE Trans on Systems, Man and Cybernetics 8, p. 460-472, 1978.