Проблематика поиска изображений по их содержимому
и подходы к её разрешению

УДК 004.93

Проблематика поиска изображений по их содержимому и подходы к её разрешению

О. А. Серёженко, аспирант кафедры программной инженерии им. Л. П. Фельдмана, Донецкий национальный технический университет, seryozhenko-94@mail.ru

С. А. Зори, д.т.н., проф. кафедры программной инженерии им. Л. П. Фельдмана, Донецкий национальный технический университет, ik.ivt.rec@mail.ru

Аннотация

Выполнен обзор подходов к организации поиска изображений по их визуальному содержимому (CBIR), рассмотрены основные типы признаков (цвет, текстура, форма), используемые в качестве дескрипторов, и методы их извлечения. Проанализированы преимущества и ограничения комбинированных гистограмм, интеграции нескольких видов признаков, а также нейросетевых подходов на основе свёрточных нейронных сетей. Сформулированы нерешённые проблемы, связанные с семантическим и сенсорным разрывами, и обозначены приоритетные направления дальнейших исследований. :contentReference[oaicite:0]{index=0}

Ключевые слова: CBIR, дескриптор, гистограмма, признаки изображения, цвет, текстура, форма, свёрточная нейронная сеть.

Введение

Массовый рост объёма цифровых изображений в интернете и корпоративных хранилищах приводит к необходимости создавать системы, способные не только хранить графические данные, но и обеспечивать быстрый и точный поиск по визуальному содержимому. Классические подходы, опирающиеся на текстовые описания, оказываются недостаточными: пользователь далеко не всегда может корректно описать изображение словами, а текстовая аннотация часто неполна или отсутствует.

Технология CBIR (Content-Based Image Retrieval) предполагает, что поиск выполняется по набору визуальных признаков изображения: цвету, текстуре, форме, пространственному расположению элементов. При этом возникает целый ряд проблем: от выбора информативных дескрипторов и построения метрик сходства до преодоления так называемого семантического разрыва — несоответствия между низкоуровневыми признаками и высокоуровневым смыслом изображения.

Цель работы — систематизировать существующие методы поиска изображений по содержимому, выделить их сильные и слабые стороны, а также определить направления развития алгоритмов и архитектур CBIR-систем.

Анализ литературных источников по проблематике CBIR

В ряде работ рассматриваются различные комбинации цветовых, текстурных и формальных признаков, а также способы ускорения поиска в больших базах изображений. Предлагаются варианты нормализации векторов признаков и методы поиска ближайших соседей, использование распределённых вычислительных платформ (Spark, MapReduce), схем логирования и хранения признаков для работы в динамической среде, а также применение «мягких» вычислений и машинного обучения для уменьшения семантического разрыва.

Значительная часть исследований посвящена интеграции нескольких типов дескрипторов в единый вектор признаков или каскадному/параллельному применению различных дескрипторов. Отдельное внимание уделяется вопросам выбора цветового пространства, способов квантования цвета, методам анализа текстур и форм, а также влиянию размерности признакового пространства на быстродействие системы.

Поиск изображений по содержимому на основе комбинированной гистограммы

Эксперименты показывают, что ключевую роль для человеческого восприятия изображения играют цвет и ориентация краёв. На этом основаны методы, использующие комбинированные гистограммы, в которых информация о цвете и градиентных направлениях объединяется в единый дескриптор.

В качестве цветового пространства часто используется HSV, поскольку оно ближе к восприятию цвета человеком и при равномерном квантовании даёт меньше случаев, когда близкие оттенки попадают в разные ячейки гистограммы. Цветовое изображение переводится в HSV, компоненты тона, насыщенности и яркости квантируются, после чего на основе градиента (например, с использованием оператора Собеля) вычисляются ориентации краёв. Итоговая комбинированная гистограмма содержит распределение по цвету и направлению границ, обеспечивая более устойчивое представление содержимого.

Поиск изображений на основе цвета, текстуры и формы

Для повышения качества поиска целесообразно использовать несколько групп признаков: цветовые, текстурные и признаковые описания формы. При этом возможны разные схемы объединения: от простого конкатенирования дескрипторов до каскадного отбора и взвешенных линейных комбинаций оценок сходства.

Цветовые признаки

Цветовые дескрипторы могут быть глобальными (характеризуют изображение целиком) и локальными (учитывают пространственное распределение цветов). В литературе выделяют несколько распространённых методов:

Текстурные признаки

Текстура отражает регулярность, направленность, «шероховатость» поверхности, и является важным источником информации о структуре объектов. Среди методов анализа текстуры рассматриваются признаки Тамуры, вейвлет-преобразование и вейвлет-преобразование Габора.

Признаки формы

Форма объектов служит важным ключом к их распознаванию. Дескрипторы формы делят на контурные и областные. В статье рассматриваются геометрические и алгебраические моменты, а также дескрипторы Фурье.

Сопоставление рассмотренных методов показывает, что перспективной комбинацией для CBIR является совместное использование матриц совпадения цветов, Габор-преобразования для текстур и областных дескрипторов Фурье для формы.

Поиск изображений по содержимому с использованием нейросетей

Традиционные методы на основе низкоуровневых признаков страдают от семантического разрыва: близкие по вектору признаков изображения могут иметь различный смысл, и наоборот. В последние годы активно развиваются подходы, основанные на свёрточных нейронных сетях (CNN), позволяющих строить более «семантичные» представления изображений.

Свёрточная нейронная сеть представляет собой последовательность слоёв свёртки и подвыборки, в которых на разных уровнях выделяются контуры, текстуры, более сложные фрагменты и, в итоге, высокоуровневые признаки сцены. Для задач CBIR часто используют предварительно обученные модели (например, AlexNet), в которых выходы полносвязных слоёв применяются в качестве векторов признаков для дальнейшего поиска по сходству.

Вместе с тем нейросетевые методы имеют и ограничения: как правило, используется равномерное преобразование карты признаков в один вектор, без явной локализации интересующих областей. Это может приводить к тому, что нерелевантные участки изображения «зашумляют» представление, а важные детали теряются. Поэтому актуальны исследования механизмов внимания и взвешивания локальных признаков, позволяющих фокусироваться на значимых областях.

Заключение

Рассмотрены три ключевых направления построения систем поиска изображений по содержимому: методы на основе комбинированных гистограмм, интеграция цветовых, текстурных и формальных признаков, а также подходы, использующие свёрточные нейронные сети. Показано, что каждая из групп методов имеет свои сильные стороны и недостатки — от потерь точности при цветовых преобразованиях до вычислительной сложности и риска потерь релевантной информации в нейросетевых моделях.

Сделан вывод, что проблема поиска изображений по содержимому остаётся актуальной и требует дальнейших исследований. В перспективе планируется экспериментальное сравнение точности и быстродействия наиболее перспективных методов (матрицы совпадения цветов, вейвлет-преобразование Габора, дескрипторы Фурье и различные архитектуры свёрточных нейронных сетей), а также подбор репрезентативных наборов изображений для оценки качества комбинированных решений.

Литература

1. Alhassan A.K., Alfaki A.A. Fusion-Based Method for Content Based Image Retrieval // ICCCCEE, 2017.
2. Singh V.S., Srivastava S., Srivastava R. An efficient image retrieval based on fusion of fast features and query image classification // International Journal of Rough Sets and Data Analysis. 2017. Vol. 4(1). P. 19–37.
3. Zhe-Ming L., Burkhardt H., Boehmer S. Fast content-based image retrieval based on equal-average k-nearest-neighbor search schemes // Pacific-Rim Conference on Multimedia. Springer, 2006. P. 167–174.
4. Mezzoudj S., Rachid S., Yassmina S. A Parallel Content-Based Image Retrieval System Using Spark and Tachyon Frameworks // Journal of King Saud University – Computer and Information Sciences. 2019. Vol. 33(1). P. 1–9.
5. Enescu F.M., Ştirbu C., Liţă A.I. Image search algorithms // 2015 7th International Conference on Electronics, Computers and Artificial Intelligence (ECAI). 2015. P. 35–40.
6. Ladjel B., Patrick V., Tadeusz M. Advances in Databases and Information Systems. Springer, 2021.
7. Lingxi X., Jingdong W., Bo Z., Qi T. Fine-Grained Image Search // IEEE Transactions on Multimedia. 2015. Vol. 17(5). P. 636–647.
8. Smelyakov K. et al. Search by Image. New Search Engine Service Model // INFOCOMMST 2018.
9. Yasmin M., Sharif M., Irum I., Mohsin S. An Efficient Content Based Image Retrieval using EI Classification and Color Features // Journal of Applied Research and Technology. 2014. Vol. 12(5). P. 877–885.
10. Ulape S.B., Takale S.A. Representative and Diverse Image Set Gathering for Geographic Area and its Surrounding Region // International Journal of Advanced Computer Research. 2014. Vol. 4(15). P. 549–554.
11. Choudhary R. et al. An integrated approach to Content Based Image Retrieval // ICACCI 2014. P. 2404–2410.
12. Liang C.W., Chung W.Y. Color feature extraction and selection for image retrieval // ICAMSE 2016. P. 589–592.
13. Li M., Xiuhua J. An Improved Algorithm Based on Color Feature Extraction for Image Retrieval // IHMSC 2016. P. 281–285.
14. Anandh A., Mala K., Suganya S. Content based image retrieval system based on semantic information using color, texture and shape features // ICCTIDE 2016. P. 1–8.
15. Rezaei M., Ahmadi A., Naderi N. Content-based image retrieval using Mix histogram. arXiv:1909.09722.
16. Gupta D., Choubey S. Discrete Wavelet Transform for Image Processing // Int. Journal of Emerging Technology and Advanced Engineering. March 2015.
17. Patel J.M., Gamit N.C. A review on feature extraction techniques in Content Based Image Retrieval // WiSPNET 2016. P. 2259–2263.
18. Chadha A., Mallik S., Johar R. Comparative Study and Optimization of Feature-Extraction Techniques for Content Based Image Retrieval // International Journal of Computer Applications. 2012. Vol. 52(20).

Annotation

Seryozhenko O.A., Zori S.A. The problems of content-based image search and approaches to their solution. The article provides an overview of content-based image retrieval (CBIR) methods and analyzes descriptors based on color, texture and shape, as well as convolutional neural network approaches. The authors discuss semantic and sensory gaps between low-level features and high-level image semantics, perform a comparative analysis of existing algorithms and outline priority directions for further research and improvement of CBIR systems.

Key words: CBIR, descriptor, histogram, image features, color, texture, shape, convolutional neural network.