Аннотация
Рассматриваются объективные критерии качества для оценки отличия изображений. Рассматривается процесс сравнения двух изображений, который отвечает на вопрос о сходстве содержания изображений.
Вступление
Необходимость хранения и передачи огромных объёмов информации в современных компьютерах и системах связи обусловливает применение сжатия данных во многих областях, от медицины до космонавтики. Сжатием данных называется процесс обработки, направленный на уменьшение их объёма. За последнее время было разработано большое количество эффективных методов сжатия с потерями и без потерь, обладающих рядом совершенно разных свойств [1]. Оценка способов сжатия без потерь обычно является относительно простой задачей, для решения которой используется ряд стандартных критериев (степень сжатия, скорость выполнения и др.).
Одним из способов достижения эффективного сжатия является потеря некоторого количества информации. Однако она должна происходить избирательно, и основным принципом является потеря той части информации, к которой зрительное восприятие человека наименее чувствительно. Это требует точного знания цветов, их представления и восприятия человеком.
Основную проблему при оценке качества изображений, сжатых с помощью методов сжатия с потерями, представляет сложность описания типа и степени ухудшения качества восстановленных изображений. Из-за свойственных субъективным критериям недостатков особый интерес представляет разработка количественных, объективных критериев, как численных, так и графических, которые можно использовать вместо субъективных оценок. Такая методика необходима не только для оценки качества изображения, полученного в результате выполнения определённого алгоритма, но и для сравнения результатов работы разных алгоритмов, цифровых фильтров и т.д.
Критерии оценивания качества изображений
Везде считается, что изображение задается таблицей чисел состоящей из M строк и N столбцов. Каждое число в данной таблице описывает один пиксел, который представляется K битами. Во всех рассматриваемых здесь критериях сравнения степень близости изображений определяется числом, которое некоторым образом вычисляется поданнымизображениям. Для расчета оценок отличия изображений можно использовать следующие объективные критерии качества:
1. Среднеквадратическая ошибка (mean square error) или средний квадрат ошибок (1).
Среднеквадратическая ошибка (СКО) весьма ненадёжна, т.к. не соответствует системе визуального восприятия человека (human visual system, HVS). Следует отметить, что значение СКО может незначительно изменяться при существенном ухудшении субъективно воспринимаемого качества сжатого изображения. Поэтому СКО, так же как и пиковое отношение сигнал/шум (PSNR), не может быть взято за основу при построении оптимальных с визуальной точки зрения систем преобразования изображений с целью их сжатия.
2. Средняя абсолютная ошибка (mean absolute error)
3. Нормированная среднеквадратическая ошибка (normalized MSE)
4. Нормированная абсолютная ошибка (normalized absolute error)
5. Отношение сигнал/шум (signal to noise ratio)
Использование логарифмов сглаживает MSE и делает ее менее чувствительной к малым изменениям восстановляемого изображения.
6. Пиковое отношение сигнал/шум (peak signal to noise ratio)
На практике используется модификация меры MSE и называется PSNR (peak of signal-to-noise ratio). PSNR чаще других параметров применяется для оценки сходства между исходным и восстановленным изображениями.
По сравнению с MSE данная мера хороша тем, что исчисляется в логарифмической шкале по амплитуде (в децибелах). Это важно, так как глаз воспринимает сигнал также в логарифмической шкале по амплитуде и поэтому усиление амплитуды сигнала в два раза не означает для человека улучшения качества изображения во столько же раз.
где b – число бит на значение пикселя изображения.
Одним из недостатков данной меры является высокая чувствительность к среднему отличию сигналов по амплитуде, что может привести к ошибочному результату, в случае, когда сигналы немного отличаются в среднем по амплитуде. Физиология зрения и психология восприятия изображения человека настолько сложны, что до сих пор не существует способа математического расчета степени визуальной схожести двух изображений.
Необходимо отметить, что значение PSNR не может в полной мере отражать воздействие на изображение различных видов помех, т.е. при наличии в изображении разныхвидовшумовегозначениеможетоставатьсяпостоянным, акачествоизображения существенно изменяться.
Особое внимание следует уделять углублённому анализу зрительного восприятия человека. Его невозможно измерить с помощью существующих инструментов, однако применение даже упрощённой модели зрительного восприятия при разработке объективных критериев, по мнению специалистов, значительно улучшает их корреляцию с оценками наблюдателей [2].
7. Средняя разность (average difference)
8. Максимальная разность (maximum difference)
9. Структурное содержимое (structural content)
Сравнение изображений
Процесс сравнения двух изображений в идеале должен отвечать на вопрос о сходстве содержания изображений. Содержат ли сравниваемые изображения одни и те же объекты с точностью до изменения ракурса съемки и перемещений камеры, изменения освещенности или масштаба объектов и т.д.
Важность для человека цветового восприятия изображения объясняет значение методов поиска визуальной информации на основании схожести с образцом по цветовым характеристикам.
Метод цветовых гистограмм – наиболее популярный из них. Возможно также использование таких показателей, как средний или основной цвета, а также множества цветов; эти характеристики имеет смысл использовать для локального индексирования областей изображения [3].
Идея метода цветовых гистограмм для индексирования и сравнения изображений сводится к следующему. Все множество цветов разбивается на набор непересекающихся, полностьюпокрывающихегоподмножеств. Для изображения формируется гистограмма, отражающая долю каждого подмножества цветов в цветовой гамме изображения. Для сравнения гистограмм вводится понятие расстояния между ними.
При разбиении RGB-цветов по яркости вычисляется интенсивность каждого цвета на основании его красной, синей и зеленой составляющих. Полученное значение, заключенное между числами 0 и 255, попадает в один из 16 интервалов, на которые разбивается диапазон возможных значений.В качестве расстояния между гистограммами используется сумма модулей разности соответствующих элементов гистограмм; некоторое усовершенствование метода достигается при вычислении расстояния на основании поэлементного сравнения гистограмм с учетом соседних элементов. Этот метод наиболее эффективен для черно-белых полутоновых изображений.
Для цветных RGB-изображений лучшие результаты дает другой способ– разбиение RGB-цветов по прямоугольным параллелепипедам. Цветовое RGB-пространство рассматривается как трехмерный куб, каждая ось которого соответствует одному из трех основных цветов (красному, зеленому или синему), деления на осях пронумерованы от 0 до 255 (большее значение соответствует большей интенсивности цвета). При таком рассмотрении любой цвет RGB-изображения может быть представлен точкой куба. Для построения цветовой гистограммы каждая сторона делится на 4 равных интервала, соответственно RGB-куб делится на 64 прямоугольных параллелепипеда. Гистограмма изображения отражает распределение точек RGB-пространства, соответствующих цветам пикселей изображения, по параллелепипедам. В качестве расстояния между гистограммами используется покомпонентная сумма модулей разности между ними. Несмотря на предельную простоту подхода, он показывает довольно стабильные результаты.
Основным недостатком метода цветовых гистограмм является то, что он теряет информацию о пространственном расположении объектов. Абсолютно разные картинки могут иметь сходные цветовые гистограммы. Например, изображение осенней листвы может содержать много небольших пятен красного цвета. Это даст сходную цветовую гистограмму с изображением большого красного объекта [3].
Дальнейшим развитием метода цветовых диаграмм стал метод когерентных цветовых векторов (color coherent vectors, CCV).
Когерентность определяется как мера принадлежности пикселей заданного цвета к достаточно крупным областям заданного цвета. Общее представление об этой идее показывает пара изображений, причем второе получено разрезанием и перемещением частей первого. Поэтому цветовые гистограммы этих изображений будут абсолютно идентичными. А вот площадь слитных областей одного цвета будет различной [4].
Каждый пиксель изображения необходимо классифицировать и определить, относится ли он к когерентной области или к некогерентной. Общая последовательность расчета вектора когерентных цветов для изображения будет следующей.
Шаг 1. Масштабируем изображение до некоторого стандартного размера w*w пикселей.
Шаг 2.Производим усреднение изображения путем нанесения гауссова шума.
Шаг 3. Уменьшаем количество цветов изображения до некоторого значения N.
Шаг 4. Необходимо классифицировать отдельные области изображения, имеющие общий цвет, объединив их в т.н. корзины (buckets). Если у пикселя в любом из восьми доступных направлений (в т.ч. и диагональных направлениях) имеется пиксель того же цвета, то эти пиксели объединяются в общую группу и помечаются общей числовой меткой.
Шаг 5. Задаем минимальную длину τ корзины, содержащую когерентную область.
Шаг 6. Для каждого цвета определяем количество пикселей, принадлежащих к когерентным (αi) и некогерентным (βi) корзинам. Таким образом, для заданного изображения вычисляется вектор значений когерентных цветов следующего вида: {Ci, (αi , βi )}, где Ci – цвет пикселей, αi , βi – количество соответственно когерентных и некогерентных пикселей. Очевидно, что теперь в качестве частного случая легко получить и данные для метода цветовых гистограмм, так как αi + βi равняется общему числу пикселей указанного цвета [4].
Расстояние между двумя изображениями для метода цветовых гистограмм определяется как:
Для метода когерентных цветовых векторов по выражению:
Заключение
Были рассмотрены наиболее распространенные критерии оценки качества изображений, что применяются не только для оценки качества изображения, полученного в результате выполнения определённого алгоритма, но и для сравнения результатов работы разных алгоритмов, цифровых фильтров и т.д. Также рассмотрены методы для сравнения сходства объектов изображений.
Перечень источников
[1] Eskicioglu A.M., Fisher P. Image Quality Measures and Their Performance. IEEE Trans. on Comm. Vol. 43. No. 12. Dec. 1995. P. 29–59.
[2] Roorda A. Human visual system – image formation. University of Houston College of Optometry. Houston, TX. EIST. P. 539–557.
[3] Carson, C. and Ogle, V.E., Storage and Retrieval of Feature Data for a Very Large Online Image Collection. 1996. http://elib.cs.berkeley.edu/papers/
[4] Greg Pass, Ramin Zabih, Justin Miller. Comparing Images Using Color Coherence Vectors // Computer Science Department. Cornell University. Ithaca, NY 14853