Аннотация
В статье рассматривается актуальная задача оценки субъективного качества цифровых мультимедийных изображений на основе использования совокупности значений известных количественных метрик качества цифровых снимков. В работе проанализированы существующие количественные (объективные) и субъективные методы оценки качества мультимедийных изображений. Рассмотрена связь субъективных и объективных метрик оценки качества мультимедийных изображений. Проведены экспериментальные исследования метрик на изображениях формата JPEG с различной степенью компрессии. Получено математическое выражение для определения субъективной оценки качества цифровых мультимедийных изображений формата JPEG с использованием совокупности значений объективных оценок без использования классической экспертной оценки. Разработанный подход к оценке качества цифровых изображений позволяет прогнозировать качество визуального восприятия сжатого по методу JPEG цифрового мультимедийного изображения, используя только значение полученного в ходе компрессии коэффициента сжатия.
Ключевые слова:
оценка качества изображений, метрики качества изображений, сжатие изображений.
Введение. Последние несколько десятилетий характеризуются резким ростом использования мультимедийных изображений: доступные цифровые камеромодули, цифровые охранные системы видеонаблюдения, обмен фотографиями через сеть Интернет, восстановление поврежденных изображений, выделение и удаление посторонних шумов на изображениях, задачи сжатия цифровых изображений для передачи по каналам связи с ограниченной пропускной способностью т.д.
Таким образом, возникает необходимость разрабатывать и применять различные эффективные алгоритмы сжатия изображений с целью экономии места на физических носителях информации и снижения требований к используемым каналам связи.
При создании нового или доработки уже существующего алгоритма обработки (в частности сжатия) цифровых изображений изображений встает вопрос оценки эффективности его работы, которая характеризуется качеством изображения, обработанным этим алгоритмом. Хотя в области обработки изображений достигнуты большие успехи, существует ряд нерешенных до конца проблем, одной из которых является проблема адекватной оценки качества изображений [1]. Алгоритмы (метрики) оценки качества изображения делятся на две категории, субъективную и количественную [2].
Самым адекватным и востребованным способом получения оценки качества среди исследователей и разработчиков в области обработки и сжатия цифровых изображений является использование экспертного подхода MOS (Mean Opinion Score), относящегося к субъективным методам оценки [3]. Применение этого метода требует большого количества экспертов, времени, материальных затрат и т.д., что особенно остро проявляется при большом количестве оцениваемых изображений [4, 5].
Одним из способов снижения влияния этих недостатков, является применении количественных (объективных, математических) оценок (метрик) не требующих участия экспертов в процессе оценки [6]. При этом используются различные математические алгоритмы, предоставляющие пользователю конечный результат.
Целью работы является обоснование алгоритма получения объективной оценки качества мультимедийных изображений с использованием комбинации количественных метрик, результаты которого высоко коррелированы с субъективной оценкой.
Субъективные критерии оценки качества изображений.
Субъективные метрики используют особенности человеческого зрения. Эти метрики описаны в стандарте ITU-R BT.500-11 [5].
SSCQE (Single-Stimulus Continuous Quality Evaluation) – непрерывная оценка качества в ходе единственного просмотра. Наблюдателю демонстрируется несколько изображений. Количество искажений в этих изображениях может быть различным. Оценки выставляются в пределах от 0 (за худшее качество) до 1 (за лучшее качество). Оценка выставляется только один раз и в дальнейшем не может быть изменена.
DSIS (Double Stimulus Impairment Scale) – попарная оценка ухудшения качества снимков. Наблюдателю предлагается сравнить два изображения – искаженное и оригинальное. Длительность теста – 8 секунд. Наблюдатель оценивает визуальные искажения по пятибалльной шкале. Максимальный балл 5 – соответствует незаметным искажениям, средний балл 3 – искажения мешают смотреть, минимальный 1 – изображение просматривать невозможно.
DSCQS (Double Stimulus Continuous Quality Scale) – непрерывная оценка качества по результатам двух просмотров. Этот метод, основанный на двух ранее описанных метриках. Качество изображений оценивается так же, как в методике DSIS.
Отличительной особенностью является то, что изображения воспроизводятся в псевдослучайном порядке, а затем повторяются. По окончании просмотра наблюдателю дается некоторое время для выставления оценки.
Методика оценивания также пятибалльная: 5 – превосходное качество, 4 – хорошее качество, 3 – удовлетворительное качество, 2 – плохое, 1 – очень плохое качество. Наблюдатель записывает выставленную оценку в специальный бланк или заносит данные в специализированную программу. Затем все оценки усредняются и преобразуются в стандартную шкалу (от 0 до 100).
Исходя из проведенного анализа, в данной работе предложено использовать субъективную оценку качества восстановленных изображений по методу DSIS, поскольку он относительно просто реализуем и интуитивно понятен экспертам.
Объективные критерии оценки качества изображений.
В различных работах описано достаточно большое количество объективных оценок качества мультимедийных изображений, которые можно условно разделить на три класса [6-8]:
- - эталонные, которые требуют наличия некоторого неискаженного изображения, которое принимается за эталонное изображение при сравнении, т.к. предполагается, что оно не подвергалось воздействию шумов и обладает идеальным визуальным качеством восприятия;
- - неэталонные, которые используют в процессе получения оценки качества визуального восприятия только текущее изображение. Как правило, такие метрики используют сложный математический и статистический аппарат и являются узкоспециализированными для конретных типов искажений;
- - псевдоэталонные, которые основываются на том, что некоторую часть информации о неискаженном изображении можно получить из зашумленного изображения, причем этой информации значительно меньше, чем требуется для эталонного сравнения.
Основным недостатком объективных (количественных) метрик, является их слабая коррелированность с субъективными оценками. Поскольку указанные классы объективных метрик никак не учитывают особенности восприятия зрительного аппарата человека.
Постановка задачи. Наиболее применяемыми количественными метриками на сегодняшний день являются [8-10]:
Maximum Difference (MD) — максимальное отклонение:
где 
— пиксели оцениваемого и эталонного изображения, размера n*m пикселей. Данная метрика, крайне чувствительна к разбросу значений отдельных пикселов. При этом возможна ситуация, когда во всем анализируемом изображении может существенно измениться только значение одного пиксела, что практически незаметно для глаза, однако согласно этой метрике изображение будет сильно испорчено.
Mean Squared Error (MSE) — среднеквадратичное отклонение:
Указанная метрика качества изображения заключается в сравнении с чистым, эталонным изображением (без шума, вызванного различными действиями над изображением) и выражается коэффициентом ухудшения снимка в сравнении с идеальным изображением.
Здесь проблема заключается в том, что эталонное изображение само может быть искажённым (содержать шумы или другие искажения) и результат сравнения изображений в этом случае может быть недостоверным. Кроме этого возможна ситуация когда яркость изображения понизится на 5% и по данной метрике окажется, что изображение сильно испорчено, а глаз этого не заметит [6]. В тоже время изображения c импульсным шумом (резким изменением цвета отдельных точек), слабыми полосами или «муаром» будут оценены как «искаженные незначительно» [8].
Peak Signal-To-Noise Ratio (PSNR) —пиковое отношение сигнала к шуму. Критерий, по сути, аналогичен СКО, но пользоваться им за счет логарифмической шкалы, несколько удобнее.
Необходимо отметить, что значение PSNR не может в полной мере отражать воздействие на изображение различных видов помех, т.е. при наличии в изображении разных видов шумов его значение может оставаться постоянным, а качество изображения существенно изменяться [6,7].
Image Quality Index (IQI) — индекс качества изображения):
где: 
— среднее x; 
— среднее y; σ2x — СКО х; σ2y — СКО у; σ2xy — произведение σ2x и σ2y.
Наилучшее значение индекса достигается, если xij = yij , и принимает значение равное единице. Наихудший вариант происходит когда yij = 2x - xij.
Данный индекс качества рассматривает любые искажения как совокупность трех различных факторов: потеря корреляции, искажение яркости и искажение контрастности.
Первая компонента — это коэффициент корреляции между изображениями.
Вторая компонента определяет степень схожести яркостных составляющих двух изображений. Она принимает максимальное значение, когда = и σx = σx, т.е. изображения являются идентичными.
SSIM (англ. Structure Similarity — индекс структурного сходства) является одним из методов измерения схожести между двумя изображениями.
SSIM индекс это метод полного сопоставления, другими словами, он проводит измерение качества на основе исходного изображения (не сжатого или без искажений). SSIM индекс является развитием традиционных методов, таких как PSNR и MSE.
Идея метрики заключается в том, что пиксели имеют сильную взаимосвязь, особенно когда они близки пространственно. Данные зависимости несут важную информацию о структуре объектов и о сцене в целом.
SSIM метрика рассчитана на различные размеры окна. Разница между двумя окнами х и y имеющими одинаковый размер N*N имеет вид:
где μx — среднее x; μy — среднее y; σ2x — дисперсия x; σ2y — дисперсия y; σ2xy — ковариация x и y; c1=(k1L)2, c2=(k2L)2 две переменных; L динамический диапазон пикселей (обычно 2bits per pixel-1) ; k1 = 0.01 и k2 = 0.03 константы.
Приведённая формула применима только для яркости изображения, по которой и происходит оценка качества. Максимальное значение достигается только при полной аутентичности образцов.
Как правило, метрика рассчитана на окно размером 8x8. Окно может смещаться через пиксель, но рекомендуется использовать группы окон для уменьшения сложности вычислений.
Таким образом, все известные метрики объективной оценки качества восстановленных цифровых изображений слабо коррелированы с визуальным восприятием зрительной системы человека. Однако каждая из них в отдельности обладает определенными особенностями, которые свойственны зрительной системе человека.
В связи с этим возникает задача разработки комбинированного критерия качества цифровых изображений, который соответствующим образом учитывает вклад каждой из объективных метрик.
Для обоснования алгоритма получения объективной оценки качества мультимедийных изображений, с использованием комбинации вышеперечисленных метрик, результаты которого будут высоко коррелированны с субъективной оценкой, необходимо экспериментально определить, какие из метрик наиболее точно соответствуют субъективной оценке, а также определить метрики и весовые коэффициенты согласно выражению:
где: An — искомые метрики αn — соответствующие им весовые коэффициенты, M — оценка качества в баллах. С учетом формул (1)…(5) выражение (6) перепишется в виде:
Экспериментальные исследования
На рисунке 1 представлена блок-схема проведения экспериментальных исследований:
Рисунок 1 – Блок-схема эксперимента
Исходными данными для эксперимента являются цветные 24-х битные изображения размером 800х600 пикселей. Данные изображения, сжимаются с помощью кодека JPEG, с качеством восстановленного изображения 
(рисунок 2).
Рисунок 2 – а) исходное изображение, б) сжатое изображение (качество 30)
Данная операция позволяет получить массивы изображений с различным визуальным качеством.
Далее, исходное (не искаженное) и сжатое кодеком JPEG изображения поступают в блок объективного оценивания качества (БООК), в котором по формулам (1)…(5) производится расчет объективных метрик. Одновременно с этим блок субъективного оценивания качества (БСОК) обеспечивает получение субъективной оценки качества по методике DSIS [5]. БСОК и БООК передают данные в блок сбора статистики. Он необходим для получения большого массива данных для исследований и их статистической обработки, с целью получения достоверных результатов исследования.
В результате экспериментальных исследований были получены зависимости результатов объективных метрик Mk от качества изображений Qu, сжатых по методу JPEG (рисунок 3).
Рисунок 3 – Сравнение метрик
Исследуя полученные зависимости на коррелированность (по коэффициенту корреляции) с субъективными оценками, сделан вывод о том, что метрики PSNR, IQI, SSIM( RMSE = 90,47%, RMD = 90,94%, RPSNR = 93,23%, RIQI = 93,51%; RSSIM = 94,94% ) являются наиболее подходящими для аппроксимации экспертной оценки. Исходя из этого, выражение (7) примет вид:
Исследование выражения 8, показали, что метрикам соответствуют следующие весовые коэффициенты: α1 = 0,63; α2 = 0,27; α3 = 0,1; , обеспечивающие СКО аппроксимации в 4,53% и коэффициент корреляции в 99,68% (рисунок 4), что является приемлемыми показателями.
Подставляя в (8) эти данные, получим конечное выражение:
Рисунок 4 – Результаты аппроксимации по формуле (8)
Таким образом, используя зависимость (рисунок 4), для определения качества изображения формата jpeg, достаточно только сжатого изображения, что значительно упрошает и ускоряет процесс получения субъективной экспертной оценки.
С помошью формулы (9), была полученна зависимость баллов субъективной экспертной оценки качества изображения от коэффициента сжатия Kc (рисунок 5).
Используя данную зависимость (рисунок 5), возможен адаптивный выбор параметров сжатия jpeg, с целью определения максимального значения коэффийиента сжатия для конкретного изображения, при котором потерянная в процессе сжатия инфорация не будет оказывать существенного влияния на визуально воспринимаемое качество сжимаемого изображения.
Рисунок 5 – Зависимость баллов экспертной оценки от коэффициента сжатия
Кроме того, предложенный алгоритм объективной оценки качества, описываемый выражениями (7) и (9) применим для определения оценки качества большинства известных алгоритмов сжатия, при повторении описанной выше процедуры аппроксимации.
Выводы. Обоснован алгоритм получения объективной оценки качества мультимедийных изображений, с использованием комбинации метрик IQI, PSNR, SSIM, применимый для большинства современных форматов представления мультимедийных изображений, результаты которого будут высоко коррелированы с субъективной оценкой качества изображения.
Список литературы
1. Сидоров Д.В., Осокин А.Н., Марков Н.Г. Оценка качества изображений с использованием вейвлетов // Известия Томского политехнического университета. 2009. - Т.315. № 5. – С. 104 - 107.
2. Косткин И.В., Пушкин В.А., Лоцманов А.А., Корсуков И.Д. Алгоритм улучшения качества подводных изображений //Вестник РГРТУ 2012 (выпуск 40) №2 С40-478с.
3. Монич Ю.И., Старовойтов В.В. Оценки качества для анализа цифровых изображений //«Искусственный интеллект». 2008. - №4. – С. 376 - 385.
4. ГОСТ 26320-84 «Оборудование телевизионное студийное и внестудийное. Методы субъективной оценки качества цветных телевизионных изображений»
5. RECOMMENDATION ITU-R BT.500-11 Methodology for the subjective assessment of the quality of television pictures
6. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. - М.: ДИАЛОГ-МИФИ, 2002. – 354 с.
7. Ватолин Д. Программный продукт оценки качества восстановленного изображения MSU Quality Measure (Электронный ресурс). – режим доступа http/compression.ru/video/quality_measure/video_measurement_tool.html. – 20.01.2015
8. Wing Z., Bovik А.С. Modern image quality assessment. - N.Y.: Morgan & Claypool, 2006. -
157 p.
9. Chandler D.M., Hemami S.S. VS NR: A Wavelet-Based Visual Signal-to-Noise Ratio for
Natural Images (Электронный pеccypc - режим доступа: http://foulard.ece.cornell.edu/dmc27/vsnr/vsnr.html
10. Смирнов Д.В. К вопросу оценки качества множества восстановленных изображений. - М.: СИНЕРГИЯ, Часть сборника «Прикладная информатика» №4 (16), 2008.
11. Штойер Р. Многокритериальная оптимизация: теория, вычисления и приложения: пер. с англ./ под ред. А.В. Лотова. – М.: Радио и связь, 1992. – 504с