Назад
Источник: Mustafa, W. A., Yazid, H., Jaafar, M., Zainal, M., Abdul-Nasir, A. S., Mazlan, N. A review of image quality assessment (iqa): Snr, gcf, ad, nae, psnr, me //Journal of advanced research in computing and applications. – 2017. – Т. 7. – №. 1. – Perlis: Universiti Malaysia Perlis, 2023. – P. 1-7. – EDN APLWAN.

Обзор оценки качества изображения (IQA): SNR, GCF, AD, NAE, PSNR, ME

Авторы: Ван Азани Мустафа, Ханиза Язид, Мастура Джаафар, Мустафа Зайнал, Айми Салиха АбдулНасир, Норатика Мазиан

АННОТАЦИЯ

Ключевые слова: Отношение сигнал-шум, Пиковое отношение сигнал-шум, Глобальный фактор контрастности, IQA

Оценка качества изображения (IQA) - это объективный способ измерения визуального качества изображения, и она играет crucial роль во многих методах обработки изображений. В последнее время было предложено множество методов IQA, основанных на их собственном направлении и применении. В этом исследовании были рассмотрены некоторые выбранные IQA, такие как отношение сигнал-шум (SNR), пиковое отношение сигнал-шум (PSNR) и другие. Основная цель - изучить и исследовать функцию и математическое уравнение для каждого IQA, которые влияют на неоднородные изображения. Результаты этого обзора помогут исследователям узнать и применить их в своих исследованиях.

1. Введение

Измерение качества сжатия изображений важно для приложений обработки изображений [1–2]. В последние годы было разработано большое количество подходов для измерения перцептивного качества изображений [3–5]. Объективные методы оценки перцептивного качества изображений традиционно пытались количественно определить видимость ошибок (различий) между искаженным изображением и эталонным изображением, используя различные известные свойства человеческой зрительной системы. Объективная метрика качества изображения может играть различные роли в приложениях обработки изображений. Во-первых, она может использоваться для динамического мониторинга и регулирования качества изображения. Например, сетевой сервер цифрового видео может проверять качество передаваемого видео, чтобы контролировать и распределять ресурсы потоковой передачи. Во-вторых, она может использоваться для оптимизации алгоритмов и параметров систем обработки изображений. Например, в системе визуальной связи метрика качества может помочь в оптимальном проектировании алгоритмов предварительной фильтрации и распределения битов на кодировщике и оптимального восстановления, сокрытия ошибок и постредактирования на декодере. В-третьих, она может использоваться для тестирования систем и алгоритмов обработки изображений [6].

В этой статье рассчитываются шесть типов IQA: отношение сигнал-шум (SNR), пиковое отношение сигнал-шум (PSNR), глобальный фактор контрастности (GCF), нормализованная абсолютная ошибка (NAE), средняя разность (AD) и ошибка классификации (ME). Основная цель этого обзора - изучить влияние каждого IQA на тестовые изображения. Остальная часть статьи структурирована следующим образом: раздел 2.0 обсуждает обзор литературы. Раздел 3.0 объясняет некоторые детали техники IQA, а раздел 4.0 представляет пример исследования. Наконец, раздел 5.0 описывает выводы этого исследования.

2. Обзор литературы

Оценка качества изображения (IQA) имеет crucial значение в обработке и анализе изображений на практике. В 2012 году Хэ и др. предложили универсальную слепую метрику оценки качества изображения (BIQA) на основе техники разреженного представления, известной как статистика разреженного представления естественных сцен (SRNSS) [7]. Этот метод включал несколько шагов: (1) извлечение признаков статистики естественных сцен (NSS), (2) обучение словаря, (3) разреженное представление и (4) количественная оценка качества изображения. На основе линейного коэффициента корреляции (LCC) в таблице 1 показан результат сравнения с другими методами оценки качества. Вышеупомянутые результаты согласуются с исследованием Миттала и др. [8]. Они также сосредоточились на подходе статистики естественных сцен. Однако этот подход более сложен, чем SRNSS [7], потому что используемые признаки выводятся из эмпирического распределения локально нормализованной яркости и произведений локально нормализованной яркости в рамках пространственной модели статистики естественных сцен. Производительность более эффективна по сравнению с PSNR и SSIM [6]. Слепой/безориентировочный оценщик пространственного качества изображения (BRISQUE) имеет очень низкую вычислительную сложность, что делает его хорошо подходящим для приложений реального времени.

Таблица 1. LCC различных метрик на других общедоступных базах данных.
База данных TID [9] CSIQ IVC MICT
PSNR 0.5643 0.8772 0.7192 0.6355
SSIM [6] 0.6387 0.8060 0.7924 0.7979
IFC [10] 0.5692 0.7482 0.8978 0.8387
VIF [11] 0.7496 0.9193 0.8966 0.9086
NSS [12] 0.2027 0.5667 0.4266 0.4541
BIQI [13] 0.4192 0.6601 0.5346 0.6853
BLINDS [14] 0.5086 0.7529 0.7013 0.7924
SRNSS [7] 0.7327 0.8157 0.7943 0.8094

В том же году Йе и Дэвид [15] исследовали BIQA на основе визуальных кодовых книг. Визуальная кодовая книга, состоящая из локальных признаков на основе фильтра Габора, извлеченных из локальных участков изображения, используется для захвата сложной статистики естественного изображения. Кодовая книга кодирует статистику путем квантования пространства признаков и накопления гистограмм появлений участков.

3. Методы измерения IQA

В общем, измерение качества изображения обычно можно классифицировать на две категории: субъективные и объективные измерения качества. Субъективные измерения качества, такие как средняя оценка мнений (MOS), являются действительно определяющими, но неудобными, занимают больше времени и дороги.

Поэтому были разработаны объективные измерения, такие как MSE, MAE, PSNR, SC, MD, LMSE и NAE, которые занимают меньше времени, чем MOS, но они не коррелируют хорошо с MOS [3]. В этой статье мы сосредоточимся только на объективных измерениях, таких как:

3.1 Отношение сигнал-шум (SNR)

SNR определяется как отношение среднего значения сигнала к стандартному отклонению значения сигнала [16–17]. Более высокое значение SNR показывает лучшее качество изображения, а низкое SNR указывает на определенную область слабости изображения относительно фонового шума [18–19]. Представляет входное изображение, а - стандартное отклонение изображения. Уравнение следующее:

SNR = 10 log10 [ Mean I(x,y) / Std I(x,y) ]

3.2 Пиковое отношение сигнал-шум (PSNR)

Термин пиковое отношение сигнал-шум (PSNR) - это выражение для отношения между максимальной интенсивностью изображения и искажающим шумом, который влияет на качество его представления. PSNR обычно выражается в логарифмической децибельной шкале. Чем больше PSNR, тем лучше визуальное качество восстановленного изображения [20–21].

PSNR = 10log10 [ (2n - 1)2 / MSE ]

3.3 Глобальный фактор контрастности (GCF)

Недавно введенный глобальный фактор контрастности (GCF) ближе к человеческому восприятию контраста путем вычисления локального контраста на различных пространственных частотах и использования этих локальных контрастов для вычисления глобального фактора контрастности. Более низкий GCF представляет изображение, которое является однородным [22].

GCF = ∑i=1N wi * Ci

где, Ci - средние локальные контрасты, wi - весовой коэффициент и N представляет размер изображения.

3.4 Нормализованная абсолютная ошибка (NAE)

Нормализованная абсолютная ошибка - это мера того, насколько восстановленное изображение отличается от исходного изображения, причем значение нуль означает идеальное соответствие. Большое значение нормализованной абсолютной ошибки указывает на плохое качество изображения, а маленькое значение дает хорошее качество изображения [23].

NAE = ∑j=1M ∑k=1N | xj,k - x̂j,k | / ∑j=1M ∑k=1N | xj,k |

где M и N - строки и столбцы для размера изображения, x - входное изображение, а x̂ - улучшенное изображение.

3.5 Средняя разность (AD)

Контраст определяет разницу между самым низким и самым высоким уровнем интенсивности. AD рассчитывается на основе средней разности интенсивности между изображениями. Маленькое AD представляет изображение с хорошим контрастом, и уравнение обозначается следующим образом [24].

AD = [ ∑j=1M ∑k=1N (xj,k - x̂j,k) ] / (M × N)

где M и N - строки и столбцы для размера изображения, x - входное изображение, а x̂ - улучшенное изображение.

3.6 Ошибка классификации (ME)

Ошибочная классификация определяется как переменная для интерпретации, анализа и приводит к смещению оценки, если ошибочная классификация игнорируется. Ошибка классификации (ME) используется для оценки производительности методов, как показано:

ME = 1 - [ |B0 ∩ BT| + |F0 ∩ FT| ] / [ |B0| + |F0| ]

где B0 и F0 представляют передний план и фон исходного изображения, а BT и FT - передний план и фон тестового изображения [25]. ME отражает процент фоновых пикселей, неправильно указанных как передний план, и, наоборот, передние пиксели неправильно определены как фон. Это может варьироваться от 0 для идеально классифицированного изображения до 1 для полностью неправильно бинаризованного изображения [26].

4. Пример исследования

В этой статье были протестированы три (3) примера изображений для проверки оценки качества изображения (IQA). Примеры изображений известны как 'Квадрат', 'Монета' и 'Блок' из онлайн-базы данных [26], [27] и содержат проблему освещения [28]. Чтобы улучшить качество изображения на основе коррекции контраста, был применен метод гомоморфного фильтра Баттерворта [29]. Затем была выполнена сегментация с использованием метода Оцу [30], чтобы доказать эффективность оценки качества изображения с точки зрения PSNR и ME. Полученные изображения представлены на Рисунке 1. Как показано на рисунке, примеры изображений разделены на 2 категории: улучшение контраста и сегментация. В этом исследовании IQA, такие как AD и NAE, были получены из результата улучшения контраста, в то время как ME и PSNR были определены из результата сегментации. Исходное изображение было рассчитано с использованием SNR и GCF. В таблице 2 представлены результаты IQA для 3 примеров изображений.

Рис. 1. Пример экспериментальных изображений

Математически производительность IQA представляет разные значения, например, наименьшие значения AD, NAE и ME и наибольшие значения SNR, PSNR и GCF показывают хорошую производительность. Согласно таблице 2, можно заключить, что изображение Квадрат достигло более высокой производительности (PSNR = 18.5652 и ME = 0.0351) по сравнению с другими.

Таблица 2. Сравнение 3 изображений на основе измерений IQA.
Квадрат Монета Блок
SNR 2.9258 4.2865 1.1887
GCF 5.6765 5.5985 10.7101
AD 28.0861 65.8963 48.0164
NAE 0.3709 0.4006 0.4870
PSNR 18.5652 7.8941 9.4174
ME 0.0351 0.2343 0.1934

5. Заключение

Оценка качества визуальной информации играет важную роль в многочисленных приложениях обработки изображений/видео и компьютерного зрения. В этой статье мы представили обзор фона и связанных работ в области оценки качества изображения (IQA). До сих пор большинство опубликованных методов IQA основаны на объективных измерениях качества. Основной целью обзора литературы было изучить и исследовать преимущества оценки качества изображения. Из этого эксперимента мы можем решить, что SNR, PSNR совместимы для получения контрастного изображения. Однако измерение ME совместимо для сегментированного изображения. Это исследование было выполнено путем получения IQA на тестовом изображении и их категоризации.

Благодарности

Эта работа была поддержана Министерством высшего образования Малайзии в рамках Гранта на фундаментальные исследования (9003-00517), Схемы академической подготовки бумипутеров (SLAB) (890909035027) и Стипендии для научных сотрудников Университета Малайзии Перис, Малайзия.

Ссылки

  1. Zhang, Yazhong, Jinjian Wu, Xuemei Xie, Leida Li, and Guangming Shi. "Blind image quality assessment with improved natural scene statistics model." Digital Signal Processing 57 (2016): 56-65.
  2. Yang, Yang, and Jun Ming. "Image quality assessment based on the space similarity decomposition model." Signal Processing 120 (2016): 797-805.
  3. Fu, Jie, Hanli Wang, and Lingxuan Zuo. "Blind image quality assessment for multiply distorted images via convolutional neural networks." In Acoustics, Speech and Signal Processing (ICASSP), 2016 IEEE International Conference on, pp. 1075-1079. IEEE, 2016.
  4. Gao, Fei, and Jun Yu. "Biologically inspired image quality assessment." Signal Processing 124 (2016): 210-219. L. S. Chow and R. Paramesran, "Review of medical image quality assessment," Biomed. Signal Process. Control, vol. 27, pp. 145–154, 2016.
  5. Wang, Zhou, Alan C. Bovik, Hamid R. Sheikh, and Eero P. Simoncelli. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13, no. 4 (2004): 600-612.Z.
  6. L. He, D. Tao, X. Li, and X. Gao, "Sparse representation for blind image quality assessment," Comput. Vis. Pattern Recognit. (CVPR), 2012 IEEE Conf., pp. 1146–1153, 2012.
  7. Mittal, Anish, Anush Krishna Moorthy, and Alan Conrad Bovik. "No-reference image quality assessment in the spatial domain." IEEE Transactions on Image Processing 21, no. 12 (2012): 4695-4708
  8. Ponomarenko, Nikolay, Vladimir Lukin, Alexander Zelensky, Karen Egiazarian, Marco Carli, and Federica Battisti. "TID2008-a database for evaluation of full-reference visual quality assessment metrics." Advances of Modern Radioelectronics 10, no. 4 (2009): 30-45.
  9. Sheikh, Hamid R., and Alan C. Bovik. "Image information and visual quality." IEEE Transactions on image processing 15, no. 2 (2006): 430-444.
  10. Sheikh, Hamid R., Alan C. Bovik, and Gustavo De Veciana. "An information fidelity criterion for image quality assessment using natural scene statistics." IEEE Transactions on image processing 14, no. 12 (2005): 2117-2128.
  11. Sheikh, Hamid R., Alan C. Bovik, and Lawrence Cormack. "No-reference quality assessment using natural scene statistics: JPEG2000." IEEE Transactions on Image Processing 14, no. 11 (2005): 1918-1927.
  12. Moorthy, Anush Krishna, and Alan Conrad Bovik. "A two-step framework for constructing blind image quality indices." IEEE Signal processing letters 17, no. 5 (2010): 513-516.
  13. Saad, Michele A., Alan C. Bovik, and Christophe Charrier. "A DCT statistics-based blind image quality index." IEEE Signal Processing Letters 17, no. 6 (2010): 583-586.
  14. Ye, Peng, and David Doermann. "No-reference image quality assessment using visual codebooks." IEEE Transactions on Image Processing 21, no. 7 (2012): 3129-3138.
  15. Vlachos, Marios Dimitrios, and Evangelos Spyros Dermatas. "Non-uniform illumination correction in infrared images based on a modified fuzzy c-means algorithm." Journal of Biomedical Graphics and Computing 3, no. 1 (2012): 6-19.
  16. Mustafa, Wan Azani, and Haniza Yazid. "Background Correction using Average Filtering and Gradient Based Thresholding." Journal of Telecommunication, Electronic and Computer Engineering (JTEC) 8, no. 5 (2016): 81-88.
  17. Mustafa, Wan Azani, Haniza Yazid, and Sazali Bin Yaacob. "Illumination correction of retinal images using superimpose low pass and Gaussian filtering." In Biomedical Engineering (ICoBE), 2015 2nd International Conference on, pp. 1-4. IEEE, 2015.
  18. Elyasi, Iman, Mohammad Ali Pourmina, and Mohammad-Shahram Moin. "Speckle reduction in breast cancer ultrasound images by using homogeneity modified bayes shrink." Measurement 91 (2016): 55-65.
  19. W. A. Mustafa, H. Yazid, and M. Jaafar, "A systematic review : Contrast enhancement based on spatial and frequency domain," J. Adv. Res. Appl. Mech., vol. 28, no. 1, pp. 1–8, 2016.
  20. Zhang, Xianquan, Feng Ding, Zhenjun Tang, and Chunqiang Yu. "Salt and pepper noise removal with image inpainting." AEU-International Journal of Electronics and Communications 69, no. 1 (2015): 307-313.
  21. Matkovic, Kresimir, László Neumann, Attila Neumann, Thomas Psik, and Werner Purgathofer. "Global Contrast Factor-a New Approach to Image Contrast." Computational Aesthetics 2005 (2005): 159-168.
  22. Vora, V. S., A. C. Suthar, Y. N. Makwana, and S. J. Davda. "Analysis of Compressed Image Quality Assessments, M." Tech Student in E &C Dept, CCET, Wadhwan-Gujarat (2010).
  23. Kumar, Ravi, and Munish Rattan. "Analysis of various quality metrics for medical image processing." International Journal of Advanced Research in Computer Science and Software Engineering 2, no. 11 (2012).
  24. Yazid, Haniza, and Hamzah Arof. "Gradient based adaptive thresholding." Journal of Visual Communication and Image Representation 24, no. 7 (2013): 926-936.
  25. Mustafa, Wan Azani, Haniza Yazid, and Sazali Bin Yaacob. "Illumination normalization of non-uniform images based on double mean filtering." In Control System, Computing and Engineering (ICCSCE), 2014 IEEE International Conference on, pp. 366-371. IEEE, 2014.
  26. Mustafa, Wan Azani, and Haniza Yazid. "Illumination and Contrast Correction Strategy using Bilateral Filtering and Binarization Comparison." Journal of Telecommunication, Electronic and Computer Engineering (ITEC) 8, no. 1 (2016): 67-73.
  27. W. A. Mustafa, H. Yazid, and N. Mazlan, "An enhancement method on illumination images : A survey," J. Adv. Rev. Sci. Res., vol. 28, no. 1, pp. 33–41, 2016.
  28. R. C. Gonzalez and R. E. Woods, Digital Image Processing, Third. Upper Saddle River, NJ, USA: Prentice Hall, 2008.
  29. Otsu, Nobuyuki. "A threshold selection method from gray-level histograms." IEEE Transactions on systems, man, and cybernetics 9, no. 1 (1979): 62-66.