Параметры качества изображения: Краткий обзор и анализ применимости

Аннотация

Появление и применение электронного датчика изображения во второй половине 20-го века, а также огромный рост использования цифровых изображений в 21-м веке, обусловливают разработку новых методов обработки, передачи и воспроизведения изображений. Кроме того, огромное количество данных, содержащихся в цифровом изображении, требовало разработки различных методов сжатия. Все эти процессы приводят к ухудшению качества изображения. В большинстве случаев изображения предназначены для использования человеком-наблюдателем, поэтому возможности восприятия человеческого зрения выступают в качестве ключевых критериев оценки качества изображения. Модели зрительного восприятия человека рассматриваются в статье. Применение изображений в различных областях, таких как цифровое кино, медицинская съемка и получение военных целей, требует разработки различных критериев качества изображения. Свойства выбранного изображения и системы визуализации (размер и поле зрения, яркость изображения, коэффициент контрастности, разрешение и MTF, шум) проверяются. Оценка качества изображения может быть выполнена с помощью объективных лабораторных измерений или с использованием различных вычислительных методов. Обсуждается пригодность различных методов оценки качества изображения для различных применений.

Ключевые слова:

Oценка качества изображения, перцептивная обработка изображений, визуальное восприятие, зрительная система человека.

1. ВВЕДЕНИЕ

Развитие современных технологий предоставляет различные средства для формирования, распространения и обработки электронных изображений, что приводит к разнообразному применению электронных изображений. Качество генерируемого электронного изображения является очень важной темой, когда речь заходит об оптимизации изображений приложений.

Электронно сгенерированные изображения могут быть использованы для наблюдения людьми или для дальнейшей обработки и извлечения информации, которая будет использоваться для специальных целей. В случае, когда изображения используются людьми-наблюдателями, их качество связано с человеческим восприятием и суждением. Необходимо разработать адекватные модели реакции наблюдателя, чтобы предсказать количественно или качественно объективные параметры пригодности изображения, то есть определить связанные параметры качества изображения. Поскольку практически все полезные методы обработки изображений приводят к объективным изменениям, необходимо обеспечить объективную меру для предоставления информации о том, как эти изменения влияют на информационное содержимое изображения. Чтобы получить правильную оценку эффективности обработки, полезно определить набор параметров качества изображения. В случае, когда обработанное изображение предназначено для представления и использования наблюдателями-людьми, должна использоваться модель представления визуальной информации человеком. В противном случае критерии применения информации об изображении могут быть использованы в качестве критериев качества изображения.

Разработка системы параметров качества изображения началась с появления электронных систем визуализации для трансляции изображений (телевидения) [1,2]. Появление цифровых изображений из-за оцифровки аналоговых сигналов изображения и цифровых датчиков изображения, например, Массивы в фокальной плоскости вносят необходимость в сжатие изображений из-за ограничений цифровой памяти. Цифровые алгоритмы сжатия изображений должны быть разработаны для обеспечения минимальной потери информации. Кроме того, разработка методов обработки и улучшения изображения приводит к разработке критериев оценки качества изображения. Критерии оценки качества изображения хорошо рассмотрены в книгах [3-6] и обзорных статьях [7,8]. Один интересный подход в определении информационной емкости электронных изображений может быть использован в качестве основы для обобщенного сравнения различных систем формирования изображений [9].

В настоящее время цифровая обработка изображений включена в повседневную жизнь (технологии телевизионного вещания, мобильные технологии, кино, медицина, машинное зрение, и т.д.) мотивировать любого из нас судить и иметь некоторое мнение о качестве изображения. С другой стороны, запись, передача и воспроизведение изображения требуют дополнительной обработки изображения, которая должна сохранять исходное содержимое изображения без помех.

В данной статье рассматриваются вопросы описания качества изображения и подходов к оценке качества в различных областях применения цифровых изображений. Важно определить общие принципы, которые связывают параметры систем формирования изображений, изображения, воспринимаемые человеком-наблюдателем, и изображения с электронной обработкой для определенной цели. Кроме того, корреляция между параметрами качества изображения, относящимися к экспериментальной оценке и вычислительной оценке, выявляется и сравнивается.

Этот краткий критический обзор сделан, чтобы поддержать наше дальнейшее исследование методов оценки качества изображения, применимых для систем наблюдения. В результате первоначального исследования требований к качеству изображения для мультисенсорных систем наблюдения были определены ключевые параметры систем формирования изображения и качества изображения на основе характеристик визуальной системы человека (HVS). Они будут более подробно изучены при дальнейшей разработке процедур оценки качества изображения. Модели HVS кратко описаны как введение в дискуссию о значении и подходах оценки качества изображения (IQA). Обсуждаются различные приложения, связанные с IQA. Рассмотрена методология восприятия и вычисления IQA с акцентом на соответствующие методы измерения. Эта статья представляет собой введение в систематическое исследование, которое необходимо провести, и в нем указаны вопросы и темы, которые будут изучены более подробно в будущей работе.

2. МОДЕЛИ ВИЗУАЛЬНОЙ СИСТЕМЫ ЧЕЛОВЕКА

Рабочие параметры человеческого зрения являются ключевым ограничивающим фактором для восприятия и извлечения информации, содержащейся в изображении. Восприятие визуальной информации человеком-наблюдателем может быть использовано непосредственно для оценки качества изображения посредством психофизических измерений. Психофизические измерения качества изображения слишком дороги и требуют много времени для оценки влияния, которое каждая модификация алгоритма может оказать на качество изображения [10,2]. С другой стороны, удобно иметь аналитическую модель системы человеческого зрения для включения в различные алгоритмы сжатия или обработки изображений.

Моделирование человеческого зрения имеет долгую историю развития, основанную на результатах психометрических результатов и определенных потребностях для целевого применения. Основные принципы [11,12] основаны на правильном аналитическом моделировании, исходя из известных экспериментальных результатов. Одна из наиболее известных моделей [13] основана на моделировании зависимости функции контрастной чувствительности от пространственной частоты и уровня освещенности (см. Рисунок 1). Дальнейшее развитие представило модели, которые включали чувствительность к движению HVS (как движения глаз, так и движения на изображении), временную чувствительность [14-16] и чувствительность к цвету [17,18]. Существует много работы, чтобы привлечь внимание, адаптацию и содержание изображений в связанных моделях HVS и содействовать разработке новых, более полных и обобщенных моделей. В то же время существует потребность в новых систематических психометрических измерениях, адаптированных для поддержки математического моделирования [10]. Это быстро развивающаяся область, требующая нового прорыва для поддержки новых потребностей в обработке изображений.

Выбранные свойства HVS, описывающие ограничивающие возможности: [19-21]:

• Контрастная чувствительность, как показано на рисунке 1,
• Разрешающая способность (Nyquist limit) –56 циклов / градус,
• Визуальный предел остроты –1 угловая минута, минимальный ощутимый предел 0,3 угловых минуты,
• Динамический диапазон - 10^-6-10⁶ нит,
• Критическая частота мерцания –CFF – 60–72 Гц.

3. ЗНАЧЕНИЕ И ПОДХОДЫ ОЦЕНКИ КАЧЕСТВА ИЗОБРАЖЕНИЯ

Измерение «качества изображения» определить нелегко, поскольку оно часто зависит от контекста и особенностей применения. Качество изображения, воспринимаемое людьми-наблюдателями, является измеримым и непротиворечивым свойством даже при сравнении изображений с различным содержанием и типами ухудшения качества. Пороговые значения для выбранных параметров восприятия могут быть установлены в соответствии с приложением изображения и применены последовательным и воспроизводимым способом. Изменение приложения потребует изменения выбранных параметров соответственно.

Ключевые факторы, влияющие на качество изображения:

Геометрический - включая все аспекты оптических систем и датчиков и структуру сцены или изображения.

Радиометрический - включает значения уровня серого в определенном динамическом диапазоне и цвета (диапазон спектральной чувствительности тепловизора и спектральный диапазон выходного изображения).

Наиболее часто используемые показатели качества изображения, разработанные для различных приложений, основаны на следующих подходах:

• Анализ погрешности волнового фронта (пик до долины, RMS), связанный с оптикой формирования изображения,
• Дробный анализ окруженной энергии,
• Приложение для проверки разрешающей способности (начиная с трехметровой испытательной таблицы ВВС США 1959 года),
• Оценка интерпретируемости изображений,
• Процедуры, связанные с критериями Джонсона,
• Общее уравнение качества изображения.

То, как эти показатели используются для оценки качества изображения, зависит от применения изображения (цель оценки качества изображения).

Основные свойства системы визуализации связаны с качеством изображения. Хотя эти свойства не являются достаточными и не могут использоваться в качестве меры качества изображения, их можно использовать для анализа того, как цепочка формирования изображений влияет на качество изображения. Обобщенная структура цепочки изображений показана на рисунке 2.

Качество изображения может быть тесно связано со следующими параметрами системы визуализации:

• MTF - функция передачи модуляции,
• CTF - пороговая функция контрастности,
• Шум - эквивалентное шумовое излучение (NEI), эквивалентные шумовые кванты - NEQ, разность температур, эквивалентная шуму - NEDT,
• SNR - отношение сигнал / шум,
• JND - Просто заметная разница.

Оценка качества изображения основана на проверке визуального восприятия изображения (оценка качества воспринимаемого изображения), связанной с перцепционными свойствами зрительной системы человека или анализом содержания информации изображения – вычислительная оценка цифрового изображения.

4. ОЦЕНКА КАЧЕСТВА ИЗОБРАЖЕНИЯ В РАЗНЫХ ПРИЛОЖЕНИЯХ

Оценка качества изображения связана с электронными изображениями, включая цифровые изображения. Подход и метод IQA для оценки изображения зависят от структуры систем формирования изображения и представления изображения [24]. Процедуры IQA могут применяться либо в конце цепочки визуализации, либо в любой точке останова в цепочке визуализации. Вообще говоря, есть три группы процедур IQA, связанных с Тип и функции системы формирования изображения:

• системы формирования изображений,
• Системы сжатия, обработки и передачи изображений,
• Системы представления изображений - дисплеи.

В соответствии с областью применения изображений есть некоторые особенности IQA в следующих областях:

• Кинематография и телевидение,
• неподвижная фотография,
• машинное зрение,
• Медицинская визуализация и дисплеи, [22,23],
• компьютерная графика,
• Системы наблюдения и нацеливания.

Большинство приложений системы визуализации связано с представлением изображения человеку-наблюдателю, и в этом случае IQA зависит от возможностей восприятия визуальной информации человеком. Участие HVS означает, что перцептивный IQA применяется либо с использованием суждения наблюдателя-человека, либо с использованием фильтров суждения, разработанных с использованием модели HVS. Методы IQA всегда разрабатываются для охвата наиболее важных параметров для целевого применения. Использование связанных тестовых диаграмм - шаблонов является популярным подходом из-за простоты приложения. Дизайн тестовых таблиц часто интуитивно понятен, но это может быть очень изобретательный процесс.

5. ПЕРЦЕПТУАЛЬНАЯ ОЦЕНКА КАЧЕСТВА ИЗОБРАЖЕНИЯ

Качество воспринимаемого изображения соотносится с мнением наблюдателей, что означает, что качество изображения оценивается в соответствии с характеристиками человеческого восприятия. Воспринимаемый IQA всегда включается, когда человеческое наблюдательное суждение вовлечено в экспериментальное исследование изображения, но также и когда модели HVS включены в вычислительные алгоритмы для эффективности анализа процедур обработки изображения. Также ограничения HVS могут использоваться для определения пороговых значений в видеосигнале, распространяющемся по цепочке формирования изображения. Только в системах, которые используют изображение в качестве источника для распознавания образов и автоматической реакции с использованием предварительно определенных процедур, объективные параметры могут использоваться для оценки изображения.

6. ВЫЧИСЛЕНИЕ КАЧЕСТВА ЦИФРОВОГО ИЗОБРАЖЕНИЯ

Ухудшение качества изображения вызвано применением методов обработки, передачи и воспроизведения изображений. Это также подчеркивается использованием различных алгоритмов сжатия. Для всех систем, которые занимаются сбором, управлением, связью и обработкой изображений, очень важно иметь возможность контролировать весь конвейер обработки изображений [6].

Основная цель заключается в получении некоторого количественного значения, которое будет генерироваться соответствующими метриками. В этом разделе мы опишем три объективных метода оценки качества для:

• FR-IQA (полная оценка качества эталонного изображения),
• RR-IQA (уменьшенная оценка качества эталонного изображения),
• NR-IQA (без оценки качества эталонного изображения).

Метрики качества эталонного (FR) изображения требуют полного доступа к эталонному изображению. Как указано в [27], самой простой и наиболее широко используемой метрикой полного эталонного качества является среднеквадратическая ошибка (MSE). Он рассчитывается по:

где X и Y – эталон и тестируемое изображение соответственно. Дополнительным показателем, полученным из MSE, является пиковое отношение сигнал / шум, определяемое как:

где B представляет количество бит на пиксель изображения.

Венката и другие [28] предложили меру искажения (DM), а также меру качества шума (NQM) для количественной оценки воздействия искажения частоты и внедрения шума на зрительную систему человека (HVS) при восстановлении изображения, где они получили 2-D искажение передаточная функция для моделирования эффектов линейного искажения, представленных в восстановленных изображениях.

Метрика структурного сходства (SSIM) [29] используется для улучшения традиционных алгоритмов MSE и PSNR. Существует также расширение для этой метрики, известное как MS SSIM. Ван и соавт. [30] определяется как:

Это означает, что MSSSIM представляет среднее значение всех окон, которые имеют вклад в окончательное уравнение.

Метрики качества изображения с уменьшенным эталонным (RR) отношением относятся к ситуации, когда части изображения доступны как уменьшенные элементы из эталонного изображения. RR часто используется при передаче видеоданных через сложные сети связи для отслеживания степени ухудшения зрения. В этом случае ресивер не имеет доступа к исходным видеоданным [6]. Джин Ян и др. [31] предложили оценку качества изображения RR на основе точности визуальной информации. Они отдельно вычисляют количество первичной визуальной информации и остаточную неопределенность изображения, а затем оценивают оценку качества для этих двух типов информации.

Рехман и Ван [32] оценивают SSIM как широко используемый метод оценки качества изображения FT. Они обнаружили, что соотношение между мерой FR SSIM и их оценкой RR является линейным, когда тип искажения изображения является фиксированным. В этой статье представлена новая идея частичного восстановления изображения с использованием функций RR. Soundarajan и Бович [33] использовал изменения информации об изображении и измерил их между приближением эталонного и естественного изображений искаженного изображения. В результате они разработали алгоритмы, которые измеряют различия, воспринимаемые людьми, между энтропиями вейвлет-коэффициентов эталонных и искаженных изображений.

Отсутствие эталонных (NR) показателей качества изображения является наиболее требовательным показателем. Это, как указано в [6], самая сложная проблема в области анализа изображений. Эта метрика должна приводить к некоторым выводам, основанным только на захваченном (или другом способе) изображении. Это очень неудобная задача для машин, но для людей-наблюдателей это довольно просто.

В [34] Ye и Doermann предлагают универсальный метод оценки качества изображения NR. Этот подход основан на визуальных кодовых книгах, которые состоят из локальных функций на основе фильтра Габора, которые извлекаются из локальных патчей изображения и используются для сбора сложной статистики естественного изображения. По сравнению с другими методами предлагаемый метод не предполагает каких-либо конкретных типов искажений.

В [35] Митал и другие предложи модель оценки качества изображения NR, которая работает в пространственной области. Чтобы количественно оценить возможные потери «естественности» на изображении из-за наличия искажений, они используют статистику сцены локально нормированных коэффициентов яркости.

Новый подход, использующий объединенную статистику двух типов обычно используемых локальных контрастных признаков, представлен в [36]. Первоначально используется карта градиентной величины (GM), а после этого - ответ Лапласа Гаусса (LOG). Затем применяется адаптивная процедура для совместной нормализации функций GM и LOG и показа, что объединенная статистика нормализованных функций GM и LOG имеет желательные свойства.

7. МЕТОДЫ ИЗМЕРЕНИЯ ПАРАМЕТРОВ КАЧЕСТВА ИЗОБРАЖЕНИЯ

Наиболее распространенные параметры изображения, используемые при экспериментальной оценке качества изображения: [37-41]:

• OECF – Оптоэлектронная функция преобразования
• Размер изображения и разрешение
• Шум (отношение сигнал / шум)
• Изображение контраст (коэффициент контрастности)
• резкость изображения
• Серые уровни
• Черный уровень
• Гамма калибровка
• Белая насыщенность / баланс
• Время отклика
• Цветные свойства
• Угол обзора

Наиболее распространенные экспериментальные методы IQA основаны на применении специально разработанных тестовых таблиц в контролируемых лабораторных условиях с использованием обученных наблюдателей.

Тестовые таблицы предназначены для определенной цели (см. Рисунки с 3 по 6) и содержат исправления, предназначенные для оценки назначенной производительности. Используя критерии восприятия информации об изображении на основе HVS, разработанные для критериев ночного видения на основе усилителя изображения (критерии Джонсона [25]), была разработана таблица испытаний USAF 1951 года для проверки разрешения систем визуализации (см. Рисунок 7).

Используя критерии Джонсона и добавляя дополнительные функции, была разработана новая и улучшенная модель для целевого моделирования производительности задач [25,26].

Примеры применения тестовых диаграмм, используемых при оценке качества изображения, показывают эффективность методов, предложенных в [37,38]. Существует много усилий для стандартизации процедур оценки изображений системы визуализации [39,41], но эта задача еще не завершена. Некоторые тестовые таблицы разработаны для целевых целей, таких как тестирование цветопередачи (см. Рисунок 8) и тестирование фокусировки камеры (см. Рисунок 9), широко применяются вместе с большим количеством специально разработанных тестовых таблиц для специальных целей.

8. ЗАКЛЮЧЕНИЕ

Электронное изображение (особенно цифровое изображение) представляет революцию в области применения изображений, распространяя ее на все аспекты нашей жизни, а также на развитие современных технологий. Качество изображения является одним из ключевых аспектов применения изображения.

Параметры качества изображения тесно связаны с характеристиками системы визуализации, но не могут быть заменены ими из-за сложности восприятия зрительной системы человека. Изучение характеристик HVS является одним из ключевых источников определения качества изображения. Качество изображения обычно рассматривается как мера визуального впечатления, но восприятие человеком визуальной информации зависит от множества различных факторов: резкости, контрастности, красочности и личных предпочтений.

В случае, когда данные изображения используются для автоматического распознавания образов (без влияния человека-наблюдателя), некоторые параметры качества изображения могут быть получены непосредственно из системы формирования изображения.

Методы оценки качества изображения все еще развиваются, и они тесно связаны с целью оценки данных изображения, предоставляя только конкретные ответы: насколько хороша система генерации изображения, как изображение будет восприниматься человеком-наблюдателем, или какие нарушения в изображении вносятся во время обработки изображения, сжатия или передачи. В настоящее время нет универсальной системы параметров качества изображения.

Список использованной литературы

1. Albert Rose, Vision: Human and electronic, Plenum Press,New York, January, 1971
2. William F. Schreiber, Fundamentals of Electronic Imaging Systems. Some aspects of Image processing, Springer-Verlag Berlin, Heidelberg, 1986
   
3. Joyce E. Farrell, " Image quality Evaluation", CH15 in Colour Imaging: Vision and Technology (Editors: L.W.MacDonald and M.R.Luo), John Wiley and Sons Ltd, New York, 1999
4. Brian W Keelan, Handbook of Image Quality Characterization and Prediction, Marcel Dekker Inc., New York, 2002
5. H.R.Wu K.R. Rao (Editors), Digital Video Image Quality and Perceptual Coding, CRC Press, Boca Raton, 2006
6. Wang, Z., Bovik, Modern image quality assessment, Morgan & Claypool publishers, 2006
7. Shruti Sonawane, A. M. Deshpande, " Image Quality Assessment Techniques: An Overview", International Journal of Engineering Research & Technology (IJERT),Vol. 3 Issue 4, April –2014, pp 2013-2017, ISSN: 2278-0181
8. Peter D. Burns and Don Williams, " Ten Tips for Maintaining Digital Image Quality", Proc. IS&T Archiving Conf., pg. 16-22, IS&T, 2007
9. Igor I. Taubkin, Mikhail A. Trishenkov," Information Capacity of electronic vision systems", Infrared Physics and Technology, Vol.37, 1996, pp. 675-693
10. Thom Carneyab, Stanley A. Kleinb, [..], Miguel P. Ecksteini, " The development of an image/threshold database for designing and testing human vision models", Proc. SPIE 3644, Human Vision and Electronic Imaging IV, 542 (May 19, 1999); doi:10.1117/12.348473
11. Mark S. Rea, "|Toward a Model of Visual Performance: Foundation and Data", Journal of the Illumination Engineering, Summer 1986, pp. 41-57
12. Mark S. Rea, "Toward a Model of Visual Performance: A Review of Methodologies", Journal of the Illumination Engineering, Winter 1987, pp. 128-147
13. Peter G. J. Barten, Contrast Sensitivity of the Human Eye and Its Effects on Image Quality, SPIE Optical Engineering Press, 1999.
14. Andrew Watson,Ch6 " Temporal Sensitivity" in Handbook of perception and human performance, (Kenneth R Boff; Lloyd Kaufman; James P Thomas, New York : Wiley, ©1986.editors )
15. Andrew B. Watson, Invited Paper: "The Spatial Standard Observer: A Human Vision Model for Display Inspection", SID 06 DIGEST, SSN0006-0966X/06/3702-1312, pp.1312-1315
16. Andrew Watson, "Model of human visual motion Sensing", Journal of Optical Society Of America A, Vol.2 No.2, February 1985
17. M. D. Fairchild, Color Appearance Models, Addison Wesley, 1997.
18. Phil Green, Lindsay MacDonald, Colour Engineering: Achieving Device Independent Colour, John Wiley & Sons, Ltd. New York, 2002
19. Jerry Whitaker, Blair Benson (editors), Standard Handbook of Video and Television Engineering, The McGraw-Hill Companies, 2003
20. W . N . Charman, "Optics of the Eye", Ch24, Volume 1, Handbook of Optics (Michael Bass , editor in chief . —2nd ed .), 1995 by McGraw-Hill , New York,
21. David G. Curry, Gary Martinsen, and Darrel G. Hopper, "Capability of the human visual system", Proceedings of SPIE. Vol. 5080 "Cockpit Displays X”, (Darrel Hopper, Editor), 2003
22. American Association of Physicists in Medicine, "ASSESSMENT OF DISPLAY PERFORMANCE FOR MEDICAL IMAGING SYSTEMS", AAPM ON-LINE REPORT NO. 03, 2005
23. John A. Carrino, "Digital Image Quality: A Clinical Perspective", Ch 3, .in Quality assurance, The Society for Computer Applications in Radiology, Great Falls, VA (2003): 29-37.
24. John Johnson, "Analysis of Image Forming Systems", Image intensifier Symposium, Fort Belviour, VA, USA
25. Richard H. Vollmerhausen, Eddie Jacobs, "The Targeting Task Performance (TTP) Metric A New Model for Predicting Target Acquisition Performance", Technical Report AMSEL-NV-TR-230
26. Richard H. Vollmerhausen, "Representing the observer in electro-optical target acquisition models", OPTICS EXPRESS, September 2009, Vol. 17, No. 20
27. Wang, Z., Bovik, A. C., Sheikh, H.R., Simoncelli, E. P., "Image Quality Assessment: From Error Measurement to Structural Similarity", IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 13, NO. 1, JANUARY 2004.
28. Venkata, N. D., Kite, T. D., Geisler, W. S., Evans, B. L., Bovik, A. C., "Image Quality Assessment Based ona Degradation Model", IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 9, NO. 4, APRIL 2000.
29. Wang, Z., Bovik, A.C., Sheikh, H. R., Simoncelli, H.R. "Image Quality Assessment: From Error Measurement to Structural Similarity", IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 13, NO. 1, JANUARY 2004.
30. Wang, Z., Simoncelli, E. P., Bovik, A. C., "Multiscale structural similarity for image quality assessment", Proceedings of the 37th IEEE Asilomar Conference on Signals, Systems and Computers, 2004.
31. Wu, J., Lin, W., Shi, G., Liu, A., "Reduced-Reference Image Quality Assessment with Visual Information Fidelity," IEEE Transactions onMultimedia,2013.
32. Rehman, A.,Wang, Z., "Reduced-Reference Image Quality Assessment by Structural Similarity Estimation,"IEEE Transactions onImage Processing,2012.
33. Soundararajan,R., Bovik, A.C., "RRED Indices:Reduced Reference Entropic Differencing for ImageQuality Assessment,"IEEE Transactions on Image Processing,2012.
34. Ye, P., Doermann, D., "No-Reference Image Quality Assessment Using Visual Codebooks," Image Processing, IEEE Transactions on, 2012.
35. Mittal, A., Moorthy, A.K., Bovik, A.C., "No-Reference Image Quality Assessment in the Spatial Domain," Image Processing, IEEE Transactions on, 2012.
36. Xue, W., Mou, X., Zhang, L., Bovik, A.C., Feng, X., "Blind Image Quality Assessment Using Joint Statistics of Gradient Magnitude and Laplacian Features," Image Processing, IEEE Transactions on, 2014
37. J. Kocic, M. Radisavljevic, S. Vujic, I. Popadic, "Comparative Analysis of Image Quality for Low-Light Cameras in Low Light Conditions", Proc. ofthe 60thETRANConference, 2016
38. Kyung-Woo Ko, Kee-Hyon Park, and Yeong-HoHa, "Evaluation of camera performance using ISO-based criteria", 16th Color and Imaging Conference Final Program and Proceedings, pp. 238-242 , Society for Imaging Science and Technology, January 1, 2008
39. Dietmar Wueller, "Proposal for a Standard Procedure to Test Mobile Phone Cameras", Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol. 6069, 2006
40. UL2802 –"Camera Performance Measurement", UL LCC, 2013
41. ISO 12233 –"Photography—Electronic still-picture cameras -Resolution measurements", ISO,2000