Авторы:
Д.С.Григорьев
Ученые записки Новгородского государственного университета
Рассматриваются проблемы плохой видимости наблюдаемого объекта в результате воздействия различных негативных факторов, таких как шумы и засвеченные области. Возможные методы улучшения визуального качества изображения включают в себя цветовую коррекцию, шумоподавление и слияние изображений. Однако, в условиях плохого освещения, первые два метода не дают приемлемых результатов. Этим обосновано дальнейшее исследование способов слияния изображений. В статье изложены особенности изображений, полученных с камер, работающих в разных диапазонах длин волн. Рассмотрены следующие методы слияния изображений: попиксельное слияние, слияние по характерным особенностям изображения и слияние по конкретным объектам. Сделано заключение, что наиболее целесообразным является использование методов попиксельного слияния изображений, полученных с помощью инфракрасных и традиционных камер, ввиду наибольшего быстродействия указанных методов.
Ключевые слова и фразы: улучшение изображения, попиксельное слияние, инфракрасные камеры.
В настоящее время многие организации используют цифровые системы охранного видеонаблюдения, обычно ограничивающиеся простой установкой камер и работой операторов. При организации видеонаблюдения с использованием традиционных камер оператору приходится сталкиваться с проблемой плохой видимости наблюдаемого объекта ввиду плохого освещения и погодных условий. Так, при недостаточном освещении в видеопоследовательности возникают шумы, характеризуемые разноцветными точками, хаотично распределенными по экрану, и образуются засвеченные области в случае, если в поле зрения камеры попадает источник освещения.
Для решения проблемы плохой видимости могут применяться различные методы цветовой коррекции [1—3] и шумоподавления [1, 4]. Однако при недостаточном уровне освещения данные методы не всегда могут давать приемлемые результаты. В частности, при недостаточном уровне освещения возникающие шумы также будут усилены алгоритмами коррекции освещения.
В последние годы растет популярность инфракрасных камер, позволяющих фиксировать различия тепловой энергии у наблюдаемого объекта и сцены. Это обусловлено тем, что они могут обеспечить достаточно четкое видео во время неблагоприятных погодных условиях (дождь, туман), а также в условиях недостаточной освещенности (ночью, на рассвете и закате). Благодаря тому, что инфракрасное излучение имеет большую длину волны, чем видимый свет, оно меньше рассеивается частицами в воздухе, что позволяет при использовании IR-камер частично компенсировать воздействие погодных условий на качество получаемого изображения [5]. Помимо этого, инфракрасные камеры полезны, когда имеются засвеченные участки, что может сделать традиционное видео непригодным для использования. Инфракрасные видеоданные в системах видеонаблюдения обычно представляются как оттенки серого, что создает хороший контраст между объектами и их фоном. Однако это не всегда удобно для оператора.
Объединение данных, полученных с помощью инфракрасной (IR) и традиционной (RGB) камер, позволит получить информацию, которую нельзя было бы получить путем просмотра данных по отдельности.
Для объединения данных, полученных с помощью IR и RGB камер могут применяться различные методы слияния инфракрасных и визуальных изображений. Характеристики инфракрасных изображений и область их применения определяются типом камер.
Инфракрасное излучение (IR — infrared) — это электромагнитное излучение, длина волны которого больше, чем у видимого света, в диапазоне от 0,76 мкм до 100 мкм. Этот диапазон условно разделяется на следующие составляющие [6]:
— ближний инфракрасный диапазон (NIR — Near Infrared Range) с длиной волны от 0,76 до 1,0 мкм;
— коротковолновый инфракрасный диапазон (SWIR — Short Wavelength Infrared Range) с длиной волны от 1 до 3 мкм;
— средний инфракрасный диапазон (MWIR — Medium Wavelength Infrared Range) с длиной волны от 3 до 6 мкм;
— длинноволновый инфракрасный диапазон (LWIR — Long Wavelength Infrared Range) с длиной волны от 6 до 15 мкм;
— сверхдлинноволновый инфракрасный диапазон (VLWIR — Very Long Wavelength Infrared Range) с длиной волны от 15 до 30 мкм;
— дальний инфракрасный диапазон (FIR — Far Infrared Range) с длиной волны от 30 до100 мкм.
При использовании NIR- и SWIR-приемников на захватываемых изображениях у объектов есть тени и определенная контрастность, так как захватывается излучение, которое отражается от объектов. При этом объекты выглядят точно так же, как при видимом освещении, с четко различимыми деталями, а разрешающая способность таких детекторов сопоставима с устройствами захвата, работающими в видимом диапазоне. Так как объекты легко различимы и узнаваемы, NIR и SWIR используют при организации систем видеонаблюдения с возможностью обнаружения и сопровождения объектов интереса. При этом при более длинной волне, чем видимый диапазон света, данные детекторы способны «видеть» сквозь туман, дым и пыль лучше, чем камеры, работающие в видимом диапазоне. Стоит отметить, что большинство оптических материалов, используемых в обычных камерах, подходят и для NIR, и для SWIR (обычное стекло пропускает излучение до 2,5 мкм), что может существенно снизить стоимость оборудования. При использовании MWIR и LWIR длина волны излучения больше 3,5 мкм, что влияет на захватываемое изображение, так как оно формируется на основе собственного теплового излучения объектов сцены, которое может не отличаться от теплового излучения фона. При этом уменьшается динамический диапазон изображения, ухудшаются контрастность и узнаваемость объектов. Устройства, работающие в этом диапазоне длин волн (тепловизоры), имеют высокую стоимость, так как приходится применять специальные материалы для оптики приборов и при необходимости охлаждение детекторов, при этом разрешающая способность у дорогих устройств составляет на текущий момент 1280x1024 пикселей. Данные детекторы применяются во многих областях: ночное видение, инспекция зданий, обеспечение безопасности, контроль качества в производстве товаров, авиация и т.д.
Методы слияния инфракрасных и видимых изображений можно разделить на три обширных класса в зависимости от уровня объектов, с которыми они работают [8—10]:
— пиксели изображения;
— характерные особенности изображения;
— конкретные объекты изображения.
Слияние на основе пикселей представляет нижний уровень обработки изображений, на котором происходит слияние физических параметров исходных изображений. Наиболее известными подходами попиксельного слияния изображений являются алгоритмы простого усреднения [11], усреднение с весовыми коэффициентами (?-blend), метод переноса хроматических характеристик (color transfer) [12], метод главных компонент (PCA — principal component analysis) [13], слияние с использованием пирамиды изображений [14], вейвлет-преобразование [15]. При использовании данного подхода требуется, чтобы пиксели входных изображений имели одинаковое положение на захватываемой сцене, то есть чтобы захват инфракрасного и визуального изображений происходил в одно и то же время и в той же точке сцены. Слияние на основе характерных особенностей является следующим уровнем обработки входных изображений. На данном уровне сопоставляются ключевые особенности каждого из входных изображений. Такой подход дает лучшие результаты слияния, чем обработка на пиксельном уровне, но требует предварительной подготовки используемых данных. Наиболее распространенными подходами слияния изображений на основе характерных особенностей [16] являются методы на основе выделения границ [17] и искусственные нейронные сети [18]. Слияние на основе выделения объектов на изображении определяет наивысший уровень обработки. В методах на данном уровне происходит идентификация объектов индивидуально для каждого из входных изображений. Полученная информация комбинируется и используется для точного распознавания наблюдаемых объектов. Если объекты корректно распознаны со всех источников изображений, то происходит их слияние для получения действительного представления сцены. Наиболее распространенными подходами слияния изображений на основе выделения объектов являются алгоритмы нечеткой логики [19], байесовская сеть [20] и алгоритмы машинного обучения [21].
Проанализировав принцип работы алгоритмов на каждом уровне, можно прийти к выводу, что наибольшее быстродействие наблюдается у методов попиксельного слияния.
В данной статье были рассмотрены способы улучшения визуального качества изображения. Описаны особенности изображений, полученных с IR камер, работающих в различных диапазонах длин волн. Из указанных методов слияния изображений в связи с наибольшим быстродействием был выбран метод попиксельного слияния.
Список использованной литературы
1. Зотин А.Г., Пахирка А.И., Буряченко В.В. Система видеонаблюдения c возможностью улучшения визуального качества видеопотока // Программные продукты и системы. 2013. № 2. С. 191-197.
2. Petro A., Sbert C., Morel J-M. Multiscale Retinex // IPOL Journ. 2014. P. 71-88.
3. Chao An, Mei Yu. Fast color image enhancement based on fuzzy multiple-scale Retinex. Strategic Technology (IFOST) // Proc. 6th Intern.
l Forum. Harbin: Heilongjiang, 2011. P. 1065-1069.
4. Зотин А.Г., Пахирка А.И. Адаптивный алгоритм шумоподавления в системах видеонаблюдения при низком уровне освещения сцены // Цифровая обработка сигналов и ее применение (DSPA 2016): докл. 18-й Междунар. конф. М., 2016. Т. 2. С. 838-843.
5. Karlsson J. FPGA-Accelerated Dehazing by Visible and Near-infrared Image Fusion, 2015. URL: http://www.idt.mdh.se/utbildning/... (дата обращения: 15.11.2016).
6. Rogalski A. Infrared Detectors, Second Edition. CRC Press, Taylor & Francis Group, Boca Raton. Florida, USA, 2011. 898 p.
7. Zheng Y. An Exploration of Color Fusion with Multispectral Images for Night Vision Enhancement, Image Fusion and Its APlications. Image Fusion, 2011. URL: http://www.intechopen.com/books/image-fusion... (дата обращения: 15.11.2016).
8. Zin T., Takahashi H., Hiromitsu T. Fusion of Infrared and Visible Images for Robust Person Detection // Image Fusion, Osamu Ukimura (Ed.), 2011. P. 239-264.
9. Malviya A., Bhirud S.G. Image Fusion of Digital Images // Intern. Journ. of Recent Trends in Engineering. 2009. Vol. 2, N 3, P. 146-148.
10. Nikolakopoulos G.K. Comparison of Nine Fusion Techniques for Very High Resolution Data // Photogrammetric Engineering & Remote Sensing. 2008. Vol. 74. N 5. P. 647-659.
11. Khaleghi B. et al. Multisensor Data Fusion: A Review of the State-of-the-Art // Information Fusion. 2013. Vol. 14. P. 28—44.
12. Firouz A. Al-Wassai, Dr. N.V. Kalyankar, Dr. A.A. Al-zuky. The IHS Transformations Based Image Fusion. Journal of Global Research in Computer Science, 2011, Vol. 2, N 5, P. 70-77.
13. Wang Z, Deller JR, Jr., Fleet BD; Pixel-level multisensor image fusion based on matrix completion and robust principal component analysis // Journ. Electron. Imaging. 2015. Vol. 25. N 1. URL: http://electronicimaging.spiedigitallibrary.org/... (дата обращения: 15.11.2016).
14. Wang W., Chang F. A Multi-focus Image Fusion Method Based on Laplacian Pyramid // Journ. of Computers. 2011. Vol. 6. N 12, P. 2559-2566.
15. Pajares G., Cruz J.M. A wavelet-based image fusion tutorial // Pattern Recognition. 2004. Vol. 37. N 9. P. 1855-1872.
16. Liu Y., Liu S., Wang Z. Multi-focus image fusion with dense SIFT // Information Fusion. 2015. Vol. 23. P. 139-155.
17. Ehlers M., Tomowski D. On segment based image fusion. Springer Berlin Heidelberg, 2008. P. 735-754.
18. Li-Qun Gao, Rong Wang, Shu Yang. An image fusion algorithm based on RBF neural networks // Machine Learning and Cybernetics. 2005. Vol. 8. P. 5194-5199.
19. Zheng Y., Zheng P. Multisensor image fusion using fuzzy logic for surveillance systems // Fuzzy Systems and Knowledge Discovery (FSKD). 2010. P. 588-592.
20. Smaili C.C., Najjar M.E., Charpillet F. Multi-sensor Fusion Method Using Dynamic Bayesian Network for Precise Vehicle Localization and Road Matching // Tools with Artificial Intelligence. 2007. P. 146-151.
21. Tomowski D., Ehlers M., Michel U., Bohmann G. Decision based data fusion techniques for settlement area detection from multisensor remote sensing data. 1st EARSeL Workshop of the SIG Urban Remote Sensing Humboldt-Universitat zu Berlin, 2006. P. 1-8.