УДК 004.932
СЛИЯНИЕ МУЛЬТИСПЕКТРАЛЬНЫХ
ИЗОБРАЖЕНИЙ В ДИСТАНЦИОННОМ ЗОНДИРОВАНИИ
Титаренко К.К.
Донецкий национальный технический университет
кафедра прикладной математики и информатики
E-mail: constantin.titarenko@gmail.com
Аннотация:
Титаренко К.К. Слияние мультиспектральных изображений в дистанционном зондировании. Рассмотрена классификация методов слияния продуктов дистанционного зондирования. Описаны цели и основные методы мультиспектрального слияния продуктов дистанционного зондирования, указаны проблемы производительности и пути их решения, имеющиеся на данный момент. Определены цели исследования возможностей повышения производительности рассмотренных методов путем их реализации на параллельных компьютерных системах.
Дистанционное зондирование
Под дистанционным зондированием подразумевается процесс сбора информации об объекте, территории или явлении без непосредственного контакта с ним. Методы дистанционного зондирования основаны на регистрации в аналоговой или цифровой форме отраженного или собственного электромагнитного излучения участков поверхности в широком спектральном диапазоне [1]. Получив интенсивное развитие, дистанционное зондирование предоставило ученым и профильным специалистам новые возможности для исследования земной поверхности, обеспечив наличие существенного объема разнообразных данных, обладающих достаточно высоким качеством.
Под продуктом дистанционного зондирования подразумеваются цифровые изображения, значения пикселей которых отвечают значениям какой-либо характеристики (отражательной способности, температуры и т. д.) соответствующего участка поверхности местности в определенной полосе электромагнитного спектра. Размер данного участка зависит от разрешения полученного снимка. В общем виде такой набор продуктов можно рассматривать как многомерную матрицу характеристик для данной местности, определяя, таким образом, вектор характеристик для каждого участка данной местности.
Ввиду того, что данные, полученные с сенсоров, установленных на спутниках, имеют различные пространственное, спектральное, временное и другие разрешения [2], актуальным становится вопрос слияния продуктов дистанционного зондирования с целью интеграции характеристик и последующего их анализа, например в геоинформационных системах. Информация, содержащаяся в изображении, полученном в результате слияния, является более полной и точной [2], что ведет к более ясному пониманию свойств обозреваемого объекта.
Возникнув на рассвете развития дистанционного зондирования, проблема слияния изображений остается актуальной и ныне ввиду сохраняющихся тенденций к повышению требований к объемам и качеству материала.
Существуют различные приложения слияния изображений, полученных с помощью дистанционного зондирования, среди которых:
- слияние продуктов с разным спектральным разрешением;
- слияние продуктов с разным временным разрешением;
- слияние продуктов, полученных с разных сенсоров.
Далее будет рассмотрено слияние изображений с разным спектральным разрешением (мультиспектральное слияние изображений).
Мультиспектральное слияние изображений
Под мультиспектральным слиянием изображений (multispectral image fusion, pan sharpening) подразумевается процесс, позволяющий получить из панхроматического (panchromatic, Pan) и мультиспектрального (multispectral, MS) каналов двух продуктов одно изображение. Панхроматический канал, как правило, имеет высокое пространственное разрешение, мультиспектральный же — низкое (например, для спутника QuickBird: Pan 0,61-0,72 метра, MS 2,44-2,88 метра [3]). В то же время, например, для геоинформационных систем, необходимо получить изображение как с высоким спектральным, так и пространственным разрешением.
Иллюстрацией данного процесса может служить рис. 1.
Рис. 1 – Мультиспектральное слияние изображений,
полученных со спутника IKONOS. Левое (Pan) и центральное (MS) – исходные изображения, правое – результат слияния [4].
Для решения задачи повышения пространственного разрешения (pan sharpening, multispectral image fusion) было разработано множество методов, в частности:
¾ метод взвешенного усреднения (Weighted Averaging);
¾ метод IHS (Intensity Hue Saturation) и его модификации;
¾ метод PCA (Principal Component Analysis);
¾ разновидности дискретного вейвлет-преобразования (Discrete Wavelet Transform).
Приведенные выше методы являются представителями различных поколений, начиная с самого простого метода – взвешенного усреднения (80-е годы), и заканчивая разновидностями дискретного вейвлет-преобразования (наше время) [5].
Далее рассматриваются принципиальные схемы вышеупомянутых методов.
Метод взвешенного усреднения является одним из самых простых методов и представляет собой попиксельную суперпозицию изображений с учетом весовых коэффициентов [6]. Данный процесс описывается формулой
,
где 
– пиксель соответствующего исходного
изображения, 
– весовой коэффициент,
определяющий долю участия соответствующего исходного изображения в результирующем
продукте.
Метод IHS предполагает трансформацию цветовой модели мультиспектрального изображения — переход из цветового пространства RGB (red, green, blue) в IHS (intensity, hue, saturation), после чего канал I заменяется каналом панхроматического изображения и производится обратная трансформация цветового пространства [5]. Следует заметить, что перед выполнением трансформации цветового пространства следует выполнить увеличение разрешения MS канала до разрешения Pan канала, применив необходимый вид фильтрации. Также перед заменой может выполняться согласование каналов Pan и MS [7].
Принципиальная схема метода IHS изображена на рис. 2.
Рис. 2 – Схема метода IHS
Метод PCA представляет собой трансформацию, в ходе которой взаимно коррелированные полосы мультиспектрального изображения (MS) конвертируются в новый набор некоррелированных компонент. Ввиду сходства первого компонента данного набора с панхроматическим изображением, его заменяют соответственно компонентом Pan, имеющим высокое разрешение, после чего выполняется обратное PCA-преобразование (IPCA, inverse PCA) [5].
Принципиальная схема метода PCA показана на рис. 3.
Рис. 3 – Схема метода PCA
Одними из наиболее современных методов являются разновидности дискретного вейвлет-преобразования [7]. Основной особенностью данных методов является применение к исходным изображениям дискретного вейвлет-преобразования (DWT, discrete wavelet transform), дальнейшее слияние полученных коэффициентов и выполнение обратного преобразования (IDWT, inverse DWT), результатом которого является выходное изображение. Детали процесса слияния, также как и вид вейвлет-преобразования зависят от конкретного метода [5]. Обобщенная принципиальная схема метода изображена на рис. 4.
Рис. 4 – Обобщенная схема для DWT-методов
Практически каждый из существующих методов мультиспектрального слияния изображений имеет свои недостатки, в частности искажения цвета, что не позволяет выделить из них один универсальный [5], ввиду чего следует рассматривать несколько методов, выбирая конкретный с учетом контекста решаемой задачи (источник, характеристики продуктов дистанционного зондирования).
Эффективная реализация мультиспектрального слияния изображений
Под эффективной реализацией далее будем понимать реализацию, обеспечивающую более быструю обработку данных при сохранении уровня качества, обеспечиваемого базовой реализацией.
Большинство методов слияния изображений включают множество ресурсоемких операций, что негативно влияет на производительность их реализаций, учитывая размерности продуктов дистанционного зондирования (например, продукт с разрешением 15 м/пиксель, охватывающий территорию квадратной формы со стороной в 170 км, будет иметь размерность 11333 элементов по горизонтали и вертикали соответственно).
С целью повышения производительности рассмотренных методов может быть рассмотрена возможность адаптировать их алгоритмы для реализации на параллельных компьютерных системах, в частности с использованием возможностей современных видеокартах, позволяющих производить вычисления общего назначения.
Стоит отметить, что, безусловно, такие попытки уже предпринимались, например в [6]. Однако, в работах, посвященных данной теме, рассматривалось использование возможностей программируемых конвейеров современных видеокарт путем реализации методов с использованием шейдерных программ (shaders) и мультипроходного рендеринга (multi-pass rendering). При этом данный подход оправдывает себя, позволяя достигнуть прироста производительности по сравнению с однопоточной реализацией [6] (см. табл. 1).
Таблица 1 – Отдельные результаты, полученные в [6]
|
Разрешение изображений |
Процессор |
Метод взвешенного усреднения (сек) |
Метод, базирующийся на вейвлет-преобразовании (сек) |
|
512х512 |
CPU |
0,016 |
0,364 |
|
512х512 |
GPU |
0,012 |
0,251 |
|
2048х2048 |
CPU |
0,109 |
5,840 |
|
2048х2048 |
GPU |
0,033 |
2,528 |
Однако недостаточно рассмотренным является использование нескольких устройств одновременно (в составе кластера), а также возможности организации одновременной работы как CPU (central processing unit, центральный процессор), так и GPU (graphics processing unit, графический процессор) над одной задачей.
Выводы
Задача слияния мультиспектральных изображений в дистанционном зондировании имеет достаточно большое значение – ее результат дает более полную картину об объекте исследования и широко используется, в частности, в геоинформационных системах.
Существует достаточное количество методов, позволяющих решить данную задачу, каждый из которых имеет свои достоинства и недостатки.
В то же время достаточно важным является вопрос эффективной реализации данных методов, позволяющей достичь высокой производительности. Актуальность данного вопроса обусловлена большими размерностями данных, получаемых с сенсоров при дистанционном зондировании.
Рассмотрев доступные публикации по теме реализации вышеупомянутых методов на параллельных компьютерных системах, можно сделать вывод, что вопрос использования графического кластера (здесь под графическим кластером подразумевается кластер, каждый узел которого обладает видеокартой, позволяющей производить на ней вычисления общего назначения) является малоисследованным. В частности, достаточно малое количество публикаций посвящено использовании технологии CUDA (Compute Unified Device Architecture, программно-аппаратная архитектура, позволяющая производить вычисления общего назначения с использованием графических процессоров NVIDIA).
Ввиду этого планируется исследовать возможность адаптации алгоритмов некоторых из методов мультиспектрального слияния изображений для их реализации на параллельных компьютерных системах с целью достижения повышения производительности при обработке исходных данных больших размерностей.
Литература
1. Введение в дистанционное зондирование [Electronic resource] / Интернет-ресурс. – Режим доступа: www/ URL: http://www.gasu.ru/resour/eposobia/posob/7.html. – Загл. с экрана.
2. G. Simone, A. Farina, F.C. Morabito, S.B. Serpico, L. Bruzzone. Image fusion techniques for remote sensing applications [Electronic resource] / Интернет-ресурс. – Режим доступа: www/ URL: http://rslab.disi.unitn.it/papers/R21-IF.pdf. – Загл. с экрана.
3. QuickBird Satellite Images and Sensor Specifications [Electronic resource] / Интернет-ресурс. – Режим доступа: www/ URL: http://www.satimagingcorp.com/satellite-sensors/quickbird.html. – Загл. с экрана.
4. Image fusion and pan-sharpening: the big picture [Electronic resource] / Интернет-ресурс. – Режим доступа: www/ URL: http://www.geosage.com/highview/imagefusion.html. – Загл. с экрана.
5. Yun Zhang. Understanding Image Fusion [Electronic resource] / Интернет-ресурс. – Режим доступа: www/ URL: http://studio.gge.unb.ca/unb/zoomview/PERS_Vol70_No6_paper.pdf. – Загл. с экрана.
6. Seung-Hun Yoo, Sung-Up Jo, Ki-Young Choi, Chang-Sung Jeong. A Framework for Multisensor Image Fusion using Graphics Hardware [Electronic resource] / Интернет-ресурс. – Режим доступа: www/ URL: http://isif.org/fusion/proceedings/fusion08CD/papers/1569108117.pdf. – Загл. с экрана.
7. Image fusion - Wikipedia, the free encyclopedia [Electronic resource] / Интернет-ресурс. – Режим доступа: www/ URL: http://en.wikipedia.org/wiki/Image_fusion. – Загл. с экрана.