Мультиспектральное слияние изображений
Разновидности дискретного вейвлет-преобразования
Эффективная реализация мультиспектрального слияния изображений
Под дистанционным зондированием подразумевается процесс сбора информации об объекте, территории или явлении без непосредственного контакта с ним. Методы дистанционного зондирования основаны на регистрации в аналоговой или цифровой форме отраженного или собственного электромагнитного излучения участков поверхности в широком спектральном диапазоне [1].
Получив интенсивное развитие, дистанционное зондирование предоставило ученым и профильным специалистам новые возможности для исследования земной поверхности, обеспечив наличие существенного объема разнообразных данных, обладающих достаточно высоким качеством.
Под продуктом дистанционного зондирования подразумеваются цифровые изображения, значения пикселей которых отвечают значениям какой-либо характеристики (отражательной способности, температуры и т. д.) соответствующего участка поверхности местности в определенной полосе электромагнитного спектра. Размер данного участка зависит от разрешения полученного снимка. В общем виде такой набор продуктов можно рассматривать как многомерную матрицу характеристик для данной местности, определяя таким образом вектор характеристик для каждого участка данной местности.
Ввиду того, что данные, полученные с сенсоров, установленных на спутниках, имеют различные пространственное, спектральное, временное и другие разрешения [2], актуальным становится вопрос слияния продуктов дистанционного зондирования с целью интеграции характеристик и последующего их анализа, например в геоинформационных системах. Информация, содержащаяся в изображении, полученном в результате слияния, является более полной и точной [2], что ведет к более ясному пониманию свойств обозреваемого объекта.
Возникнув на рассвете развития дистанционного зондирования, проблема слияния изображений остается актуальной и ныне ввиду сохраняющихся тенденций к повышению требований к объемам и качеству материала. В свою очередь, данные требования порождают новые, состоящие в необходимости обеспечения повышения производительности реализаций методов слияния изображений. В контексте данной задачи, с целью обеспечить максимальную вычислительную мощность, достаточно разумным будет рассмотреть возможности модификации (адаптации) алгоритмов упомянутых методов с целью их эффективной реализации на параллельных компьютерных системах, в частности на видеокартах, ввиду того, что современные графические адаптеры достигли небывалой вычислительной мощности, обеспечив высокую степень параллелизма на многих уровнях (уровень задач, уровень команд, уровень данных) [6]. Также следует отметить, что в открытом доступе находится очень мало работ, посвященных эффективной реализации методов слияния изображений для графических адаптеров. Более того – весьма интересен вопрос получения прироста производительности с применением кластера, каждый узел которого оборудован вышеупомянутыми устройствами. Поэтому, современное состояние развития технологий дистанционного зондирования, выдвигая повышенные требования к качеству и производительности слияния изображений, обусловливает актуальность исследований на вышеизложенную тему.
В задаче слияния изображений, полученных с помощью дистанционного зондирования существуют различные приложения, среди которых:
Далее будет рассмотрено слияние изображений с разным спектральным разрешением (мультиспектральное слияние изображений).
Под мультиспектральным слиянием изображений (multispectral image fusion, pan sharpening) подразумевается процесс, позволяющий получить из панхроматического (panchromatic, Pan) и мультиспектрального (multispectral, MS) каналов двух продуктов одно изображение. Панхроматический канал, как правило, имеет высокое пространственное разрешение, мультиспектральный же — низкое (например, для спутника QuickBird: Pan 0,61-0,72 метра, MS 2,44-2,88 метра [3]). В то же время, например, для геоинформационных систем, необходимо получить изображение как с высоким спектральным, так и пространственным разрешением. Иллюстрацией данного процесса может служить рис. 1.
![Рис. 1 – Мультиспектральное слияние изображений,
полученных со спутника IKONOS. Левое (Pan) и центральное (MS) – исходные изображения, правое – результат слияния
[4]](abstract1.jpg)
Рис. 1 – Мультиспектральное слияние изображений, полученных со спутника IKONOS. Левое (Pan) и центральное (MS) – исходные изображения, правое – результат слияния [4]
Для решения задачи повышения пространственного разрешения (pan sharpening, multispectral image fusion) было разработано множество методов, в частности:
Приведенные выше методы являются представителями различных поколений, начиная с самого простого метода – взвешенного усреднения (80-е годы), и заканчивая разновидностями дискретного вейвлет-преобразования (наше время) [5]. Далее рассматриваются принципиальные схемы вышеупомянутых методов.
Метод взвешенного усреднения является одним из самых простых методов и представляет собой попиксельную суперпозицию изображений с учетом весовых коэффициентов [6]. Данный процесс описывается формулой
I(x,y) = w1I1(x,y) + w2I2(x,y)
где Ik(x,y) – пиксель соответствующего исходного изображения, wk – весовой коэффициент, определяющий долю участия соответствующего исходного изображения в результирующем продукте.
Несмотря на то, что данный метод слияния является самым простым из рассматриваемых, а также не обладает преимуществами в виде обеспечения более высокого качества результата, его простота ведет к тому, что он практически не требует оптимизаций, что, в свою очередь, необходимо для повышения объективности сравнения реализаций для различных платформ.
Метод IHS предполагает трансформацию цветовой модели мультиспектрального изображения — переход из цветового пространства RGB (red, green, blue) в IHS (intensity, hue, saturation), после чего канал I заменяется каналом панхроматического изображения и производится обратная трансформация цветового пространства [5]. Следует заметить, что перед выполнением трансформации цветового пространства следует выполнить увеличение разрешения MS канала до разрешения Pan канала, применив необходимый вид фильтрации. Также перед заменой может выполняться согласование каналов Pan и MS [7]. Принципиальная схема метода IHS изображена на рис. 2.
Рис. 2 – Схема метода IHS
Метод PCA представляет собой трансформацию, в ходе которой взаимно коррелированные полосы мультиспектрального изображения (MS) конвертируются в новый набор некоррелированных компонент. Ввиду сходства первого компонента данного набора с панхроматическим изображением, его заменяют соответственно компонентом Pan, имеющим высокое разрешение, после чего выполняется обратное PCA-преобразование (IPCA, inverse PCA) [5]. Принципиальная схема метода PCA показана на рис. 3.
Рис. 3 – Схема метода PCA
Одними из наиболее современных методов являются разновидности дискретного вейвлет-преобразования [7]. Основной особенностью данных методов является применение к исходным изображениям дискретного вейвлет-преобразования (DWT, discrete wavelet transform), дальнейшее слияние полученных коэффициентов и выполнение обратного преобразования (IDWT, inverse DWT), результатом которого является выходное изображение. Детали процесса слияния, также как и вид вейвлет-преобразования зависят от конкретного метода [5]. Обобщенная принципиальная схема метода изображена на рис. 4.
Рис. 4 – Обобщенная схема для DWT-методов (анимация: 5 кадров, 9 секунд, объем 25 КБ)
Практически каждый из существующих методов мультиспектрального слияния изображений имеет свои недостатки, в частности искажения цвета, что не позволяет выделить из них один универсальный [5], ввиду чего следует рассматривать несколько методов, выбирая конкретный с учетом контекста решаемой задачи (источник, характеристики продуктов дистанционного зондирования).
Под эффективной реализацией далее будем понимать реализацию, обеспечивающую более быструю обработку данных при сохранении уровня качества, обеспечиваемого базовой реализацией.
Большинство методов слияния изображений включают множество ресурсоемких операций, что негативно влияет на производительность их реализаций, учитывая размерности продуктов дистанционного зондирования (например, продукт с разрешением 15 м/пиксель, охватывающий территорию квадратной формы со стороной в 170 км, будет иметь размерность 11333 элементов по горизонтали и вертикали соответственно).
С целью повышения производительности рассмотренных методов может быть рассмотрена возможность адаптировать их алгоритмы для реализации на параллельных компьютерных системах, в частности с использованием возможностей современных видеокартах, позволяющих производить вычисления общего назначения.
Стоит отметить, что, безусловно, такие попытки уже предпринимались, например в [6] [8]. В работах, посвященных данной теме, рассматривалось использование возможностей программируемых конвейеров современных видеокарт путем реализации методов с использованием шейдерных программ (shaders) и мультипроходного рендеринга (multi-pass rendering). При этом данный подход оправдывает себя, позволяя достигнуть прироста производительности по сравнению с однопоточной реализацией [6] (см. табл. 1).
| Разрешение изображений | Процессор | Метод взвешенного усреднения (сек) | Метод, базирующийся на вейвлет-преобразовании (сек) |
|---|---|---|---|
| 512х512 | CPU | 0,016 | 0,364 |
| 512х512 | GPU | 0,012 | 0,251 |
| 2048х2048 | CPU | 0,109 | 5,840 |
| 2048х2048 | GPU | 0,033 | 2,528 |
Однако недостаточно рассмотренным является использование нескольких устройств одновременно (в составе кластера), а также возможности организации одновременной работы как CPU (central processing unit, центральный процессор), так и GPU (graphics processing unit, графический процессор) над одной задачей.
Задача слияния мультиспектральных изображений в дистанционном зондировании имеет достаточно большое значение – ее результат дает более полную картину об объекте исследования и широко используется, в частности, в геоинформационных системах. Существует достаточное количество методов, позволяющих решить данную задачу, каждый из которых имеет свои достоинства и недостатки.
В то же время достаточно важным является вопрос эффективной реализации данных методов, позволяющей достичь высокой производительности. Актуальность данного вопроса обусловлена большими размерностями данных, получаемых с сенсоров при дистанционном зондировании, что обусловлено постоянным развитием технологий.
Рассмотрев доступные публикации по теме реализации вышеупомянутых методов на параллельных компьютерных системах, можно сделать вывод, что вопрос использования графического кластера (здесь под графическим кластером подразумевается кластер, каждый узел которого обладает видеокартой, позволяющей производить на ней вычисления общего назначения) является малоисследованным. В частности, достаточно малое количество публикаций посвящено использовании технологии CUDA (Compute Unified Device Architecture, программно-аппаратная архитектура, позволяющая производить вычисления общего назначения с использованием графических процессоров NVIDIA) в контексте решения задачи мультиспектрального слияния изображений в дистанционном зондировании. В то же время использование данной технологии может обеспечить успех в решении задачи поиска эффективной реализации методов слияния, на что указано в соответствующих работах исследователей (например, в [6]).
Ввиду этого планируется исследовать возможность адаптации алгоритмов некоторых из методов мультиспектрального слияния изображений для их реализации на параллельных компьютерных системах с целью достижения повышения производительности при обработке исходных данных больших размерностей.
На момент написания данного реферата магистерская работа еще является не завершенной. Предполагаемая дата завершения: 1 декабря 2011 г., ввиду чего полный текст работы, а также материалы по теме могут быть получены у автора или его руководителя только после указанной даты.