Увеличение пространственного разрешения мультиспектральных космических снимков (Fusion)
Автор Ян Занг (Photogrammetric Engineering and Remote Sensing
Magazine) Июнь 2004
Перевод компании «Совзонд»
Источник: http://www.sovzond.net/articles/article_enlarge.html
Слияние изображений ( fusion ), также называемое pan - sharpening
(то есть искусственное увеличение пространственного разрешения), это метод,
использующий объединение геометрических деталей панхроматического изображения с
высокой разрешающей способностью ( Pan ) и цветной информации
мультиспектрального изображение с низкой разрешающей способностью ( MS ) с
целью получения мультиспектрального изображения с высокой разрешающей
способностью . Этот метод имеет особенно большое значение для крупномасштабных
изображений.
Значение слияния изображений
Чем этот метод интересен? Большинство ИСЗ, такие как IKONOS ,
QuickBird , SPOT , IRS , Landsat 7, а также некоторые современные датчики,
устанавливаемые на самолетах, такие как Leica ADS 40, поставляют одновременно
панхроматические изображения с высоким пространственным расширением и
мультиспектральные изображения с низким разрешением. Эффективный метод слияния
изображений фактически может расширить возможности использования данных ДЗЗ,
так как для многих областей, особенно для ГИС приложений, требуется, чтобы
изображения обладали одновременно и высоким пространственным и высоким
спектральным разрешениями.
Почему большинство спутников не могут получать MS изображения с
таким пространственным разрешением, которое соответствовало бы высоким
требованиям, предъявляемым к пространственному и спектральному разрешениям
одновременно? Существуют два основных технических ограничения: (1) поступающая
на спутник энергия излучения , и (2) объем данных, поступающих на спутник . Вообще,
панхроматическое изображение покрывает более широкий диапазон длин волн , тогда
как MS изображение покрывает узкий спектральный диапазон. Для того чтобы
получить то же самое количество энергии на вход оптико-электронной системы
спутника, размер панхроматического сенсора может быть меньше, чем размер
мультиспектрального сенсора. Поэтому, на той же самой платформе спутника или
самолета, разрешение панхроматического сенсора может быть выше, чем разрешение
мультиспектрального сенсора. Кроме того, объем данных MS изображения с высоким
разрешением значительно больше, чем объем данных Pan изображения с высоким
разрешением или MS изображения с низким разрешением . Такое связанное решение
может смягчить проблемы ограничений, существующих для емкости бортового запоминающего
устройства и для норм передачи данных с бортовой платформы на землю.
При рассмотрении этих ограничений становится очевидным, что самое
эффективное решение для обеспечения высокого пространственного разрешения и
одновременно высокого спектрального разрешения данных ДЗЗ состоит в развитии
эффективных методов слияния изображений.
Существующие методы слияния изображений
В середине 1980-х годов слияние изображений обратило на себя
пристальное внимание исследователей в области ДЗЗ и обработки изображений,
поскольку SPOT 1 (запущенный в 1986 г .), обеспечил получение Pan изображений с
высокой разрешающей способностью ( 10 м ) и MS изображений с низкой разрешающей
способностью ( 20 м ). С тех пор было проведено большое количество исследований
с целью разработать эффективные методы слияния изображений. Например, в обзоре
методов слияния изображений, опубликованном в 1998 г . в International Journal of Remote Sensing ,
упомянуто приблизительно 150 академических документов по этой теме. После 1998
г . были опубликованы многие научные работы по слиянию изображений, в которых
акцент делался на улучшении качества результирующего изображения и на
уменьшении цветовых искажений. Среди сотен различных методов слияния
изображений самыми популярными и эффективными являются: IHS (Тон, Насыщенность,
Интенсивность), PCA (анализ главных компонент изображения), арифметические
комбинации и слияние на основе wavelet -преобразования:
- Слияние по методу IHS преобразовывает цветное изображение из RGB
(Красный, Зеленый, Синий) представления в IHS (Hue-Saturation-Intensity)
представление. При этом RGB изображение трансформируется в 3 отдельных
изображения, каждое из которых имеет максимальные характеристики соответственно
интенсивности ( I ), насыщенности ( S ) и оттенков ( H ) цветов. Поскольку
изображение с максимальной интенсивностью I походит на Pan изображение, оно
заменяется при слиянии Pan изображением с высокой разрешающей способностью.
Затем выполняется обратное IHS преобразование Pan изображения совместно с
изображениями H и S , получая в результате IHS изображение.
- PCA преобразование (преобразование данных с использованием PCA
матрицы) конвертирует взаимосвязанные MS диапазоны в новый набор
некоррелированных компонент . Первый компонент также напоминает Pan изображение
. Поэтому при слиянии он также замещается Pan данными с высокой разрешающей
способностью. Pan изображение объединяется с MS диапазонами с низкой
разрешающей способностью путем выполнения обратного PCA преобразования .
- Для слияния изображений были разработаны различные методы
арифметических комбинаций. Из них наиболее успешными являются: Brovey Transform
, SVR (Комплексный переменный коэффициент), и RE ( Усовершенствованный
коэффициент ). Основная процедура метода Brovey Transform заключается в том,
что сначала каждый диапазон исходного MS изображения умножают на диапазон Pan
изображения с высокой разрешающей способностью, а затем каждое полученное
произведение делится на сумму MS диапазонов. SVR и RE методы похожи, но
включают в себя более сложные вычисления сумм MS диапазонов для получения
лучшего качества результирующего изображения.
- В слиянии на основе wavelet-преобразования Pan изображение
с высокой разрешающей способностью сначала расчленяют на ряд Pan изображений с
низкой разрешающей способностью с соответствующими wavelet-коэффициентами
(пространственные детали) для каждого уровня. Затем отдельные диапазоны MS
изображения заменяют Pan диапазоном низкого разрешения, приблизительно равного
разрешению исходного MS изображения. Пространственные детали с высокой
разрешающей способностью вводятся в каждый MS диапазон посредством выполнения
обратного wavelet-преобразования для каждого MS диапазона совместно с
соответствующими wavelet-коэффициентами.
Ограничения существующих методов слияния изображений
Многие исследовательские отчеты сообщают об ограничениях
существующих методов слияния. Самая существенная проблема – цветовые искажения.
Другая общая проблема состоит в том, что качество слияния часто зависит от
опыта оператора и от качества исходных данных. До сих пор не было найдено
единого универсального автоматизированного решения для получения
высококачественных результатов слияния для различных наборов данных .
Для уменьшения цветовых искажений и улучшения качества результатов
слияния было разработано множество разнообразных стратегий, каждая из которых
предназначена для определенного метода слияния или набора исходных данных.
Например:
- Для слияния по методу IHS общая стратегия состоит в том, чтобы
привести Pan данные к I диапазону перед заменой, расширить H и S диапазоны
перед обратным IHS преобразованием, или расширить отдельные I, H или S
диапазоны по отношению к отдельным наборам данных.
- В слиянии по методу PCA , например, предлагается расширить
основные компоненты, чтобы получить сферическое распределение, или отказаться
от первого основного компонента.
- В слиянии по методу арифметических комбинаций цветовые искажения
изменяются в зависимости от того, данные каких спектральных каналов объединяются.
Для достижения хорошего результата важны: предварительная обработка данных и
опыт оператора, выполняющего слияние.
-В слиянии изображений на основе wavelet-преобразования было
разработано много вариантов для решения проблемы цветовых искажений.
Выбрав надлежащий метод слияния и применяя соответствующую
стратегию регулирования, можно получить успешные результаты слияния
панхроматических изображений SPOT или IRS с мультиспектральными изображениями
низкого разрешения типа Landsat ТМ, SPOT MS или IRS MS . Но опыт оператора
по-прежнему играет важную роль для достижения успеха.
К сожалению, качественные результаты при слиянии Pan и MS
изображений, полученных от спутников, запущенных после 1999 г . (например,
IKONOS , QuickBird , OrbView , Landsat 7) редко могут быть получены с
использованием традиционных методов слияния и регулирования для таких
изображений .
Причины цветовых искажений
Для новых спутниковых данных главной причиной существенных
цветовых искажений в результирующем изображении является расширение длин волн
новых спутниковых панхроматических изображений. В отличие от Pan изображений
SPOT и IRS датчиков, диапазон длин волн новых спутников расширен от видимого в
ближнюю инфракрасную область спектра (Таблица 1). Это различие значительно
изменяет значения уровней серого новых Pan изображений. Поэтому традиционные
методы слияния, которые так хорошо подходят для слияния панхроматических SPOT
изображений с другими мультиспектральными данными, не могут получить
качественные результаты при слиянии новых спутниковых изображений.
Таблица 1. Спектральные диапазоны различных панхроматических
изображений
|
Спутниковый датчик |
Спектральный диапазон (мкм) |
|
|
SPOT 1, 2, 3 (HRV) |
0.51 -0.73 |
|
|
SPOT 5 (HRG) |
|
|
|
IRS 1C , 1D (PAN) |
0.50-0.75 |
|
|
Landsat 7 (ETM+) |
0.52 - 0.90 |
|
|
Landsat 7 (ETM+) |
0.45 - 0.90 |
|
|
QuickBird |
0.45 - 0.90 |
|
|
OrbView |
0.45 - 0.90 |
Существенное различие значений уровней серого между Pan SPOT и Pan
IKONOS изображениями хорошо видно на рисунках 1a и 1b. Например, области
растительности на Pan SPOT изображении (рисунок 1a) кажутся более темными, чем
области тротуара. Однако, из-за влияния ближнего инфракрасного спектра, они
выглядят более яркими, чем области тротуара в изображении Pan IKONOS (рисунок 1
b).
Рисунок 1. Различия в значениях уровней серого между Pan SPOT (a),
Pan IKONOS (b), и между I полосой IHS преобразования и 1, 2 и 3 (c) MS каналами
IKONOS; на изображениях показан университетский городок Фредериктон
Университета Нью-Брансвик.
На рис. 1c показана I полоса IHS преобразования 1, 2 и 3 каналов
MS IKONOS изображения. Различие между значениями уровней серого I полосы и Pan
IKONOS значительно больше, чем с I полосой Pan SPOT (то же и для I полосы ТМ
Landsat). Значения уровней серого I полосы (рис. 1c) даже близки к негативам
Pan IKONOS (иллюстрация 1 b). Если I полосу заменить Pan IKONOS данными для
слияния по методу IHS, это, конечно, приведет к существенному цветовым
искажениям.
Однако, если бы I полоса (рис. 1 c ) была заменена I полосой
изображения с высокой разрешающей способностью и со значениями уровней серого
как у Pan SPOT (рис. 1 a ), то цветовые искажения значительно уменьшилось бы .
Поэтому неудивительно, что IHS алгоритмы, успешные для слияния Pan SPOT с
другими MS изображениями, не могут достигнуть качественных результатов слияния
с новыми спутниковыми изображениями.
На рис. 2 показаны первые и вторые основные компоненты ( PC 1 и PC
2) 1,2 и 3 MS каналов IKONOS в сравнении с исходным Pan IKONOS изображением .
PC 1 (похожий на I полосу ) значительно отличается от Pan IKONOS . Различие
между PC 2 и Pan IKONOS еще более существенно. Слияние по методу PCA - замена
PC 1 или PC 2 на Pan IKONOS - конечно вызовет существенные цветовые искажения.
Рис. 3 иллюстрирует исходные панхроматическое и мультиспектральные
изображения IKONOS и разложение исходного Pan изображения, сделанное на основе
wavelet-преобразования. Хорошо видно, что исходное Pan изображение значительно
отличается от исходных данных всех трех MS каналов . Если бы был доступен набор
MS изображений с высокой разрешающей способностью, то пространственные детали,
извлеченные из них, конечно бы отличались от тех, которые были взяты из
панхроматического изображения с высоким разрешением. Поэтому, вводя
пространственные детали из Pan изображения (иллюстрация 3e вверху справа, ниже
слева, и ниже справа) в каждый из трех MS диапазонов с низкой разрешающей
способностью, метод слияния с помощью wavelet-преобразования внесет цветовые
искажения в результат слияния.
Другие методы слияния, типа Brovey , SVR и RE методов, также
приводят к неудовлетворительным результатам для новых спутниковых изображений
из-за расширения спектрального диапазона Pan изображений.
Обращаясь к проблеме значительных цветовых искажений, получаемых
при слиянии новых спутниковых изображений, современная промышленность стремится
к дальнейшему улучшению результатов слияния на основе wavelet-преобразования .
Некоторые новые методы на основе wavelet-преобразования продемонстрировали
уменьшение цветовых искажений. Некоторые методы слияния на основе IHS или PCA
преобразований также достигли неплохих результатов, объединяя наиболее
эффективные стратегии регулирования. Однако цветовые искажения все еще
присутствуют во многих случаях, и качество слияния изменяется в зависимости от
набора объединяемых данных .
Новый подход к выполнению слияния изображений
Рисунок 2. Различие значений уровней серого между PC 2 ( a ), Pan
IKONOS ( b ), и PC 1 ( c ).
Новый метод – статистическое слияние, в настоящее время
осуществляемое в программном продукте PCI-Geomatica в специальном модуле
PANSHARP - делает серьезную заявку на автоматизацию слияния. Вся процедура
реализована как одношаговый процесс. Если известны геопривязки исходных MS и
Pan изображений, то процесс дискретизации также может быть выполнен вместе с
процессом слияния. Все мультиспектральные диапазоны могут быть объединены
одновременно (за один раз). Также можно провести слияние отдельно для
мультиспектрального канала, определенного пользователем. Слияние геопривязанной
16-битной сцены QuickBird с 4 MS каналами и объемом 12,000Х12,000 Pan пикселей
занимает в общей сложности 31 минуту при использовании стационарного PC Pentium
4 1.8 ГГц и 1 Гб RAM. Из этого времени 26 минут требуется на дискретизацию и
только 5 минут собственно на слияние. Статистический метод решает две основные
проблемы слияния изображений – цветовые искажения и зависимость от оператора
(или от набора данных). Он имеет два принципиальных отличия от существующих
методов:
- для уменьшения цветовых искажений используется метод наименьших
квадратов при нахождении наилучшего соответствия между значениями уровней
серого диапазонов сливаемых изображений и при регулировании вклада каждого
отдельного диапазона в результирующее изображение;
- для устранения зависимости от набора исходных данных (то есть
для уменьшения влияния изменений исходных данных) и для автоматизации процесса
слияния используется статистический подход к оценке отношения значений уровней
серого между всеми входящими каналами.
На обложке этого выпуска PHOTOGRAMMETRIC ENGINEERING & REMOTE SENSING c лева показана мозаика из оригинального цветного MS изображения (канал 2.4 м ) QuickBird, Pan изображения 0.6 м (вверху), результата слияния на основе статистики (в центре справа) и результата слияния с усовершенствованной обработкой цветов (внизу). Изображение включает в себя территорию Оперного Театра в Сиднее, Австралия, а также часть бизнес центр а Сиднея. Весь процесс слияния не требует ручного вмешательства. Для воспроизведения изображения было применено одно и то же выравнивание гистограмм ко всем изображениям, включая исходное MS (слева), исходное Pan (вверху), результирующее изображение (в середине справа) и результирующее изображение с усовершенствованной обработкой цветов (внизу).
В сравнении с цветом исходного
мультиспектрального изображения, цвет результирующего изображения остался
практически неизмененным для всех объектов (см. обложку, слева и в центре
справа) . В пространственном отношении все детали панхроматического изображения
также великолепно интегрировались в результирующее изображение (вверху и в
центре справа ). Благодаря эффективной комбинации цветных и пространственных
элементов, детали под тенями высотных зданий, типа автомобилей, деревьев и
окон, выглядят даже более отчетливо в результирующем изображении, чем в
оригинальном панхроматическом изображении.
Рисунок 3. Исходное изображение IKONOS мультиспектральные каналы:
1 ( a ), 2 ( b ), 3 ( c ), панхроматический ( d ), разложение исходного
панхроматического изображения с низким разрешением на основе wavelet
-преобразования ( e ) (вверху слева) и wavelet -коэффициенты (пространственные
детали) в горизонтальном, вертикальном и диагональном направлениях (вверху
справа, ниже слева и ниже справа).
Рисунок 4. Исходное изображение Сиднея, Австралия, сделанное со
спутника QuickBird в мультиспектральном диапазоне 2.4 м ; часть результирующего
цветного изображения 0.6 м , полученного статистическим методом ( верхнее
среднее; нижние левое и правое ); часть результирующего изображения 0.6 м с
усовершенствованной обработкой цветов ( верхнее левое и правое; нижнее среднее
).
Рис. 4 показывает часть сцены исходного MS изображения QuickBird
Сиднея, Австралия, с разрешением 2.4 м и с площадью покрытия 6 км х 6 км .
Площадь полной сцены изображения QuickBird составляет 16.5 км? 16.5 км .
Увеличенные части сцены вверху и внизу на рис. 4 являются подмножествами
результирующего изображения 0.6 м , полученного в результате статистического
слияния (вверху в середине; внизу слева и справа), и подмножествами
результирующего изображения, полученного путем слияния с усовершенствованной
цветовой обработкой (вверху слева и справа, внизу в середине). Сравнивая
результат статистического слияния с оригиналом MS изображения, можно видеть,
что цвет результирующего изображения (вверху в середине; внизу слева и справа),
почти идентичен с цветом исходного MS изображения. Пространственные детали в
результирующих подсценах, однако, значительно увеличены. Легко распознать даже
дорожки в плавательном бассейне (вверху посередине) и бушприт, мачты и реи
плывущего судна (внизу слева) .
Заключение и перспективы
Мультиспектральные спутниковые изображения с высокой разрешающей
способностью являются важным источником данных для получения крупномасштабной и
детальной геопространственной информации для разнообразных приложений. Для
получения или воспроизведения такой информации часто используются три метода:
визуальное дешифрирование, цифровая классификация и визуализация цветных
изображений .
В зависимости от цели использования:
1) некоторым пользователям требуется получить в результате слияния
изображение, которое показывает больше цветных деталей, для лучшего
дешифрирования изображения или использования его для картографирования;
2) некоторым пользователям необходимо получить в результате
слияния изображение, которое улучшает точность цифровой классификации;
3) некоторые пользователи желают получить визуально красивое
цветное изображение, исключительно в целях визуализации.
Поэтому, для разных слияний (ориентируемых на картографию,
ориентируемых на классификацию и ориентируемых на визуализацию изображений)
пользуются спросом различные методы.
В настоящее время методы слияния изображения (или pan - sharpening
методы ), доказали свою эффективность в деле обеспечения улучшенных данных ДЗЗ
для визуальной интерпретации, картографирования и интеграции с ГИС.
Статистический метод слияния может объединять Pan и MS изображения новых
спутников, так же как изображений SPOT и IRS , в результате чего получаются:
минимизированные цветовые искажения, максимальная детализация и естественные
цвета и объединение деталей.
Однако, все еще ощущается нехватка эффективных методов слияния,
ориентируемого на классификацию и на визуализацию. Первый автоматизированный
метод для ориентируемого на визуализацию слияния, названный слиянием с
усовершенствованной цветовой обработкой, был разработан в Департаменте
Геодезических и Геоматических Разработок в Университета Нью-Брансвик (См. Рис 4
вверху слева и справа и внизу в середине). Деревья и лужайки кажутся более
естественными и ясно отделяются от зданий, особенно в зонах плотной застройки
(см. обложку, сравните деревья внизу и в центре слева). Простой выборочный
опрос среди студентов и преподавателей в Университете Нью-Брансвик показал, что
результирующее изображение, полученное методом слияния с усовершенствованной
цветовой обработкой, было самым привлекательным для всех опрошенных.
Признательность
Выражаю свою глубокую признательность и благодарность Мэтью Вуду и
Мэри Болтон из DigitalGlobe за предоставленные необработанные MS и Pan
изображения QuickBird, а также Дэвиду Стэнли из PCI Geomatics за обеспечение
возможности использовать PANSHARP модуль ПП PCI-Geomatica.
Об авторе
Доктор Ян Жанг - доцент Отдела геодезических и геоматических
разработок Университета Нью-Брансвик, Канада, получил степень доктора философии
Свободного Университета Берлина, Германия (1997). Имеет более чем 10-летний
опыт непосредственного участия в исследованиях в области обработки данных ДЗЗ,
включая слияние изображений и распознавание деталей. Работал с разнообразными
университетами и национальными научно-исследовательскими институтами во всем
мире, например, с немецким Космическим Центром ( DLR ), Техническим
Университетом Берлина и Университетом Вухань (Китай). Получил многие
международные стипендии и награды.