Мультиспектральне злиття зображень
Різновиди дискретного вейвлет-перетворення
Ефективна реалізація мультиспектрального злиття зображень
Під дистанційним зондуванням мається на увазі процес збору інформації про об'єкт, територію або явище без безпосереднього контакту з ним. Методи дистанційного зондування засновані на реєстрації в аналоговій або цифровій формі відбитого або власного електромагнітного випромінювання ділянок поверхні в широкому спектральному діапазоні [1].
Отримавши інтенсивний розвиток, дистанційне зондування надало вченим і профільним фахівцям нові можливості для дослідження земної поверхні, забезпечивши наявність істотного обсягу різноманітних даних, які мають досить високу якість.
Під продуктом дистанційного зондування маються на увазі цифрові зображення, значення пікселів яких відповідають значенням будь-якої характеристики (відбивної здатності, температури і т. д.) відповідної ділянки поверхні місцевості в певній смузі електромагнітного спектру. Розмір даної ділянки залежить від роздільності отриманого знімка. У загальному вигляді такий набір продуктів можна розглядати як багатовимірну матрицю характеристик для даної місцевості, визначаючи таким чином вектор характеристик для кожної ділянки даної місцевості.
З огляду на те, що дані, отримані із сенсорів, встановлених на супутниках, мають різні просторовий, спектральний, тимчасове та інші роздільні здатності [2], актуальним стає питання злиття продуктів дистанційного зондування з метою інтеграції характеристик і подальшого їх аналізу, наприклад у геоінформаційних системах. Інформація, що міститься в зображенні, отриманому в результаті злиття, є більш повною і точною [2], що веде до більш чіткого усвідомлення властивостей об'єкта, що оглядається.
Виникнувши на світанку розвитку дистанційного зондування, проблема злиття зображень залишається актуальною і нині з огляду зберігання тенденцій до підвищення вимог до обсягів і якості матеріалу. У свою чергу, дані вимоги породжують нові, що складаються в необхідності забезпечення підвищення продуктивності реалізацій методів злиття зображень. У контексті даного завдання, з метою забезпечити максимальну обчислювальну потужність, досить розумним буде розглянути можливості модифікації (адаптації) алгоритмів згаданих методів з метою їх ефективної реалізації на паралельних комп'ютерних системах, зокрема на відеокартах, з огляду на те, що сучасні графічні адаптери досягли небувалої обчислювальної потужності, забезпечивши високу ступінь паралелізму на багатьох рівнях (рівень завдань, рівень команд, рівень даних) [6]. Також слід зазначити, що у відкритому доступі знаходиться дуже мало робіт, присвячених ефективній реалізації методів злиття зображень для графічних адаптерів. Більше того – дуже цікавим є питання отримання приросту продуктивності з застосуванням кластера, кожен вузол якого обладнаний вищезгаданими пристроями. Тому, сучасний стан розвитку технологій дистанційного зондування, висуваючи підвищені вимоги до якості та продуктивності злиття зображень, обумовлює актуальність досліджень на вищевикладену тему.
У задачі злиття зображень, отриманих за допомогою дистанційного зондування існують різні додатки, серед яких:
Далі буде розглянуто злиття зображень з різною спектральною роздільною здатністю (мультиспектральне злиття зображень).
Під мультиспектральним злиттям зображень (multispectral image fusion, pan sharpening) мається на увазі процес, що дозволяє отримати з панхроматичного (panchromatic, Pan) і мультиспектрального (multispectral, MS) каналів двох продуктів одне зображення. Панхроматичний канал, як правило, має високу просторову роздільну здатність, мультиспектральний – низьку (наприклад, для супутника QuickBird: Pan 0,61-0,72 метра, MS 2,44-2,88 метра [3]). У той же час, наприклад, для геоінформаційних систем, необхідно отримати зображення як з високою спектральною, так і просторовою роздільною здатністю. Ілюстрацією цього процесу може служити рис. 1.
![Рис. 1 - Мультиспектральне злиття зображень, отриманих із супутника IKONOS. Ліве (Pan) і центральне (MS) - вихідні зображення, праве - результат злиття [4]](abstract1.jpg)
Рис. 1 – Мультиспектральне злиття зображень, отриманих із супутника IKONOS. Ліве (Pan) і центральне (MS) – вихідні зображення, праве – результат злиття [4]
Для вирішення завдання підвищення просторової роздільної здатності (pan sharpening, multispectral image fusion) було розроблено безліч методів, зокрема:
Наведені вище методи є представниками різних поколінь, починаючи з найпростішого методу – зваженого усереднення (80-і роки), і закінчуючи різновидами дискретного вейвлет-перетворення (наш час) [5]. Далі розглядаються принципові схеми вищезазначених методів.
Метод зваженого усереднення є одним з найпростіших методів і являє собою попіксельно суперпозицію зображень з урахуванням вагових коефіцієнтів [6]. Даний процес описується формулою
I(x,y) = w1I1(x,y) + w2I2(x,y)
де Ik(x,y) – піксель відповідного вихідного зображення, wk – ваговий коефіцієнт, що визначає частку участі відповідного вихідного зображення в результуючому продукті.
Незважаючи на те, що даний метод злиття є найпростішим з аналізованих, а також не має переваги у вигляді забезпечення більш високої якості результату, його простота веде до того, що він практично не вимагає оптимізацій, що, у свою чергу, необхідно для підвищення об'єктивності порівняння реалізацій для різних платформ.
Метод IHS передбачає трансформацію колірної моделі мультиспектрального зображення – перехід з колірного простору RGB (red, green, blue) в IHS (intensity, hue, saturation), після чого канал I замінюється каналом панхроматичного зображення і виконується зворотна трансформація колірного простору [5]. Слід зауважити, що перед виконанням трансформації колірного простору слід виконати збільшення розділності MS каналу до роздільності Pan каналу, застосувавши необхідний вид фільтрації. Також перед заміною може виконуватися узгодження каналів Pan і MS [7]. Принципова схема методу IHS зображена на рис. 2.
Рис. 2 – Схема методу IHS
Метод PCA представляє собою трансформацію, в ході якої взаємно корельовані смуги мультиспектрального зображення (MS) конвертуються в новий набір некорельованих компонент. Зважаючи на подібність першого компонента даного набору до панхроматичного зображення, його замінюють відповідно компонентом Pan, який має високу роздільну здатність, після чого виконується зворотне PCA-перетворення (IPCA, inverse PCA) [5]. Принципова схема методу PCA показана на рис. 3.
Рис. 3 – Схема методу PCA
Одними з найбільш сучасних методів є різновиди дискретного вейвлет-перетворення [7]. Основною особливістю даних
методів є застосування до вихідних зображень дискретного вейвлет-перетворення (DWT, discrete wavelet transform),
подальше злиття отриманих коефіцієнтів і виконання зворотного перетворення (IDWT, inverse DWT), результатом якого є
вихідне зображення. Деталі процесу злиття, також як і вид вейвлет-перетворення залежать від конкретного методу [5].
Узагальнена принципова схема методу зображена на
Рис. 4 – Узагальнена схема для DWT-методів (анімація: 5 кадрів, 9 секунд, обсяг 25 КБ)
Практично кожен з існуючих методів мультиспектрального злиття зображень має свої недоліки, зокрема спотворення кольору, що не дозволяє виділити з них один універсальний [5], тому варто розглядати кілька методів, вибираючи конкретний з урахуванням контексту розв'язуваної задачі (джерело, характеристики продуктів дистанційного зондування).
Під ефективною реалізацією далі будемо розуміти реалізацію, що забезпечує більш швидку обробку даних при збереженні рівня якості, забезпечуваного базовою реалізацією.
Більшість методів злиття зображень включають безліч ресурсомістких операцій, що негативно впливає на продуктивність їх реалізацій, враховуючи розмірності продуктів дистанційного зондування (наприклад, продукт з роздільною здатністю 15 м/піксель, що охоплює територію квадратної форми зі стороною в 170 км, буде мати розмірність 11333 елементів по горизонталі і вертикалі відповідно).
З метою підвищення продуктивності розглянутих методів може бути розглянута можливість адаптувати їх алгоритми для реалізації на паралельних комп'ютерних системах, зокрема з використанням можливостей сучасних відеокарт, що є здатними до обчислень загального призначення.
Варто відзначити, що, безумовно, такі спроби вже робилися, наприклад в [6]. У роботах, присвячених даній темі, розглядалося використання можливостей програмованих конвеєрів сучасних відеокарт шляхом реалізації методів з використанням шейдерних програм (shaders) і багатопрохідного рендеринга (multi-pass rendering). При цьому даний підхід виправдовує себе, дозволяючи досягти приросту продуктивності в порівнянні з однопоточною реалізацією [6] (див. табл. 1).
| Роздільність зображень | Процесор | Метод зваженого усереднення (сек) | Метод, що базується на вейвлет-перетворення (сек) |
|---|---|---|---|
| 512х512 | CPU | 0,016 | 0,364 |
| 512х512 | GPU | 0,012 | 0,251 |
| 2048х2048 | CPU | 0,109 | 5,840 |
| 2048х2048 | GPU | 0,033 | 2,528 |
Проте недостатньо розглянутим є використання декількох пристроїв одночасно (у складі кластера), а також можливості організації одночасної роботи як CPU (central processing unit, центральний процесор), так і GPU (graphics processing unit, графічний процесор) над одним завданням.
Злиття мультиспектральних зображень у дистанційному зондуванні має досить велике значення – його результат дає більш повну картину про об'єкт дослідження і широко використовується, зокрема, у геоінформаційних системах. Існує достатня кількість методів, що дозволяють вирішити цю задачу, кожен з яких має свої переваги і недоліки.
У той же час досить важливим є питання ефективної реалізації даних методів, що дозволяє досягти високої продуктивності. Актуальність даного питання обумовлена багатовимірністю даних, одержуваних з сенсорів при дистанційному зондуванні, що обумовлено постійним розвитком технологій.
Розглянувши доступні публікації по темі реалізації вищезазначених методів на паралельних комп'ютерних системах, можна зробити висновок, що питання використання графічного кластера (тут під графічним кластером мається на увазі кластер, кожен вузол якого має в складі відеокарту, що дозволяє робити на ній обчислення загального призначення) є малодослідженим. Зокрема, досить мала кількість публікацій присвячена використанню технології CUDA (Compute Unified Device Architecture, програмно-апаратна архітектура, що дозволяє робити обчислення загального призначення з використанням графічних процесорів NVIDIA) в контексті вирішення завдання мультиспектрального злиття зображень у дистанційному зондуванні. У той же час використання даної технології може забезпечити успіх у вирішенні завдання пошуку ефективної реалізації методів злиття, на що вказано у відповідних роботах дослідників (наприклад, в [6]).
Зважаючи на це планується дослідити можливість адаптації алгоритмів деяких з методів мультиспектрального злиття зображень для їх реалізації на паралельних комп'ютерних системах з метою досягнення підвищення продуктивності при обробці вихідних даних великих розмірностей.
На момент написання даного реферату магістерська робота ще є не завершеною. Передбачувана дата завершення: 1 грудня 2011 р., через що повний текст роботи, а також матеріали за темою можуть бути отримані у автора або його керівника тільки після зазначеної дати.