Зміст
- Вступ
- 1. Області застосування карт глибини зображення
- 2. Огляд генерації карти глибини по стереопарі
- 3. Напрямки, цілі і завдання подальших досліджень
- Висновки
- Список джерел
Вступ
Сучасне виробництво і поширення мультимедійного контенту рухається до подання все більш «реалістичних» сценаріїв. Перехід від 2-х мірного до 3-х мірного подання був головною рушійною силою в цьому напрямку. За останній час було запропоновано велику кількість підходів для створення 3D зображень/відео, більшість з яких заснована на створенні карт глибини, значно зросла кількість мультимедійних даних, що створюються та розповсюджуються по всьому світу. Це зажадало активних досліджень в області обробки зображень і відео, при цьому постійно розроблялися програми та рішення для таких областей, як спостереження і безпека, охорона здоров'я, комп'ютерний зір і багато інших. Поява цифрових камер зробило революцію в способі фотографування. У порівнянні зі своїми аналогами, такі цифрові камери (в тому числі присутні в мобільних пристроях) забезпечують швидку і просту зйомку, зберігання і пошук зображень. Тим не менше, більшість популярних цифрових камер здатні захоплювати 2-мірну проекцію сцени, в той час як компоненти, відповідні глибині, губляться (не зберігаються). Тривимірне зображення з'явилося як удосконалення традиційної технології 2D з додатковою інформацією про глибину. 3D-камери почали з'являтися на ринку, але вони занадто дорогі. Для звичайного користувача з двовимірної цифровою камерою тривимірні зображення можуть створюватися шляхом вилучення інформації про глибину з двовимірних зображень з використанням різних методів, запропонованих раніше. Серед цих методів найбільш популярним є створення карти глибини з стереопари зображень. Цей метод знаходить безліч застосувань в тривимірної візуалізації, декодування зображень в світлих полях та інших областях.
1. Області застосування карт глибини зображення
Існує велика кількість методів генерації карт глибини зображення, враховуючи широку сферу застосування цієї технології і велику кількість різних модифікацій. До областей застосувань відносяться:
• Імітація ефекту рівномірно щільних напівпрозорих середовищ в сцені - таких як туман, дим або великі обсяги води.
• Імітація малої глибини різкості - коли деякі частини сцени виявляються не в фокусі.
• Z-буферизація і Z-кадрування, методи, які можна використовувати для підвищення ефективності рендеринга 3D-сцен.
• Shadow mapping - частина процесу, використовуваного для створення тіней, що відкидаються освітленням в тривимірній комп'ютерній графіці.
• Надання інформацію про відстань, необхідну для створення і генерації автостереограмм і в інших пов'язаних додатках, призначених для створення ілюзії тривимірного перегляду за допомогою стереоскопії.
• Підповерхневе розсіювання - може використовуватися як частина процесу додавання реалізму шляхом моделювання напівпрозорих властивостей напівпрозорих тканин, таких як шкіра людини.
• У комп'ютерному зорі для моделювання тривимірних фігур або їх реконструкції використовуються карти глибини зображень одного або декількох зображень або інші типи зображень.
• У машинному і комп'ютерному зорі - обробка тривимірних зображень за допомогою інструментів двовимірних зображень.
2. Огляд генерації карти глибини по стереопарі
Карта глибини - це зображення, на якому для кожного пікселя, замість кольору, зберігається його відстань до камери. Карта глибини може бути отримана за допомогою спеціальної камери глибини (наприклад, сенсор Kinect є свого роду такою камерою), а також може бути побудована по стереопарі зображень.
Ідея, що лежить в основі побудови карти глибини по стереопарі дуже проста. Для кожної точки на одному зображенні виконується пошук парної їй точки на іншому зображенні. А по парі відповідних точок можна виконати тріангуляцію і визначити координати їх прообразу в тривимірному просторі. Знаючи тривимірні координати прообразу, глибина обчислюється, як відстань до площини камери.
Парну точку потрібно шукати на епіполярнiй лінії. Відповідно, для спрощення пошуку, зображення вирівнюють так, щоб усi епіполярнi лінії були паралельні сторонам зображення (зазвичай горизонтальні). Більш того, зображення вирівнюють так, щоб для точки з координатами (x0, y0) відповідна їй епіполярная лінія задавалася рівнянням x = x0, тоді для кожної точки відповідну їй парну точку потрібно шукати в тій-же сходинці на зображенні з другої камери. Такий процес вирівнювання зображень називають ректифікацією. Зазвичай ректифікацію здійснюють шляхом ремеппінга зображення і її поєднують з позбавленням від дисторсій.
Після того як зображення ректифікованого, виконують пошук відповідних пар точок. Для кожного пікселя лівої картинки з координатами (x0, y0) виконується пошук пікселя на правій картинці. При цьому передбачається, що піксель на правій зображенні повинен мати координати (x0 - d, y0), де d - величина, яка називається невідповідністю. Пошук відповідного пікселя виконується шляхом обчислення максимуму функції відгуку, в якості якої може виступати, наприклад, кореляція околиць пікселів. В результаті виходить карта зсувів. Власне, значення глибини обернено пропорційні величині зсуву пікселів. Роздільна здатність систем стереозору, які працюють на основі даного методу, краще на близьких відстанях, і гірше на далеких.
3. Напрямки, цілі і завдання подальших досліджень
В якості методу генерації карти глибини зображення буде використовуватися метод генерації карти глибини по стереопарі. Цей метод найбільш популярний і має свої модифікації. Не дивлячись на свою відносну простоту реалізації, цей метод є найбільш оптимальним.
Метою і завданнями подальших досліджень є більш детальний розбір функціонування методу генерації карти глибини по стереопарі і його оптимізація по швидкодії і якості роботи. На виході повинна вийти модифікована система. З огляду на те, що одним з недоліків методу є відносно низька швидкість обробки зображень, буде виконана паралельна реалізація генерації карти глибини. Паралельної обчислювальної системою для системи буде використаний процесор відеокарти ПК, а програмним стандартом для паралельного програмування виступатиме OpenACC.
Висновки
В ході виконання роботи виконано аналіз існуючих методів генерації карт глибини зображення і розглянуті деякі з них, а також області застосування карт глибин і основні обмеження, які виникають при роботі з ними. Був проведений огляд генерації карти глибини на стереопарі і цей метод був визначений як найбільш оптимальний, а також був виконаний попередній аналіз можливості розпаралелювання системи. Як паралельної обчислювальної системи планується використовувати паралельний процесор відеокарти ПК, роботу з ним організувати за допомогою технології OpenACC.
Список джерел
- Depth map generation by image classification [Електронний ресурс] – Режим доступу: https://www.researchgate.net/
- Depth-Map Generation using Pixel Matching in Stereoscopic Pair of Images [Електронний ресурс] – Режим доступу: https://arxiv.org/
- Основы стереозрения [Електронний ресурс] – Режим доступу: https://habr.com/
- An overview of free viewpoint Depth-Image-Based Rendering (DIBR) [Електронний ресурс] – Режим доступу: http://www.apsipa.org/
- ВЫЧИСЛЕНИЕ КАРТЫ ГЛУБИНЫ СТЕРЕОИЗОБРАЖЕНИЯ НА ГРАФИЧЕСКОМ ПРОЦЕССОРЕ В РЕАЛЬНОМ ВРЕМЕНИ [Електронний ресурс] – Режим доступу: https://www.fundamental-research.ru/
- 3D stereoscopic image pairs by depth-map generation [Електронний ресурс] – Режим доступу: https://www.researchgate.net/
- Depth map – Википедия [Електронний ресурс] – Режим доступу: https://en.wikipedia.org/
- DeepStereoBrush: Interactive Depth Map Creation [Електронний ресурс] – Режим доступу: https://www.researchgate.net/
- Disparity and depth map generation Monoscopic video to 3D [Электронный ресурс] – Режим доступу: https://www.compression.ru/
- 3D Stereoscopic Photography [Електронний ресурс] – Режим доступу: http://3dstereophoto.blogspot.com/
- Innovative 3D Depth Map Generation From A Holoscopic 3D Image Based on Graph Cut Technique [Електронний ресурс] – Режим доступу: https://arxiv.org/
- Стереопара – Википедия [Електронний ресурс] – Режим доступу: https://ru.wikipedia.org/