Програмна інженеріяім. Л. П. Фельдмана
Сучасний інструментарій створення фотографій надає велику варіативність та різноманітність для втілення у життя користувачем найкреативніших ідей. Людині доступні різні налаштування на більшості пристроїв. Однією з незвичайних та цікавих можливостей поділитись навколишнім світом є створення панорамної фотографії. Такі знімки можна отримати різними способами: за допомогою різних пристроїв у комбінації з відповідним програмним забезпеченням.
Одним з різновидів панорам є сферична панорама. Основною відмінністю даного виду панорам є повнота картини навколо пристрою захоплення сферичної панорами. Таким чином, користувач може подивитися в будь-яку точку за межею кута огляду людського ока, причому як по горизонталі, так і по вертикалі.
Однією з переваг перегляду інтерактивних панорам, порівняно із звичайними фотографіями, є ефект присутності.
Існує велика кількість можливостей застосування сферичних панорам. До них належить створення на їх основі віртуальних турів красивими місцями та пам'ятками різних країн, музеїв. Хорошим рекламним ходом, може бути використання 3D панорам для привернення ще більшої уваги до кафе, ресторанів, готелів. Переглядаючи такі панорами, відвідувачі мають можливість віртуально побувати в цих місцях.
Ще один із видів комерційної діяльності, де можна використовувати можливості сферичних панорам, це сфера комерційної та приватної нерухомості. Ріелторські агенції можуть у більш вигідному світлі подати свої пропозиції в оголошеннях про продаж або оренду нерухомості. Сферичні панорами об'єктів нерухомості будуть ще одним аргументом на користь вибору клієнта [1].
Метою дослідження є визначення найоптимальнішого способу створення сферичної панорами. Повинно бути враховано як обладнання, за допомогою якого проводитиметься зйомка, так і здібності користувача, який, швидше за все, досвіду в таких діях не має.
Запланований результат – додаток для смартфонів, керованих операційною системою Android. Цей варіант є найбільш оптимальним, оскільки більшість користувачів володіє таким пристроєм. Надалі аудиторію користувачів можна розширити за допомогою розробки цієї програми для смартфонів з операційною системою iOS.
На жаль, інформації на тему генерації віртуального оточення та створення сферичних панорам зокрема у відкритому доступі досить мало, проте можна виділити деякі дослідження та розробки, які дуже допоможуть у досягненні поставленої мети.
Основним джерелом та прецедентом успішної реалізації поставленого завдання є робота програміста з міста Норідж Пола Ріда. [2]. Він математично та програмно описав трансформацію кубічної карти у сферичну панораму. [3]. Саму сферичну панораму неможливо зняти одразу на камеру смартфона, проте кубічна карта складається із 6 звичайних фотографій, які можна зняти звичайною камерою. Хоча й потрібні деякі перетворення для складання якісної кубічної карти, ці проблеми будуть вирішуватись у міру виконання магістерської роботи.
Також, була вивчена стаття Spherical panorama compositing through depth estimation
від Miguel
Saura-Herreros, Angeles Lopes та Jose Ribelles [4]. У ній описується робота в
просторі 2.5D і обробка сферичної панорами за допомогою вимірювання глибини зображення.
Як вступний матеріал у сферу віртуальних турів було розглянуто статтю Технологія створення
віртуальних інтерактивних турів Rubius 3DTourKit
від М.А. Зайцевої, А.П. Лисака та С.Ю. Дорофєєва [5]. У ній розглянуто основні типи 3D панорам, визначено проблеми їх створення
та описано можливості програмної системи Rubius 3DTourKit Studio для створення віртуальних турів на
основі 3D панорам.
Для повноти картини про теорію створення сферичних панорам буде використаний матеріал із сайту fototips.ru [6]. Тут повно та доступно описаний процес створення сферичної панорами та її особливості.
У рамках ІІІ Міжнародної науково-практичної конференції ПІІВС–2020 мною було досліджено методи створення сферичних панорам для систем віртуальної реальності. У статті визначено застосування сферичної панорами у системах віртуальної реальності [7]. Розглянуто методи її створення. Проаналізовано найкращі способи отримання зображення, а також позначені основні напрямки подальших досліджень.
Сферична панорама (віртуальна панорама, 3D панорама) – один із видів панорамної фотографії. В її основі лежить зібране з безлічі окремих кадрів зображення у сферичній (еквідистантній, equirectangular, sphere) або кубічній проекції. Характерною рисою сферичних панорам є можливий кут огляду простору (360×180 градусів).
Для покращення відчуття присутності у користувача сферичні панорами можна використовувати у VR-системах. До таких систем належить сучасне обладнання віртуальної реальності: шоломи, спеціальні чохли для смартфонів і т. д. Це обладнання дозволяє на досить високому рівні поринути у віртуальну реальність.
Найбільш яскравим використанням сферичних панорам у віртуальній реальності є створення віртуальних турів. Віртуальний тур – спосіб реалістичного відображення тривимірного багатоелементного простору на екрані Елементами віртуального туру, зазвичай, є сферичні панорами, з'єднані між собою інтерактивними посиланнями-переходами (хотспотами). Іншими словами, віртуальний тур є загальним позначенням для кількох сферичних панорам, пов'язаних між собою за допомогою точок переходу, якими в процесі перегляду можна віртуально «переміщатися». У віртуальні тури, як правило, включають інші інтерактивні елементи: спливаючі інформаційні вікна, пояснюючі написи, графічно оформлені клавіші управління і т. д. Для створення віртуальних турів існує певне програмне забезпечення. До нього відносяться:
Інший розважальний спосіб використання сферичних панорам у віртуальній реальності – це різноманітні
ігри. Як і у віртуальних турах, зі сферичними панорамами можна взаємодіяти всередині системи. Крім
звичайного переміщення між сценами, в іграх може бути реалізована якась інтерактивність. Наприклад, під
час перегляду в необхідну точку певна кількість часу просуватиметься ігровий процес. До таких ігор
належить жанрі пошуку предметів
. На фото розташовані об'єкти, які потрібно знайти.
Нині сферичну панораму можна створити практично будь-яким пристроєм, що містить камеру. Можна виділити дві категорії таких пристроїв: одні спеціально спроектовані для створення сферичних панорам і це їхнє пряме призначення, інші є допоміжними в процесі створення.
Розглянемо перший тип пристроїв. Одним із найбільш визнаних пристроїв серед творців сферичних панорамних
фото є камери серії Theta виробництва фірми Ricoh. Пара 20-мегапіксельних матриць дозволяє отримати
фінальне зображення з роздільною здатністю 6720×3360 пікселів, що дає 23 ефективних мегапіксела. У JPEG
це готова еквідистантна проекція, у RAW – два характерні рибіглазні
знімки в одному файлі
індустріального стандарту DNG.
Камерами Theta керують переважно віддалено. До смартфонів камера підключається або через Wi-Fi (через власну точку доступу або до роутера), або через Bluetooth. Програма є універсальною, вона підходить до всіх камер Ricoh.
Рисунок 1 – Ricoh Theta Z1, встановлений на штатив
Крім повністю автоматичного режиму зйомки є три пріоритетні - діафрагми, витримки та чутливості ISO. Щоб зафіксувати і діафрагму, і чутливість (найпоширеніший комерційний сценарій зйомки) можна перемикатися в ручний режим [8].
Наступний пристрій не оснащений камерою, однак є "контейнером" для кількох звичайних камер фірми GoPro – Freedom 360. Це спеціальний штатив для шести камер. Кожна з них виконує запис фото або відео, які формують сферичний результат за допомогою специфічного програмного забезпечення.
До допоміжних відносяться всі інші пристрої, що мають можливість захоплення зображення. Однак при самостійній зйомці користувач повинен чітко знати, які кадри потрібно підготувати для подальшого склеювання. При цьому також потрібне додаткове програмне забезпечення для реалізації склейки фотографій.
До таких пристроїв відносяться смартфони та фотоапарати у будь-якій виставі. Окремо варто виділити
об'єктиви фотоапаратів типу фішай
. Риб'яче око (Фішай
, транскрипція від англ. fish-eye)
–
різновид надширококутних об'єктивів з невиправленою дисторсією, дисторсуючі
(рідше
використовується – дисторзують
) об'єктиви. Від звичайних фішай відрізняється яскраво
вираженою нескоректованою бочкоподібною дисторсією та спотвореним відображенням прямих ліній у вигляді
дугоподібних кривих. Кут поля зору таких об'єктивів може досягати 180° або перевищувати цю величину,
тоді як ортоскопічна оптика тих самих фокусних відстаней забезпечує значно вужчий огляд. Це досягається
за рахунок специфічного способу відображення простору, аналогічного картографічним азимутальним
проекціям [9]. Такі об'єктиви значно спрощують процес створення сферичної
панорами: їх кут огляду значно ширший за стандартні об'єктиви, тому результат вимагає меншої кількості
фотографій.
Кубічна текстура, кубічна карта (англ. Cube mapping, CubeMap) – методика у тривимірній комп'ютерній графіці, призначена переважно для моделювання відображень на поверхні об'єкта [10]. Основними відмінними рисами кубічної карти є:
Рисунок 2 – Кубична карта одного з видів в Йокогамі [11]
Виходячи з перерахованих вище особливостей, формується ще одна вимога до створення кубічної карти – кут огляду камери повинен дорівнювати 90°. Таким чином, в ідеальному випадку необхідно зробити 6 знімків для отримання необхідного набору зображень.
Вочевидь, що перетворення кубічна карта не дасть ефекту присутності під час перегляду в VR-системах,
т.к. при приміщенні камери всередину куба глядач бачитиме його шви
– ребра. За допомогою
математичних перетворень їх можна позбутися [3].
Події з кожним зображенням кубічної карти виробляються попіксельно, формуючи одне зображення на виході. Оскільки відома довжина ребра куба та вимоги до кутів огляду результуючої фотографії (360° по горизонталі та 180° по вертикалі), можна визначити розміри на виході – ширина дорівнюватиме стороні грані, а довжина – вдвічі більше сторони.
Рисунок 3 – Отримання еквідистантної проекції з кубічної карти
Перетворення кубічної карти на сферичну панораму передбачає твір деяких математичних операцій. За основу буде взято матеріал із сайту mathworld.wolfram.com [12], який використовуватиметься при переведенні координат з декартової системи в полярну та навпаки. Ці математичні дії будуть реалізовані в програмі, що розробляється, і дозволять отримати необхідний результат.
Рисунок 4 – Візуальне подання формування кубічної карти (анімація, 7 кадрів, 10 циклів повторення, 148 кілобайт)
Рисунок 5 – Готова сферична панорама
Стан віртуальної присутності людини може бути досягнуто через специфічні зображення – сферичні панорами, які можна створювати за допомогою доступних засобів, способи отримання яких можуть бути покращені та вдосконалені у процесі вивчення та врахування недоліків представленого алгоритму.
Існує кілька варіантів покращення процесу створення сферичної панорами. Оскільки смартфон є найпопулярнішим і найдоступнішим засобом, є можливість розробки власної програми для реалізації цього завдання. Таким чином, будь-який користувач, незалежно від рівня навичок у сфері фотографування, зможе доступно та якісно створити сферичну панораму та застосувати у системах віртуальної реальності.
Дослідження у сфері створення сферичних панорам триватимуть. Вони спрямовані на виявлення оптимізації та модифікації наявних алгоритмів, з урахуванням можливості гнучкого налаштування процесу та природи сферичних панорам, а також оптимізації перетворень зображень між прямокутною та сферичною системами. Планується створення прототипу програмної системи з урахуванням виконаних пропозицій під різноманітні платформи.