Ткаченко И.С. Исследование методов создания сферических панорам для систем виртуальной реальности / И.С. Ткаченко, С.А. Зори // Программная инженерия: методы и технологии разработки информационно-вычислительных систем (ПИИВС–2020): сборник научных трудов III научно-практической конференции (студенческая секция) / Донец.национал.техн.ун-т; — Донецк, 2020. — С. 138-143. [Ссылка на сборник]

УДК 004.9

Исследование методов создания сферических панорам для систем виртуальной реальности

И.С. Ткаченко, С.А. Зори
Донецкий национальный технический университет
igoryok2312@narod.ru, sa.zori1968@gmail.com

Зори С.А., Ткаченко И.С. Исследование методов создания сферических панорам для систем виртуальной реальности. В статье определено применение сферической панорамы в системах виртуальной реальности. Рассмотрены методы ее создания. Проанализированы лучшие способы получения изображения, а также обозначены основные направления дальнейших исследований.

Ключевые слова: панорама, сферическая панорама, фотография, изображение, камера, виртуальная реальность.

Введение

Современный инструментарий создания фотографий предоставляет большую вариативность и разнообразность для воплощения в жизнь пользователем самых креативных идей. Человеку доступны самые различные настройки на большинстве устройств. Одной из необычных и интересных возможностей поделиться окружающим миром является создание панорамной фотографии. Такие снимки можно получить разными способами: с использованием различных устройств в комбинации с соответствующим программным обеспечением.

Одной из разновидностей панорам является сферическая панорама. Основной отличительной особенностью данного вида панорам является полнота картины вокруг устройства захвата сферической панорамы. Таким образом, пользователь может посмотреть в любую точку за гранью угла обзора человеческого глаза, причем как по горизонтали, так и по вертикали.

Одним из преимуществ просмотра интерактивных панорам по сравнению с обычными фотографиями является эффект присутствия.

Существует большое количество возможностей применения сферических панорам. К ним относится создание на их основе виртуальных туров по красивым местам и достопримечательностям разных стран, музеям. Хорошим рекламным ходом, может быть использование 3D панорам для привлечения еще большего внимания к кафе, ресторанам, отелям. Просматривая такие панорамы, у посетителей появляется возможность виртуально побывать в этих местах.

Еще один из видов коммерческой деятельности, где можно использовать возможности сферических панорам, это сфера коммерческой и частной недвижимости. Риелторские агентства могут в более выгодном свете представить свои предложения в объявлениях о продаже или аренде недвижимости. Сферические панорамы объектов недвижимости будут еще одним доводом в пользу выбора клиента [1].

В данной статье произведен обзор популярных устройств для создания сферической панорамы, используемых с ними программного обеспечения, а также выполнен их сравнительный анализ и выявлены наиболее доступный и наиболее качественный методы.

Сферическая панорама в виртуальной реальности и устройства создания сферических панорам

Сферическая панорама (виртуальная панорама, 3D панорама) — один из видов панорамной фотографии. В ее основе лежит собранное из множества отдельных кадров изображение в сферической (эквидистантная, equirectangular, sphere) или кубической проекции. Характерной чертой сферических панорам является максимально возможный угол обзора пространства (360×180 градусов).

Для улучшения ощущения присутствия у пользователя, сферические панорамы можно использовать в VR-системах. К таким системам относится современное оборудование виртуальной реальности: шлемы, специальные чехлы для смартфонов и т. д. Данное оборудование позволяет на достаточно высоком уровне погрузиться в виртуальную реальность.

Наиболее ярким использованием сферических панорам в виртуальной реальности является создание виртуальных туров. Виртуальный тур — способ реалистичного отображения трехмерного многоэлементного пространства на экране. Элементами виртуального тура, как правило, являются сферические панорамы, соединенные между собой интерактивными ссылками-переходами (хотспотами). Иными словами, виртуальный тур является общим обозначением для нескольких сферических панорам, связанных между собой с помощью точек перехода, по которым в процессе просмотра можно виртуально «перемещаться». В виртуальные туры, как правило, включают и другие интерактивные элементы: всплывающие информационные окна, поясняющие надписи, графически оформленные клавиши управления и т. д. Для создания виртуальных туров существует определенное программное обеспечение. К нему относятся:

• Biganto Visual;
• Krpano;
• Kolor Panotour Pro;
• Pano2VR.

Другой развлекательный способ использования сферических панорам в виртуальной реальности – это различные игры. Так же, как и в виртуальных турах, со сферическими панорамами можно взаимодействовать внутри системы. Кроме обычного перемещения между сценами, в играх может быть реализована какая-нибудь интерактивность. Например, при просмотре в необходимую точку определенное количество времени будет продвигаться игровой процесс. К таким играм относится в жанре «поиска предметов». На фото расположены объекты, которые игроку необходимо найти.

В наше время сферическую панораму можно создать практически любым устройством, содержащим камеру. Можно выделить две категории таких устройств: одни специально спроектированы для создания сферических панорам и это их прямое назначение, другие являются вспомогательными в процессе создания.

Рассмотрим первый тип устройств. Одним из наиболее признанных устройств среди создателей сферических панорамных фото являются камеры серии Theta производства фирмы Ricoh. Пара 20- мегапиксельных матриц позволяет получить финальное изображение в разрешении 6720×3360 точек, что дает 23 эффективных мегапиксела. В JPEG это готовая эквидистантная проекция, в RAW – два характерных “рыбеглазных” снимка в одном файле индустриального стандарта DNG.

Камерами Theta управляют, в основном, удаленно. К смартфонам камера подключается либо по Wi-Fi (через собственную точку доступа или к роутеру), либо по Bluetooth. Приложение является универсальным, оно подходит ко всем камерам Ricoh.

Кроме полностью автоматического режима съемки есть три приоритетных – диафрагмы, выдержки и чувствительности ISO. Чтобы зафиксировать и диафрагму, и чувствительность (самый распространенный коммерческий сценарий съемки), можно переключаться в ручной режим [2].

Следующее устройство не оснащено камерой, однако является «контейнером» для нескольких обычных камер фирмы GoPro – Freedom 360 (рис.3). Это специальный штатив для 6 камер. Каждая из них выполняет запись фото или видео, которые затем формируют сферический результат с помощью специфического программного обеспечения.

К вспомогательным относятся все остальные устройства, обладающие возможностью захвата изображения. Однако при самостоятельной съемке пользователь должен четко знать, какие кадры нужно подготовить для последующей склейки. При этом также необходимо дополнительное программное обеспечение для реализации склейки фотографий.

К таким устройствам относятся смартфоны и фотоаппараты в любом представлении. Отдельно стоит выделить объективы фотоаппаратов типа «фишай». Рыбий глаз ("Фишай", транскрипция от англ. fish-eye) — разновидность сверхширокоугольных объективов с неисправленной дисторсией, "дисторсирующие" (реже употребляется — "дисторзирующие") объективы. От обычных (ортоскопических) короткофокусных объективов фишай отличается ярко выраженной нескорректированной бочкообразной дисторсией и искаженным отображением прямых линий в виде дугообразных кривых. Угол поля зрения таких объективов может достигать 180° или превышать эту величину, тогда как ортоскопическая оптика тех же фокусных расстояний обеспечивает значительно более узкий обзор. Это достигается за счёт специфического способа отображения пространства, аналогичного картографическим азимутальным проекциям [3]. Такие объективы значительно упрощают процесс создания сферической панорамы: их угол обзора значительно шире стандартных объективов, поэтому результат требует меньшее количество фотографий.

Программное обеспечение для создания сферических панорам

Все программное обеспечение для ПК, позволяющее создать сферическую панораму, имеет схожий функционал: в программу загружаются отдельные фотографии, а на выходе получается результирующее изображение. Большинство таких программ позволяют создать не только сферическую панораму, но и другие виды панорамных изображений.

Наиболее популярные программы для создания сферической панорамы:

• PTGui;
• Kolor Autopano Giga;
• Hugin;
• Pano2VR.

Несмотря на то, что для смартфонов и планшетных устройств существуют приложения, позволяющие создать только цилиндрические панорамы, есть и редко встречающиеся, с помощью которых можно сделать и сферические панорамы. Наиболее ярким примером такого приложения является Google Street View.

Google Street View (с англ. — «Просмотр улиц») — функция Google Maps и Google Earth, позволяющая смотреть панорамные виды улиц многих городов мира с высоты около 2,5 метров [4]. Хоть и это приложение имеет совсем другое назначение, оно единственное доступное на рынке приложений для Android, позволяющее создавать сферическую панораму.

Определение лучших способов получения сферической панорамы

Методы создания сферической панорамы всегда подразумевают использования какого-либо устройства захвата изображения. Кроме того, в некоторых случаях необходима и обработка полученных изображений при помощи специального программного обеспечения. Лучшие методы создания сферической панорамы разделены на две категории: наиболее качественный результат и наиболее доступный.

Безусловно, для качественнейшего результата требуются большие финансовые затраты, характеристика некоторых популярных устройств приведена в следующей таблице:

Таблица 1 – Сравнение лучших наборов устройств по затратам

Набор	Приблизительная стоимость
Ricoh Theta Z1	1000$
F360 Broadcaster, 6x GoPro HERO 4	1800$
Фотоаппарат, объектив, штатив, панорамная головка, уровневая платформа	3000$

Таким образом, самым дешевым решением будет использование специальных камер для захвата сферических панорам Ricoh Theta. Такое устройство позволит получать качественный результат, при этом сохраняя свою компактность и лаконичность. К минусам можно отнести узконаправленность устройства: его можно использовать только для создания сферических панорам.

Не хуже – а может даже и лучше – может получиться результат с помощью зеркального фотоаппарата со специфическим объективом и некоторыми другими аксессуарами. Такой способ получения сферической панорамы может быть рентабельным при наличии уже хорошего фотоаппарата и объектива – требуется только дополнить набор некоторым незначительным оборудованием. Однако, требуются некоторые способности пользователя с работой с программным обеспечением для склейки фотографий.

Специфическим решением является использование штатива-контейнера для камер GoPro. Его можно рассматривать при наличии нескольких подходящих камер GoPro. Также, таким способом можно записывать и видео в виде сферической панорамы.

В следующей таблице рассмотрены наиболее доступные способы создания сферической панорамы:

Таблица 2 – Сравнение доступных методов по качеству результата

Метод	Качество	Примечание
Google Street View	Хорошее	Требуется наличие гироскопа на устройстве, ограничение по экспорту результата
Ручной захват и обработка изображений	Плохое, среднее	Требуются значительные способности и умения при захвате изображений
Другое приложение для смартфона	Неизвестно	Требуется наличие гироскопа на устройстве, практически полное отсутствие подобных приложений на рынке

Исходя из данной таблицы, наиболее простым способом создания сферической панорамы является приложение Google Street View. Однако, первичное назначение данного приложение направлено на работу с картами.

Ручной способ получения фотографий является очень нестабильным: сложно вручную просчитать, в каких точках необходимо сделать снимки. Также, требуется дополнительное программное обеспечение для получения необходимого результата. Основное достоинство – требуется наличие любого устройства с камерой.

Поскольку смартфон в наше время в наличии почти у каждого человека на планете, то именно это устройство и рассматривается как самое компактное и общедоступное для создания сферических панорам. К сожалению, практически не существует приложений для реализации данной цели – большинство имеющихся на рынке приложений позволяют создать только цилиндрические панорамы. Также, обязательным условием создания качественной сферической панорамы на смартфоне является наличие гироскопа.

В основе любой сферической панорамы лежит эквидистантная проекция. Эквидистантная проекция – это способ представления сферической панорамы в виде плоского (2D) изображения. Такая проекция сопоставляет меридианы с прямыми вертикальными линиями, а параллели – с горизонтальными. Например, развернутая карта мира является эквидистантной проекцией земного шара.

Чтобы получить такую проекцию, требуется кубическая карта создаваемой панорамы. Данная карта состоит из 6 изображений – четырех в каждую сторону света, зенита и надира. Существует алгоритм преобразования кубической карты в эквидистантную проекцию [5]: координаты каждого пикселя кубической карты переводятся в сферические координаты, определяются углы между получившимися значениями и центром мнимой сферы. Результаты данных вычисления переводятся в прямоугольную систему координат, определяется, какая грань куба в какую сторону будет направлена в мнимой сфере, после чего создается результирующее изображение, выраженное в эквидистантной проекции входящей кубической карты.

Данный алгоритм является простым и позволяет вычислять эквидистантную проекцию из небольшого набора изображений. Однако, в нем не учитываются возможности устройства захвата изображения: нет вариативности в настройках камеры, не учитывается тип объектива и фокусное расстояние.

Перечисленные недостатки нужно учесть в разрабатываемом алгоритмическом и программном обеспечении приложения с возможностью настройки необходимых параметров.

Выводы

Состояние виртуального присутствия человека может быть достигнуто через специфические изображения – сферические панорамы, которые можно создавать с помощью доступных средств, способы получения которых могут быть улучшены и усовершенствованы в процессе изучения и учитывания недостатков представленного алгоритма.

Существует несколько вариантов улучшения процесса создания сферической панорамы. Поскольку смартфон является самым популярным и доступным средством, есть возможность разработки собственного приложения для реализации данной задачи. Таким образом, любой пользователь, независимо от уровня навыков в сфере фотографирования, сможет доступно и качественно создать сферическую панораму и применить в системах виртуальной реальности.

Авторами будут продолжаться исследования в области создания сферических панорам. Они направлены на выявление оптимизации и модификации имеющихся алгоритмов, с учетом возможности гибкой настройки процесса и природы сферических панорам, а также оптимизации преобразований изображений между прямоугольной и сферической системами. Планируется создание прототипа программной системы с учетом выполненных предложений под различные платформы.

Литература

1. Что такое сферическая панорама? [Электронный ресурс] – Режим доступа: https://truevirtualtours.com/ru/article/what-is-a-360-degree-panorama
2. Обзор панорамной камеры Ricoh Theta Z1 [Электронный ресурс] – Режим доступа: https://itc.ua/articles/obzor-panoramnoj-kamery-ricoh-theta-z1/
3. Рыбий глаз (объектив) [Электронный ресурс] – Режим доступа: https://wikipedia.tel/Рыбий_глаз_(объектив)
4. Google Street View [Электронный ресурс] – Режим доступа: https://ru.wikipedia.org/wiki/Google_Street_View
5. Calculating Equirectangular Projection [Электронный ресурс] – Режим доступа: http://paulreed.co.uk/programming.html

Зори С.А., Ткаченко И.С. Исследование методов создания сферических панорам для систем виртуальной реальности. В статье определено применение сферической панорамы в системах виртуальной реальности. Рассмотрены методы ее создания. Проанализированы лучшие способы получения изображения, а также обозначены основные направления дальнейших исследований.

Ключевые слова: панорама, сферическая панорама, фотография, изображение, камера, виртуальная реальность.

Zori S.A., Tkachenko I.S. Researching of methods of getting spherical panoramas to use them in virtual reality systems. An application of spherical panoramas in virtual reality systems is defined in the article. Methods of its creation are considered. The best ways to obtain images are analyzed, and the main directions for further research are outlined.

Key words: panorama, spherical panorama, photo, image, camera, virtual reality.