Реферат

Введение

1. Цели и задачи исследования, планируемые результаты
2. Обзор исследований и разработок
   1. Обзор международных источников
   2. Обзор национальных источников
   3. Обзор локальных источников
3. Анализ способов создания сферических панорам
4. Роль кубической карты в создании сферической панорамы

Выводы

Список источников

Введение

Современный инструментарий создания фотографий предоставляет большую вариативность и разнообразность для воплощения в жизнь пользователем самых креативных идей. Человеку доступны самые различные настройки на большинстве устройств. Одной из необычных и интересных возможностей поделиться окружающим миром является создание панорамной фотографии. Такие снимки можно получить разными способами: с использованием различных устройств в комбинации с соответствующим программным обеспечением.

Одной из разновидностей панорам является сферическая панорама. Основной отличительной особенностью данного вида панорам является полнота картины вокруг устройства захвата сферической панорамы. Таким образом, пользователь может посмотреть в любую точку за гранью угла обзора человеческого глаза, причем как по горизонтали, так и по вертикали.

Одним из преимуществ просмотра интерактивных панорам по сравнению с обычными фотографиями является эффект присутствия.

Существует большое количество возможностей применения сферических панорам. К ним относится создание на их основе виртуальных туров по красивым местам и достопримечательностям разных стран, музеям. Хорошим рекламным ходом, может быть использование 3D панорам для привлечения еще большего внимания к кафе, ресторанам, отелям. Просматривая такие панорамы, у посетителей появляется возможность виртуально побывать в этих местах.

Еще один из видов коммерческой деятельности, где можно использовать возможности сферических панорам, это сфера коммерческой и частной недвижимости. Риелторские агентства могут в более выгодном свете представить свои предложения в объявлениях о продаже или аренде недвижимости. Сферические панорамы объектов недвижимости будут еще одним доводом в пользу выбора клиента [1].

Цели и задачи исследования, планируемые результаты

Целью исследование является определение наиболее оптимального способа создания сферической панорамы. Должно быть учтено как оборудование, с помощью которого будет производиться съемка, так и способности пользователя, который, скорее всего, опыта в таких действиях не имеет.

Планируемый результат – приложение для смартфонов, управляемых операционной системой Android. Данный вариант является наиболее оптимальным, поскольку большинство пользователей владеет таким устройством. В дальнейшем аудиторию пользователей можно расширить с помощью разработки этого приложения для смартфонов с операционной системой iOS.

Обзор исследований и разработок

К сожалению, информации по теме генерации виртуального окружения и создания сферических панорам в частности в открытом доступе довольно мало, однако можно выделить некоторые исследования и разработки, которые очень помогут в достижении поставленной цели.

Обзор международных источников

Основным источником и прецедентом успешной реализации поставленной задачи является работа программиста из города Норидж Пола Рида [2]. Он математически и программно описал трансформацию кубической карты в сферическую панораму [3]. Саму сферическую панораму невозможно снять сразу на камеру смартфона, однако кубическая карта состоит из 6 обычных фотографий, которые можно снять обычной камерой. Хотя и требуются некоторые преобразования для составления качественной кубической карты, эти проблемы будут решаться по мере выполнения магистерской работы.

Также, была изучена статья Spherical panorama compositing through depth estimation от Miguel Saura-Herreros, Angeles Lopes и Jose Ribelles [4]. В ней описывается работа в 2.5D пространстве и обработка сферической панорамы при помощи измерения глубины изображения.

Обзор национальных источников

В качестве вводного материала в сферу виртуальных туров была рассмотрена статья Технология создания виртуальных интерактивных туров Rubius 3DTourKit от М.А. Зайцевой, А.П. Лысака и С.Ю. Дорофеева [5]. В ней рассмотрены основные типы 3D панорам, определены проблемы их создания и описаны возможности программной системы Rubius 3DTourKit Studio для создания виртуальных туров на основе 3D панорам.

Для полноты картины о теории создания сферических панорам будет использован материал с сайта fototips.ru [6]. Здесь полно и доступно описан процесс создания сферической панорамы и его особенности.

Обзор локальных источников

В рамках III Международной научно-практической конференции ПИИВС–2020 мной были исследованы методы создания сферических панорам для систем виртуальной реальности. В статье определено применение сферической панорамы в системах виртуальной реальности [7]. Рассмотрены методы ее создания. Проанализированы лучшие способы получения изображения, а также обозначены основные направления дальнейших исследований.

Анализ процесса создания сферических панорам

Сферическая панорама (виртуальная панорама, 3D панорама) – один из видов панорамной фотографии. В ее основе лежит собранное из множества отдельных кадров изображение в сферической (эквидистантная, equirectangular, sphere) или кубической проекции. Характерной чертой сферических панорам является максимально возможный угол обзора пространства (360×180 градусов).

Для улучшения ощущения присутствия у пользователя, сферические панорамы можно использовать в VR-системах. К таким системам относится современное оборудование виртуальной реальности: шлемы, специальные чехлы для смартфонов и т. д. Данное оборудование позволяет на достаточно высоком уровне погрузиться в виртуальную реальность.

Наиболее ярким использованием сферических панорам в виртуальной реальности является создание виртуальных туров. Виртуальный тур – способ реалистичного отображения трехмерного многоэлементного пространства на экране. Элементами виртуального тура, как правило, являются сферические панорамы, соединенные между собой интерактивными ссылками-переходами (хотспотами). Иными словами, виртуальный тур является общим обозначением для нескольких сферических панорам, связанных между собой с помощью точек перехода, по которым в процессе просмотра можно виртуально «перемещаться». В виртуальные туры, как правило, включают и другие интерактивные элементы: всплывающие информационные окна, поясняющие надписи, графически оформленные клавиши управления и т. д. Для создания виртуальных туров существует определенное программное обеспечение. К нему относятся:

• Biganto Visual;
• Krpano;
• Kolor Panotour Pro;
• Pano2VR.

Другой развлекательный способ использования сферических панорам в виртуальной реальности – это различные игры. Так же, как и в виртуальных турах, со сферическими панорамами можно взаимодействовать внутри системы. Кроме обычного перемещения между сценами, в играх может быть реализована какая-нибудь интерактивность. Например, при просмотре в необходимую точку определенное количество времени будет продвигаться игровой процесс. К таким играм относится в жанре поиска предметов. На фото расположены объекты, которые игроку необходимо найти.

В наше время сферическую панораму можно создать практически любым устройством, содержащим камеру. Можно выделить две категории таких устройств: одни специально спроектированы для создания сферических панорам и это их прямое назначение, другие являются вспомогательными в процессе создания.

Рассмотрим первый тип устройств. Одним из наиболее признанных устройств среди создателей сферических панорамных фото являются камеры серии Theta производства фирмы Ricoh. Пара 20-мегапиксельных матриц позволяет получить финальное изображение в разрешении 6720×3360 точек, что дает 23 эффективных мегапиксела. В JPEG это готовая эквидистантная проекция, в RAW – два характерных рыбеглазных снимка в одном файле индустриального стандарта DNG.

Камерами Theta управляют, в основном, удаленно. К смартфонам камера подключается либо по Wi-Fi (через собственную точку доступа или к роутеру), либо по Bluetooth. Приложение является универсальным, оно подходит ко всем камерам Ricoh.

Кроме полностью автоматического режима съемки есть три приоритетных – диафрагмы, выдержки и чувствительности ISO. Чтобы зафиксировать и диафрагму, и чувствительность (самый распространенный коммерческий сценарий съемки), можно переключаться в ручной режим [8].

Следующее устройство не оснащено камерой, однако является «контейнером» для нескольких обычных камер фирмы GoPro – Freedom 360. Это специальный штатив для 6 камер. Каждая из них выполняет запись фото или видео, которые затем формируют сферический результат с помощью специфического программного обеспечения.

К вспомогательным относятся все остальные устройства, обладающие возможностью захвата изображения. Однако при самостоятельной съемке пользователь должен четко знать, какие кадры нужно подготовить для последующей склейки. При этом также необходимо дополнительное программное обеспечение для реализации склейки фотографий.

К таким устройствам относятся смартфоны и фотоаппараты в любом представлении. Отдельно стоит выделить объективы фотоаппаратов типа фишай. Рыбий глаз (Фишай, транскрипция от англ. fish-eye) – разновидность сверхширокоугольных объективов с неисправленной дисторсией, дисторсирующие (реже употребляется – дисторзирующие) объективы. От обычных (ортоскопических) короткофокусных объективов фишай отличается ярко выраженной нескорректированной бочкообразной дисторсией и искаженным отображением прямых линий в виде дугообразных кривых. Угол поля зрения таких объективов может достигать 180° или превышать эту величину, тогда как ортоскопическая оптика тех же фокусных расстояний обеспечивает значительно более узкий обзор. Это достигается за счёт специфического способа отображения пространства, аналогичного картографическим азимутальным проекциям [9]. Такие объективы значительно упрощают процесс создания сферической панорамы: их угол обзора значительно шире стандартных объективов, поэтому результат требует меньшее количество фотографий.

Роль кубической карты в создании сферической панорамы

Кубическая текстура, кубическая карта (англ. Cube mapping, CubeMap) – методика в трёхмерной компьютерной графике, предназначенная преимущественно для моделирования отражений на поверхности объекта [10]. Основными отличительными чертами кубической карты являются:

• наличие только 6 изображений в соответствии с количеством граней куба;
• ширина и высота каждого изображения равны;
• между любыми соседними гранями куба не теряется смысл изображения – композиция должна остаться такой, какой и задумывалась.

Исходя из вышеперечисленных особенностей, формируется еще одно требование к созданию кубической карты – угол обзора камеры должен быть равен 90°. Таким образом, в идеальном случае, необходимо сделать 6 снимков для получения необходимого набора изображений.

Очевидно, что без преобразований кубическая карта не даст эффекта присутствия при просмотре в VR-системах, т.к. при помещении камеры внутрь куба зритель будет видеть его швы – ребра. С помощью математических преобразований от них можно избавиться [3].

Действия с каждым изображением кубической карты производятся попиксельно, формируя одно изображение на выходе. Поскольку известна длина ребра куба и требования к углам обзора результирующей фотографии (360° по горизонтали и 180° по вертикали), можно определить размеры на выходе – ширина будет равняться стороне грани, а длина – в 2 раза больше стороны.

Преобразование кубической карты в сферическую панораму подразумевает произведение некоторых математических операций. За основу будет взят материал с сайта mathworld.wolfram.com [12], который будет использоваться при переводе координат из декартовой системы в полярную и наоборот. Эти математические действия будут реализованы в разрабатываемом приложении и позволят получить необходимый результат.

Выводы

Состояние виртуального присутствия человека может быть достигнуто через специфические изображения – сферические панорамы, которые можно создавать с помощью доступных средств, способы получения которых могут быть улучшены и усовершенствованы в процессе изучения и учитывания недостатков представленного алгоритма.

Существует несколько вариантов улучшения процесса создания сферической панорамы. Поскольку смартфон является самым популярным и доступным средством, есть возможность разработки собственного приложения для реализации данной задачи. Таким образом, любой пользователь, независимо от уровня навыков в сфере фотографирования, сможет доступно и качественно создать сферическую панораму и применить в системах виртуальной реальности.

Исследования в области создания сферических панорам будут продолжаться. Они направлены на выявление оптимизации и модификации имеющихся алгоритмов, с учетом возможности гибкой настройки процесса и природы сферических панорам, а также оптимизации преобразований изображений между прямоугольной и сферической системами. Планируется создание прототипа программной системы с учетом выполненных предложений под различные платформы.

Список источников

1. Что такое сферическая панорама? [Электронный ресурс] – Режим доступа: https://truevirtualtours.com/ru/arti... .
2. Paul Reed Makes [Электронный ресурс] – Режим доступа: http://paul-reed.co.uk/index.htm.
3. Calculating Equirectangular Projection [Электронный ресурс] – Режим доступа: http://paul-reed.co.uk/programming.html.
4. Spherical panorama compositing through depth estimation [Электронный ресурс] – Режим доступа: https://link.springer.com/arti... .
5. Зайцева М. А. Технология создания виртуальных интерактивных туров Rubius 3DTourKit / М. А. Зайцева, А. П. Лысак, С. Ю. Дорофеев // Известия Томского политехнического университета [Известия ТПУ]. — 2010. — Т. 317, № 5 : Управление, вычислительная техника и информатика. — [С. 97-102].
6. 3D-панорамы. Часть I: Теория и фотосъемка [Электронный ресурс] – Режим доступа: https://fototips.ru/prakt... .
7. Ткаченко И.С. Исследование методов создания сферических панорам для систем виртуальной реальности / И.С. Ткаченко, С.А. Зори // Программная инженерия: методы и технологии разработки информационно-вычислительных систем (ПИИВС–2020): сборник научных трудов III научно-практической конференции (студенческая секция) / Донец.национал.техн.ун-т; — Донецк, 2020. — С. 138-143.
8. Обзор панорамной камеры Ricoh Theta Z1 [Электронный ресурс] – Режим доступа: https://itc.ua/arti... .
9. Рыбий глаз (объектив) [Электронный ресурс] – Режим доступа: https://wikipedia.tel/Рыбий_глаз...
10. Кубическая текстура [Электронный ресурс] – Режим доступа: https://ru.wikipedia.org/wiki/Кубическая_текстура .
11. Humus – Cube textures [Электронный ресурс] – Режим доступа: http://www.humus.name/index... .
12. Spherical Coordinates [Электронный ресурс] – Режим доступа: https://mathworld.wolfram.com/Spheri... .