Назад в библиотеку

---

Дополненная реальность: состояние, проблемы и пути решения

Авторы: И.В. Бойченко, А.В. Лежанкин.
Источник: http://www.tusur.ru/filearchive/reports-magazine/2010-1-2/161-165.pdf

Аннотация

И.В. Бойченко, А.В. Лежанкин. Дополненная реальность: состояние, проблемы и пути решения. Представлен обзор систем расширенной (дополненной) реальности, приведена их классификация; рассмотрены основные проблемы, возникающие при разработке подобных систем и возможные пути их решения.

Ключевые слова: дополненная реальность, виртуальный объект, идентификация объектов, вычислительный сервис.

Введение

Дополненная реальность (augmented reality) – это технологии, позволяющие дополнять изображение реальных объектов различными объектами компьютерной графики, а также совмещать изображения, полученные от разных источников: видеокамер, тепловизоров, спектрометров и т.д. В отличие от «виртуальной реальности», которая предполагает полностью искусственный синтезированный мир (видеоряд), дополненная реальность предполагает внедрение синтезированных объектов в естественные видеосцены. Рональд Азума (Ronald Azuma) [1] выделил ряд признаков, которыми должна обладать расширенная реальность:

1. комбинирование реального и виртуального мира;
2. интерактивность;
3. трехмерное представление объектов.

Существует достаточно широкий спектр областей науки и техники, в которых может применяться дополненная реальность. Однако в первую очередь можно выделить следующие из них:

1. Медицина
2. Проектирование и дизайн
3. Картография и ГИС.

В медицине данные технологии востребованы для создания реалистичных тренажеров. Это позволяет врачам, например, практиковаться в проведении различного рода хирургических операций на тренажере и только затем начинать работать с пациентами. При этом интерактивность и реалистичность тренажеров будут гарантировать правильность действий врача при проведении реальной операции. В качестве примера может рассматриваться система BoneSim [2], позволяющая имитировать операции на костной ткани.

В проектировании дополненная реальность может использоваться для совмещения реальных объектов и инструкций по сборке [3], управлению и т.д.

В картографии и ГИС дополненная реальность стала востребована в связи с широким распространением мобильных устройств. Так, подобные системы могут идентифицировать окружающие объекты, позволяя человеку с легкостью ориентироваться в пространстве. В качестве примера можно привести сервис Layar [4], позволяющий получать в реальном времени доступ к информации об окружающем мире через камеру мобильного телефона. Это может быть информация о кафе, ресторанах, гостиницах и других социальных местах.

Классификация систем дополненной реальности

Попытаемся классифицировать существующие системы дополненной реальности. Человек обладает целым набором органов чувств, которые позволяют ему получить представление об окружающем пространстве. Система дополненной реальности является посредником между реальностью и человеком, а значит, на выходе она должна создавать сигнал для одного из таких органов. Таким образом, по типу представления информации можно выделить следующие системы:

1. Визуальные. В основе данных систем лежит зрительное восприятие человека. Задача таких систем – создать изображение, которое может быть использовано человеком для достижения его целей. Этот вид систем является более распространенным в связи с особенностями человеческого восприятия – изображение для человека является более информативным и понятным.
2. Аудио. Системы данного типа ориентированы на слуховое восприятие. Особенности таких систем рассматриваются в работе [5]. Как правило, данные системы используются в качестве навигаторов. Когда человек достигает определенного места, они могут выдавать различные звуки. Возможно использование стереоскопического эффекта, что позволяет человеку идти в нужном направлении, ориентируясь на источник звука. Примером такой системы является Hear&There [6].
3. Аудиовизуальные. Данные системы представляют собой комбинацию двух предыдущих типов, однако аудиоинформация в них носит вспомогательный характер.

Системы дополненной реальности должны получать информацию об окружающей среде. Именно на основе этой информации строятся виртуальные объекты. Каждая из таких систем обладает определенным набором сенсоров – устройств, позволяющих фиксировать различные сигналы окружающей среды: звуковые и электромагнитные колебания, ускорение и т.д. Для классификации имеет смысл разделять сенсоры не по типам регистрируемых физических величин, а по их назначению, поскольку сходные по своей природе сигналы могут нести различную информацию. По типу сенсоров можно выделить следующие системы:

1. Геопозиционные. Такие системы ориентируются в первую очередь на сигналы систем позиционирования GPS [7] или ГЛОНАСС [8]. В дополнение к приемникам таких сигналов геопозиционные системы могут быть оборудованы компасом и акселерометром для определения угла поворота относительно вертикали и азимута.
2. Оптические. Данные системы работают с изображением, полученным с одной или нескольких камер. Камеры могут перемещаться вместе с системой либо вне зависимости от нее.

Системы могут различаться по степени взаимодействия с пользователем. В ряде систем пользователь играет пассивную роль, он наблюдает за реакцией системы на изменение окружающей среды. Но существуют и системы, требующие активного вмешательства пользователя – он может управлять как работой самой системы с целью достижения результатов, так и изменять виртуальные объекты. По этому признаку можно выделить следующие системы:

1. Автономные. Такие системы не требуют вмешательства пользователя для своей работы. Задача таких систем сводится к предоставлению информации об объектах. Например, подобные системы могут анализировать объекты, находящиеся в поле зрения человека и выдавать о них справочную информацию. Также системы такого типа используются в медицине. Например, система Gait Aid [9] используется для того, чтобы путем использования виртуальных объектов давать мозгу дополнительную информацию, помогающую координировать движения. Данная система применяется людьми с нарушениями опорно-двигательного аппарата.
2. Интерактивные. Работа данных систем основывается на взаимодействии с пользователем. На различные действия пользователя такие системы дают различный ответ. Подобные системы нуждаются в устройстве ввода информации. В качестве такого устройства может выступать сенсорный экран мобильного устройства, планшет или специальный манипулятор. Выбор устройств ввода зависит от специфики системы. В случае если пользователю необходимо совершать простые действия с виртуальным объектом, достаточно простого указывающего устройства. В случае же имитации каких-либо реальных процессов и выполнения сложных манипуляций с объектами используются специальные манипуляторы, имеющие различное количество степеней свободы. Примером могут служить устройства PHANTOM [10].

Интерактивность может быть выражена в разной степени. Существуют системы, позволяющие пользователю активно изменять виртуальную среду [11]. В основном это системы-симуляторы каких-либо реальных действий. Они используются в случае, когда использование реальных объектов невозможно. Это могут быть, например, медицинские тренажеры, позволяющие начинающим врачам вырабатывать необходимые навыки [2].

Существуют и другие системы, в которых пользователю не требуется изменять виртуальную среду. Вместо этого пользователь выбирает, какие виртуальные объекты он хочет видеть. Пользователь также имеет возможность манипулировать виртуальными объектами, но не на уровне структуры, а на уровне отображения, т.е. делать, например аффинные преобразования типа поворота, перемещения и т.д. К данной группе относятся различные архитектурные системы [12], позволяющие увидеть, как впишется в существующую обстановку новое сооружение или его часть, а также навигационные и геоинформационные системы [13]. Подобные системы могут, например, показывать части объектов интереса, скрытые другими постройками, информацию о выбранных объектах и т.д.

Также по степени мобильности можно выделить следующие системы дополненной реальности:

1. Стационарные. Системы этого типа предназначены для работы в фиксированном месте; перемещение таких систем ведет к частичной или полной приостановке их функционирования.
2. Мобильные. Системы этого типа могут быть без труда перемещены; зачастую их перемещение и лежит в основе выполняемой ими функции.

Принадлежность к тому или иному типу определяется функциями системы. Так, симулятор хирургического стола не должен быть мобильным, поскольку его задача – позволить человеку работать в условиях, максимально приближенных к реальным. В то же время навигационная система должна быть такой, чтобы она могла перемещаться вместе с транспортным средством или человеком, не создавая дополнительных расходов на ее перемещение.

Проблемы и способы их решения

Для каждого типа систем дополненной реальности характерен свой набор проблем. Для аудиосистем основной проблемой является трекинг головы человека, поскольку именно от того как повернута или наклонена голова будет зависеть воспроизводимый звук. Существует несколько подходов к определению положения головы:

1. определение положения относительно фиксированной платформы;
2. определение положения относительно вращающейся Земли;
3. определение положения относительно произвольной подвижной платформы.

В работе [14] для каждого из вышеперечисленных случаев вводятся системы координат и описываются выражения для определения этих координат. Однако какую бы координатную систему мы не использовали, на голову человека необходимо закрепить датчики, на основе показаний которых координаты и будут вычисляться

Для визуальных систем основной проблемой является распознавание образов на изображении. Это необходимо для идентификации окружающей среды, в зависимости от которой строятся виртуальные объекты. Человек мыслит категориями – некими собирательными образами, с которыми он сопоставляет видимые объекты. То же самое необходимо проделать и для систем дополненной реальности. В настоящее время не существует систем, способных распознать любой объект. Каждая конкретная система способна идентифицировать только определенную группу объектов, определяемую назначением системы. Обзор методов идентификации объектов на изображении приводится в работе [15]. Процесс идентификации сводится к следующим этапам:

1. построение контура (формы) объекта;
2. построение одномерной функции из двумерной формы объекта;
3. сравнение полученной функции с эталоном для ее идентификации

Однако здесь возникает и еще одна проблема – классификация объектов для задания эталонов. Например, возьмем такой объект, как дом. К этой категории может быть отнесен и небольшой одноэтажный склад, и небоскреб. При этом эталоны таких объектов будут значительно отличаться.

При разработке мобильных систем также возникают специфические проблемы. Здесь имеются две тенденции: стремление сделать устройство как можно компактнее и обеспечить вычислительную мощность, необходимую для обеспечения работы системы в реальном времени. Причем эти тенденции являются противоборствующими – если мы хотим получить высокопроизводительную систему, нам придется смириться с увеличением ее размеров и наоборот. Поэтому для мобильных систем используются менее ресурсоемкие алгоритмы, даже если это ведет к снижению точности.

Также имеется ряд проблем, характерных для всех систем дополненной реальности. Это проблемы, связанные с построением виртуальных объектов:

1. организация хранилища виртуальных объектов и средств доступа к нему;
2. обеспечение необходимой степени реалистичности виртуальных объектов;
3. согласование виртуальных объектов со сценой.

Система дополненной реальности может оперировать целым набором виртуальных объектов, которые воспроизводятся в зависимости от конкретной ситуации. Поэтому необходимо организовать хранилище объектов таким образом, чтобы система могла получить к ним быстрый доступ. Объект может храниться в любой форме, пригодной для последующей интерпретации: функция или описание метода построения, список полигонов для графических объектов, изображение, звуковой файл. Способ представления объектов во многом зависит от назначения системы и ее ограничений. Выбор или разработка способа представления также является одной из проблем систем дополненной реальности.

Системы различного назначения накладывают свои ограничения на необходимую степень реалистичности объектов. В идеале виртуальные объекты должны быть неотличимы от реальных, однако современный уровень развития техники не позволяет этого добиться. Поэтому в настоящее время системы дополненной реальности оперируют объектами в той или иной мере приближенными к реальным.

В какой бы мере реалистичным не был виртуальный объект, он должен вписываться в сцену. Для графических объектов это означает подборку правильной перспективы, масштаба, яркости; для звуковых объектов – подборку громкости, синхронность с другими звуками. Помимо этого, необходимо наложить объект на реальное изображение или звук таким образом, чтобы он не выпадал из общей картины. К тому же сцена не является статичной, она изменяется в зависимости от действий пользователя. Поэтому система дополненной реальности должна обеспечивать отслеживание положения реальных объектов на сцене и вслед за ними перемещать связанные виртуальные. В результате возникает еще одна проблема – трекинг элементов изображения. При этом может возникать необходимость отслеживать не один, а сразу несколько объектов, которые могут перемещаться не только относительно пользователя, но и относительно друг друга.

Для решения многих из этих проблем можно использовать системы высокой производительности. Однако они не мобильны и зачастую доступны не каждому, т.е. напрямую их использовать нельзя. Но на базе высокопроизводительных систем можно организовать вычислительный сервис, который решал бы следующие задачи:

1. идентификация объектов по фрагментам изображения;
2. поиск необходимых виртуальных объектов в хранилище и подгонка их параметров;
3. слияние виртуальных объектов с фрагментами сцены;
4. изменение представления объекта для обеспечения меньшей ресурсоемкости при его воспроизведении на конкретном конечном устройстве.

При таком использовании систем высокой производительности в задачи мобильных устройств будут входить фиксация окружающей среды и воспроизведение дополненной реальности для пользователя. Работа системы в целом будет состоять из следующих этапов:

1. Определение контуров объектов в интересующей пользователя области изображения на мобильном устройстве. Каждому из таких контуров будет присваиваться метка, положение которой устройство будет отслеживать.
2. Отсылка контуров и их содержимого на сервер для обработки.
3. Обработка сервером полученных данных, идентификация объектов и построение виртуальных объектов. Каждый из таких объектов представляет собой некую последовательность байт в памяти устройства, на основе которой можно построить изображение объекта. Это может быть функция для процедурно описываемых объектов, вершины и текстуры для полигональных объектов и т.п.
4. Отсылка готовых объектов, сопровождаемых идентификатором метки на исходном изображении.
5. Воспроизведение виртуальных объектов.

Заключение

Из проведенного исследования следует, что для систем дополненной реальности узким местом является вычислительная мощность устройств, так как решаемые задачи требуют реализации сложных алгоритмов, а требования к мобильности устройств не позволяют обеспечить их высокую производительность на современном этапе развития техники. Возможным решением в такой ситуации является использование вычислительных сервисов, что позволит использовать мобильные устройства только для получения и воспроизведения данных.

Литература

1. Ronald T. Azuma A Survey of Augmented Reality // In Presence: Teleoperators and Virtual Environments. – 1997. – № 4. – P. 355–385.
2. Visuohaptic Simulation of Bone Surgery for Training and Evaluation / Dan Morris, Christopher Sewell, Federico Barbagli // IEEE Computer Graphics and Applications. – 2006. – Vol. 26, № 6. – P. 48–57.
3. Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret / Steve Henderson, Steve Feiner // Proceeding of IEEE International Symposium on Mixed and Augmented Reality (ISMAR '09). – 2009. – P. 135–144.
4. Augmented Reality Browser: Layar [Электронный ресурс]. – Режим доступа: http://www2.layar.com/, свободный (дата обращения: 4.05.2010).
5. Miika Tikander Development and evaluation of augmented reality audio systems: Ab- stract of dissertation for the degree of Doctor of Science in Technology. – Helsinki, 2009. –70 p.
6. Hear&There: An Augmented Reality System of Linked Audio / Joseph Rozier, Karrie Karahalios, Judith Donath // Online Proceedings of the ICAD [Электронный ресурс]. – Режим доступа: http://www.icad.org/websiteV2.0/Conferences/ICAD2000/ICAD2000.html, свобод-ный (дата обращения 5.03.2010).
7. Global Positioning System. – Режим доступа: http://www.gps.gov/, свободный (да- та обращения 18.05.2010)
8. Глобальная спутниковая навигационная система ГЛОНАСС. Интерфейсный кон- трольный документ. – Редакция 5.1. – М.: КНИЦ МО России, 2008. – 74 с.
9. GaitAid Virtual Walker for Movement disorder patients [Электронный ресурс]. – Ре- жим доступа: http://www.medigait.com/index.html, свободный (дата обращения 17.05.2010).
10. PHANTOM Premium 6DOF [Электронный ресурс]. – Режим доступа http://www.sensable.com/haptic-phantom-premium-6dof.htm, свободный (дата обращения 17.05.2010).
11. Exploring Visuo-Haptic Mixed Reality/ Christian Sandor, Tsuyoshi Kuroki, Shinji Uchiyama, Hiroyuki Yamamoto // IEIC Technical Report (Institute of Electronics, Infor- mation and Communication Engineers). –2007. – Vol. 106, №470. – P. 31–36.
12. Yan Guo, Qingyun Du, Yi Luo, Weiwei Zhang, Lu Xu Application of augmented reality GIS in architecture // International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences. – 2008. – Vol XXXVII, Part B5, Commission V. – P. 331–336.
13. Augmented Reality Browser: Layar [Электронный ресурс]. – Режим доступа: http://www2.layar.com/, свободный (дата обращения: 4.05.2010).
14. Eric Foxlin Head-tracking relative to a moving vehicle or simulator platform using differential inertial sensors // Proceedings of Helmet and Head-Mounted Displays V, SPIE. – 2000. – Vol. 4021. – P. 133–144.
15. Гостев И.М. Методы идентификации графических объектов на основе геометриче- ской корреляции // Физика элементарных частиц и атомного ядра. – 2010. – Т. 41, вып. 1. – С. 49–94.

Бойченко Иван Валентинович

Докторант каф. автоматизированных систем управлении ТУСУРа

Тел.: 8-906-958-24-83

Эл. почта: biv@asu.tusur.ru

Лежанкин Антон Валентинович

Аспирант каф. автоматизированных систем управлении ТУСУРа

Тел.: 8-923-417-3739

Эл. почта: lanmails@ms.tusur.ru

Boichenko I.V., Lezhankin A.V.

Augmented reality: state of the art, problems and solutions

The article presents a review of augmented reality systems, their features, problems of development and possible solutions.

Keywords: augmented reality, virtual object, object identification, computing service