Актуальность выбранной темы прослеживается в целом ряде проблем, решение которых становится очевидным при попытке применения к ним технологии расширенной реальности. Приведём несколько простых примеров.
Проблемы обучения технических специалистов.
В сегодняшний век высоких технологий сложность некоторых устройств, которыми мы привыкли пользоваться каждодневно, становится запредельной. При эксплуатации сверхсовременного автомобиля, самолётов или сложных компьютерных систем мы зачастую не замечаем их сложности – и это правильно. Однако, персоналу, который обслуживает подобную технику, необходим недюжинный уровень подготовки. Хорошо, если это специалист с высшим образованием, а как быть тем, кто не получил такового? И те и другие в работе по созданию и обслуживанию сложного оборудования вынуждены использовать огромный объём справочной информации. Это является серьёзной проблемой в условиях ограниченного времени и ресурсов.
Туристический бизнес.
Системы GPS (Global Positioning System – Глобальная Система Позиционирования) уже давно используются повсеместно. Её цель проста и понятна – не дать заблудится человеку в незнакомой местности или городе. Однако можно одновременно видеть как местный ландшафт, так и карту, отображающую его топологию, и при этом все равно растеряться, так как не всегда очевидна взаимосвязь между горами, наблюдаемыми в реальном мире, и горами, изображенными на карте. Кроме того, во время проведения, скажем, туристических экскурсий, сегодня зачастую используют аудиогиды. Однако куда более интересным представляется решение данной проблемы с использованием технологии расширенной реальности.
Решением этих и многих других актуальных проблем в перспективе может выступить технология расширенной реальности.
По сути, расширенная реальность (AR – Augmented Reality) – это наложение на изображение реального мира виртуальных объектов, которые дополняют либо заменяют реальные объекты и привязаны строго к ним. Проблема создать систему, простую и удобную в использовании для конечного пользователя встала вместе с зарождением технологии.
В случае с применением в обучении расширенная реальность выглядит очень уместной. Например, специалиста по ремонту современного, напичканного электроникой, автомобиля можно снабдить таким устройством: надеваемый на голову обруч, на котором со стороны одного глаза крепится что-то вроде смотрового стёклышка. Когда человек с таким прибором подходит к какой-нибудь машине, на это стёклышко проецируется её подробная цветная схема. Причём проецируется эта схема так точно, что накладывается на изображение машины в человеческом глазу. В результате, глядя, например, на двигатель "Фольксвагена", человек видит не только сам двигатель, но и его "нутро" – наложенную на двигатель анимированную схему его работы. Мало того, в схеме могут содержаться подсказки по монтажу и/или ремонту этого двигателя. Если взгляд смещается, то подстраивается к нему и схема, показывая двигатель с другой стороны или более крупно и детально.
А если использовать систему расширенной реальности в связке с GPS-навигатором, можно получить значительное расширение функциональности глобального позиционирования. Например, при попадании в незнакомый город, человек может просто навести камеру своего смартфона на окружающие его здания и получить всплывающую подсказку о том, что он видит перед собой. Незаменимым помощником такая система будет и при проведении экскурсий. Так, например, при экскурсиях в Помпеи, турист увидит не только выкопанные из вулканического пепла дома, таверны и усадьбы, но и людей, занятых своими повседневными заботами (естественно, это будут образы, сгенерированные компьютером).
Проведённый анализ доказывает, что системы расширенной реальности могут быть применены в очень многих отраслях. Использование систем AR существенно упростит жизнь конструкторам, архитекторами, медикам и др., а также позволит привнести нечто новое в туристический бизнес.
Обзор существующих исследований показал огромный интерес к этой проблеме в мировом масштабе. Известнейшие бренды, такие как Nokia, Hewlett-Packard, General Motors, BMW, Boeing уже внедрили системы, базирующиеся на технологиях расширенной реальности каждый в своей области. С 1998 года под эгидой IEEE проводятся ежегодные международные конференции по расширенной реальности - International Symposium on Mixed and Augmented Reality (ISMAR). В то же время, как на Украине, так и в странах ближнего зарубежья эта проблема мало исследуется. Кроме того, международный интерес представляет реализация функциональности расширенной реальности именно на мобильных устройствах под управлением различных мобильных операционных систем. Это подталкивает к попыткам реализации технологи Augmented Reality с использованием платформы JAVA.
Таким образом, в совместном проекте с Дуденко Максимом, предполагается построить законченную, функционирующую основу реализации технологии AR (Augmented Reality) с использованием инструментов разработки JAVA. В зависимости от потребностей, данную систему возможно будет легко транспортировать на смартфон или КПК, учитывая некоторые особенности мобильных устройств. В данной магистерской диссертации решается проблема интеграции объектов виртуальной реальности в видеоряд с записью окружающего мира. В качестве исходных данных принимаются результаты распознавания положения в пространстве так называемого маркера – метки, которая указывает точное местоположение, куда необходимо интегрировать тот или иной 3D объект. Распознаванием маркера, а также его положения в пространстве занимается Дуденко Максим в своей магистерской диссертации.
Функциональность разрабатываемой системы базового уровня заключается в следующем:
генерируется набор уникальных маркеров, которые могут быть представлены простыми чёрными геометрическими фигурами на белом фоне;
маркер помещается на объект, в пределах которого необходимо выполнить достраивание виртуального фрагмента;
затем цифровая видеокамера (веб-камера, камера смартфона или др.) наводится на объект под различными углами и выполняется передача сигнала в компьютер;
программа-обработчик распознаёт маркер, угол поворота камеры по отношению к нормали;
затем идёт обращение к базе данных маркеров, по которой выбирается соответствующий конкретному виду маркера объект, который необходимо поместить в видеоряд;
после выборки из БД конкретный 3-х мерный объект дорисовывается в видеоряд с частотой, например, 10 кадров в секунду (можно было бы и чаще, но необходимо оценивать вычислительные мощности оборудования);
полученный модифицированный видеоряд отображается на мониторе или экране смартфона.
Демонстрация работы системы. (Флеш-анимация, 6 кадров, размер: 500х300)
Основная сложность разрабатываемого проекта заключается в том, что при работе с видеорядом необходимо выполнять огромное количество вычислений. Для этого необходимы вычислительные ресурсы. Однако наибольший интерес представляют системы для мобильных устройств, а значит необходимо изначально задаться серьёзными ограничениями вычислительной мощности. Соответственно, эти ограничения накладывают отпечаток на разрабатываемую систему. Как известно, в современном плёночном ТВ применяется стандарт 24-25 кадров в секунду. Однако, минимальный показатель, при котором движение будет восприниматься однородным — примерно 10 кадров в секунду (это значение индивидуально для каждого человека). Для разрабатываемой системы этот показатель играет величайшую роль – ведь от частоты кадров серьёзно зависит нагрузка на тестируемое оборудование. Для начала, ограничимся 5-7 кадрами в секунду. Таким образом, в видеоряде частотой 24 кадра в секунду будут изменены несколько кадров в секунду.
Таким образом, система должна захватывать кадры из видеоряда с заранее заданной частотой, видоизменять эти кадры, добавляя туда объекты расширенной реальности вместо маркеров, а затем встраивать эти кадры обратно в видеоряд.
Следует отметить, что проект находится в состоянии разработки. На данный момент завершается работа по захвату кадров из видеоряда. Что касается программных тонкостей, можно отметить, что для работы с видеорядом на данный момент используется библиотека JMF (Java Media Framework). В ней реализован базовый набор функциональности для работы с видеорядом. Однако, из-за большой сложности системы, этой библиотеки, скорее всего, окажется недостаточно. В связи с этим на данный момент ведётся активный поиск альтернативы и дополнений к JMF.
Что касается предстоящих экспериментов, то учитывая специфику тематики, их проведение станет возможным при лишь 80% готовности всей системы.
Исходя из изложенного, следует отметить, что для разработки законченной системы на основе технологий расширенной реальности, потребуется затратить немалые усилия. Однако, учитывая широчайший спектр возможного применения, данная тема на сегодня представляется крайне актуальной. Разочаровывает тот факт, что темой, которая столь актуальна в мире, в нашей стране практически никто ещё не уделил должного внимания. А ведь уже сегодня некоторые западные аналитики по мере значимости для человека сравнивают развитие Augmented Reality как технологии с развитием сети Internet.
Дальнейшие перспективы исследования просто огромны: внедрение в каждую из областей применения, которые были описаны выше, требует хоть и незначительных, но всё же доработок технологии. Кроме того, интерес представляют также и аппаратные комплексы, разработки которых ведутся в нескольких западных странах при мощном финансировании известнейших мировых компаний.
Литература:
Том Драммонд (Кембриджский университет) «Расширенная реальность. Соединения с реальным миром» / «АББ - ревю», №1, 2007г.
Автореферат
