Проект расширенной реальности Studierstube

Авторы: Dieter Schmalstieg, Anton Fuhrmann, Gerd Hesina Zsolt Szalavari, L. Miguel Encarnacao, Michael Gervautz, Werner Purgathofer

Источник: Presence: Teleoperators and Virtual Environments, MIT Press – 2002, том 11, выпуск 1 , с.33–54

Аннотация

Исходной точкой разработки системы Studierstube было утверждение, что расширенная реальность, менее прогрессивная «родственница» виртуальной реальности, имеет больше шансов стать жизнеспособной технологией разработки пользовательских интерфейсов для приложений, обычно требующих манипуляции сложной трехмерной информацией. В сущности, мы разрабатываем такую же универсальную парадигму трехмерных интерфейсов, какой является парадигма рабочего стола для двухмерных интерфейсов. В основе системы Studierstube используются технологии многопользовательской расширенной реальности для внедрения компьютерной графики в реальное рабочее окружение. В первой части этой работы, мы рассмотрим пользовательский интерфейс исходной системы Studierstube, в частности реализацию многопользовательских приложений расширенной реальности и личную панель взаимодействия – интерфейс взаимодействия с системой с помощью рук. Во второй части представлена расширенная система Studierstube на основе гетерогенной распределенной архитектуры. Эта система позволяет пользователю комбинировать различные подходы: расширенную реальность, проекционные дисплеи и распределенные вычисления. Виртуальное окружение контролируется персональной панелью взаимодействия, интерфейсом, который имеет универсальное применение для взаимодействия с виртуальным окружением. В Studierstube также присутствуют элементы рабочего стола, такие как многозадачность и многооконность. В результате архитектура программного обеспечения представляет собой систему управления пользовательским интерфейсом для сложных приложений расширенной реальности. Презентация дополнена примерами применения.

1 Введение

Studierstube – это немецкое название для кабинета, в котором знаменитый персонаж Гете, Фауст, пытается получить знания и просвещение (Гете, 1808). Мы выбрали этот термин в качестве названия для нашего проекта развития трехмерных пользовательских интерфейсов для будущего рабочего окружения. Большинство современных систем расширенной реальности приспособлены для узко специализированных целей. В отличие от них, проект Studierstube направлен на решение следующего вопроса: как использовать трехмерные интерактивные средства в условиях рабочего процесса, где различные задачи выполняются одновременно. В сущности, мы разрабатываем такую же универсальную парадигму трехмерных интерфейсов, какой является парадигма рабочего стола для двухмерных интерфейсов. Исходной точкой разработки системы Studierstube было утверждение, что расширенная реальность, «менее прогрессивная родственница» виртуальной реальности, имеет больше шансов стать жизнеспособной технологией разработки пользовательских интерфейсов для приложений, которые обычно требуют манипуляций сложной трехмерной информацией. Сегодня работники в сфере обработки информации обязаны выполнять самые разнообразные задачи, но связь между коллегами имеет одинаково важную роль. Следовательно, Studierstube старается поддерживать производительность, как правило, связываемую с парадигмой интерфейса приложений, как и сотрудничество, обычно ассоциируемое с многопользовательскими приложениями.

В основе системы Studierstube используются технологии многопользовательской расширенной реальности для внедрения компьютерной графики в реальное рабочее окружение. В расширенной реальности используются дисплейные технологии, такие как шлем-дисплеи (HMDS), проекционные экраны для объединения компьютерной графики с действительным видимым миром пользователя. Совместная работа в расширенной реальности возможна только путем предоставления нескольким пользователям возможности находиться в одной и той же виртуальной среде.

В этой статье представлен обзор различных направлений исследований, которые были проведены в течение последних четырех лет и соотношения их друг с другом. Целью данной работы является резюмирование этого довольно обширного проекта, а также знакомство с подходом комбинирования дополненной реальности с элементами из других парадигм пользовательского интерфейса для внедрения нового трехмерного дизайна в рабочую среду.

В первой части этой статьи мы рассмотрим основные технологии создания пользовательского интерфейса, применяющиеся в Studierstube, в частности реализацию многопользовательских приложений дополненной реальности, и личную панель взаимодействия – интерфейс взаимодействия с системой с помощью рук.

Во второй части мы представим расширенный многопользовательский трехмерный интерфейс, который объединяет аспекты нескольких парадигм пользовательского интерфейса, в частности, дополненная реальность, распределенные вычисления, а также парадигма рабочего стола.

Работа иллюстрируется набором приложений созданных с использованием Studierstube.

2 Смежные разработки

При разработке системы Studierstube были исследованы и частично улучшены разные идеи. Наибольший интерес представляют следующие области: дополненная реальность, многопользовательские приложения, распределенные вычисления, и гетерогенные пользовательские интерфейсы. Здесь представлены наиболее важные работы в этих областях.

В 1991 г. Вайзер ввел понятие распределенных вычислений как будущую парадигму взаимодействия с компьютерами. Она заключается в постоянном присутствии компьютеров в нашем окружении путем встраивания их в предметы быта, и упрощении доступа к информации. Системы дополненной реальности используют персональные дисплеи (например, HMDS) для усиления восприятия виртуального окружения пользователем.

Проект «Shared Space» (Биллингхерст, Вергорст, и Фернесс, 1996, 1998). В лаборатории HITLab Университета Вашингтона с помощью технологии, предшествующей Studierstube было создано многопользовательское приложение дополненной реальности. Основной более поздней работой группы является ARToolKit, библиотека для эффективного и надежного оптического отслеживания маркеров (Като, Биллингхерст, 1999), которая в настоящее время является открытой. Используя ARToolKit, группа работала над многими инновационными приложениями, комбинируя расширенную реальность с другими компонентами. Например, Биллингхерст, Боускил, Джессоп, и Морфетт (1998) представили мобильную систему видео конференции в расширенной реальности, которую можно использовать для удаленных многопользовательских приложений. С помощью расположения окон с видео в реальном окружении пользователя и пространственного звука усиливается ощущение присутствия удаленных участников. В приложении «Magic Book» (Биллингхерст, Като, Попырев, 2001), пользователи могут просматривать трехмерные виртуальные миры с помощью книги с маркированными страницами. Они также могут «телепортироваться» в миры, представленные в книге и изучать переходы в и из виртуальной реальности. Проект «VOMAR» (Като, Биллингхерст, Попырев, Имамото, Татибана, 2000) исследует материальные манипуляции в виртуальных мирах с использованием естественных жестов на примере дизайна интерьера.

Лаборатория компьютерной графики и пользовательских интерфейсов Колумбийского университета имеет большой опыт исследования дополненной реальности. В одной из основополагающих работ по расширенной реальности, Фейнера, Макинтайр, и Селигман (1993) описывают систему, способную направлять пользователя при решении сложных задач, предлагая подсказки для объектов окружающей среды. Группа в Колумбии представила систему «Эмми» (Буц, Холлерер, Фейнера, Макинтайр, и Бешерс, 1999), которая, вероятно, ближайшая по отношению к Studierstube. Она сочетает в себе дополненную реальность с распределенными вычислениями, соединяя пользователей и компьютеры в совместное "пространство" заполненное графическими элементами данных. Данные визуализируются с использованием расширенной реальности и вычислительные устройства, такие как HMDS, ноутбуки, PDA, и проекционные стены. Каждое устройство используется в соответствии со своими возможностями, например, портативный дисплей представляет гипертекстовую информацию лучше, чем трехмерную графику. Объекты могут быть перемещены между устройствами с помощью обычных операций перетаскивания (drag-and-drop), а также различные операции будут доступны в зависимости от используемого устройства. «Эмми» может быть соединена с удаленными пользователями мобильной расширенной реальности (Холлерер, Фейнера, Тэраути, Рашид, и Хеллевей, 1999).Положение удаленного пользователя может быть визуализировано в Эмми, а также может быть предоставлена другая информация. Эмми разделяет многие основные намерения наших исследований, в частности, одновременное использование гетерогенных интерфейсов в среде совместной работы.

Перевод с английского: Акчурин В.А.