Демонстрация перчаточного устройства с распределенными инерционными датчиками и вибро‑тактильной обратной связью

Аннотация

Система InerTouchHand показывает использование подобного перчатке устройства для приложений взаимодействия человека и машины. Мы исследовали использование распределенных инерционных датчиков и вибро‑тактильных стимуляторов на руке. Распределенные инерциальные измерительные блоки (IMU) могут быть использованы для определения структуры и реконструкции 6D положения узлов, а также относительного движения. Наша система использует MEMS IMU на каждом кончике пальца для обеспечения относительной угловой позы, используя гравитацию в качестве вертикального ориентира для измерений ускорения. Хотя это не всегда можно полностью наблюдать, его можно дополнить измерениями вращения гироскопа и магнитометра в IMU. В сочетании с вибротактильными стимуляторами носимое вручную устройство или перчатка может обеспечить пространственную обратную связь. На 2‑й международной конференции Experiment @ InerTouchHand (iTH)представила, ручное устройство для распознавания жестов и HMI с сенсорной обратной связью.

Введение

В этой работе мы исследовали использование распределенных инерционных датчиков и вибро‑тактильных стимуляторов на руке, поддерживаемых устройством, подобным перчатке, специально разработанным для этой цели, которое будет использоваться для улучшенного взаимодействия виртуальной реальности и приложений HMI (Human Machine Interaction). Распределенные MEMS‑акселерометры могут предоставить богатую информацию об ориентации относительно вертикальной привязки, а также динамическую информацию о движении. Эти датчики настолько малы, что их можно распределить по руке, приближаясь к все еще призрачной концепции Smartdust. Однако для определения положения рук и движения распределенные акселерометры являются интересным решением. Руку можно рассматривать как кусочно‑твердое тело с ограниченными суставными движениями, а также некоторые податливые части. Мелкие датчики могут быть связаны в локальной шине и предоставлять богатые данные о позе и движении. Акселерометры, дополненные информацией о вращении гироскопа и информацией о магнитной ориентации, обеспечивают более надежное полное восстановление в 6D позе. Будущие реализации могут даже использовать концепцию сбора энергии, используя преимущества кинетической энергии для питания сенсора или даже всей системы.

Нашим целевым приложением для демонстрации является управление роботизированной рукой, похожей на человеческую. Положение пальцев отображается на руке робота, которая связана и управляется с помощью ROS (Robotic Operating System). На рисунке 1. показаны датчики на пальцах и соответствующий визуализированный вид руки робота, смоделированной под ROS.

Информация связанная с разработкой

Для обеспечения распознавания жестов и интерфейсов "человек‑машина" (HMI) было разработано много способов прикрепления датчиков к руке человека. Насколько нам известно, перчатка для измерения ускорения впервые была представлена в [1] как устройство ввода статических жестов и указательное устройство для HMI. AcceleGlove был представлен как устройство ввода для виртуальной реальности [2], хотя основное внимание уделяется HMI для управления мышью и распознаванию алфавита американского языка жестов. Более обширный обзор систем на основе перчаток и их приложений представлен Дипьетро [3]. В Wang [4] представлена цветовая схема отслеживания рук, также ссылки на нее дают хороший обзор систем захвата жестов, а именно на основе цветовых маркеров, отражающих маркеров или активных светодиодов, а также некоторые, основанные на размещении датчиков на руке. Наш подход заключается в последнем, избегая внешних камер или проекторов, и нацелен на создание автономной системы, использующей мельчайшие датчики для создания минимально навязчивой системы.

Реализованная система InerTouchHand

Текущий прототип InerTouchHand основан на перчатках, но дальнейшая миниатюризация может привести к созданию более легкой системы в будущем. Это недорогое решение, использующее небольшие MEMS‑датчики, которые получают данные об ориентации из своих магнитометров и акселерометров. FPGA используется для того, чтобы мы могли обеспечить параллельный синхронный сбор данных всех датчиков. Использование реконфигурируемой логики также облегчает будущие обновления, такие как добавление дополнительной встроенной обработки. Разработанная плата также имеет драйверы питания для вибро‑тактильных двигателей, беспроводную связь и использует быстро заряжающиеся новые батареи.

На рисунке 2 показано оборудование iTH. InerTouchHand состоит из одной небольшой платы FPGA (Terasic DE0‑nano); 11 инерционных и магнитных датчиков (CMPS10); 14 вибрационных моторов; один беспроводной модуль (WiFly RN‑XV); и две батареи (элементы LiFePO4 A123). В настоящее время мы собираем улучшенную версию с финальными платами и улучшенными датчиками.

Этот прототип также можно использовать в другой конфигурации, поскольку основная система имеет универсальные соединения, позволяющие конечному пользователю легко подключать / отключать датчики / исполнительные механизмы. Прототип InerTouchHand уже был интегрирован с операционной системой робота (ROS), чтобы обеспечить общее использование прототипа.

Встроенное ПО передает данные в компьютер, где разработанный драйвер программного обеспечения вычисляет относительные углы и управляет виртуальной рукой робота в рамках ROS.

Подробнее об основной обработке данных см. [5]. В нашей предыдущей работе [5] ручные распределенные акселерометры использовались для идентификации статических жестов, включая португальский алфавит языка жестов. Пространство особенностей состояло в относительном угловом положении между каждым кончиком пальца и ладонью, а также креном и шагом ладони. На рисунке 3 представлен обзор того, как определить относительное положение между каждым датчиком в руке и мировым эталоном, который можно установить на тыльной стороне ладони.

Положение было определено с использованием гравитации в качестве вертикального ориентира. Метод ближайшего соседа идентифицировал выполненный жест против библиотеки жестов. Это следовало из работы Лобо [6] по использованию гравитации в качестве вертикального ориентира для перекрестной калибровки камеры–IMU и в инерциальном зрении робота [7]. С новым прототипом InerTouchHand мы улучшили восприятие и добавили вибро‑тактильную обратную связь.

Датчик IMU также предоставляет информацию о вращении магнитов и гироскопов, которая используется для дополнения положения, полученной путем измерения ускорения. Магнитное направление помогает преодолеть отсутствие наблюдаемости при использовании гравитации в качестве эталона. Смещение при вращении гироскопа не создает существенного препятствия для точности, учитывая тот факт, что его использование предлагается в качестве избыточности и для большей точности восстановления положения.

Интерактивная демонстрация

На 2‑й международной конференции Experiment @ система была доступна для интерактивной демонстрации, где пользователи надевали инструментальную перчатку и управляли рукой виртуального робота, или перемещали деревянную модель руки, как показано на рисунке 1, рисунке 4, рисунок 5.

Вывод

В этой статье мы кратко представили устройство в виде перчаток, которое включает в себя распределенное инерционное зондирование и вибротактильную обратную связь. Демонстрация на 2‑й международной конференции Experiment @ показала систему в действии. Несмотря на то, что эта система несколько сложна, ее компоненты не являются дорогостоящими, и части могут быть собраны для более простых целей взаимодействия, чтобы быть более доступными для пользователей удаленных и виртуальных лабораторий. На Рисунке 5 показан стенд на 2‑й международной конференции Experiment @, где пользователи могли взаимодействовать с системой и понимать потенциал технологий и научных разработок, связанных с дальнейшими приложениями.

Список использованной литературы

1. J. Perng, B. Fisher, S. Hollar, and K. Pister, Acceleration sensing glove (asg), in Wearable Computers, 1999. Digest of Papers. The Third International Symposium on, 1999, pp. 178–180. [Online]. Available: http://ieeexplore.ieee.org/xpls/absall.jsp?arnumber=806 717
2. J. Hernandez‑Rebollar, N. Kyriakopoulos, and R. Lindeman, The AcceleGlove: A Whole‑Hand Input Device for Virtual Reality, in (Technical Sketch), Conference Abstracts and Applications, ACM SIGGRAPH, July 2002, p. 259. [Online]. Available: http://web.cs.wpi.edu/!gogo/gogopubs.html
3. L. Dipietro, A. Sabatini, and P. Dario, A survey of glove‑based systems and their applications, Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions on, vol. 38, no. 4, pp. 461–482, july 2008. [Online]. Available: http://ieeexplore.ieee.org/xpls/ abs all.jsp?arnumber=4539650Б
4. R.Y. Wang and J. Popovic, Real‑time hand‑tracking with a color glove, ACM Trans. Graph., vol. 28, no. 3, pp. 63:1–63:8, Jul. 2009. [Online]. Available: http://doi.acm.org/10.1145/ 1531326.1531369
5. P. Trindade and J. Lobo, Distributed accelerometers for gesture recognition and visualization, in DoCEIS’11 – Doctoral Conference on Computing, Electrical and Industrial Systems, Lisbon, Portugal, February 2011, pp. 215–223. [Online]. Available:http://dx.doi.org/10.1007/978-3-642-19170-124
6. J. Lobo and J. Dias, Relative pose calibration between visual and inertial sensors, The International Journal of Robotics Research (IJRR) Special Issue from the 2nd Workshop on Integration of Vision and Inertial Sensors., vol. 26, pp. 561–577, 2007.
7. J. Lobo and J. Dias, Vision and inertial sensor cooperation using gravity as a vertical reference, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 12, pp. 1597–1608, December 2003. http://dx.doi.org/10.1109/TPAMI.2003.1251152