Аннотация
Пеньков А.С. «Анализ методов распознавания жестов руки с использованием камеры глубины». Выполнен анализ методов определения руки и методов распознавания жестов руки. Рассмотренные методы основаны на камере глубины. Дана сравнительная характеристика методов и определён наиболее эффективный метод. Проведён обзор устройств, предназначенных для получения данных о жесте руки.
Ключевые слова: жесты руки, камера глубины.
Постановка проблемы
Распознавание жестов руки является актуальной проблемой. В разговоре человека с собеседником жесты руки часто играют важную роль, добавляя эмоциональную окраску произносимым словам и привнося тем самым дополнительную информацию. В компьютерном мире жесты можно использовать для управления компьютером. Жесты руки являются одним из самых естественных и интуитивно понятных способов общения человека с машинами. Распознавание жестов руки является сложной задачей, так как рука имеет небольшой размер со сложными артикуляциями [1]. Распознавание жестов руки делится на 2 этапа: определение руки и определение жеста (рис. 1).
Рисунок 1 - Система распознавания жестов руки
Цель статьи
Провести анализ существующих методов распознавания жестов руки, основанных на камере глубины и определение наиболее эффективного из них.
Постановка задачи исследования
Необходимо определить наиболее эффективный метод распознавания жестов руки, основанный на камере глубины. Критериями эффективности являются: точность, производительность, дистанция работы метода. Необходимо построить сравнительную характеристику методов и по этим данным определить наиболее эффективный метод.
Решение задач и результаты исследований
Для решения этой задачи исследованы несколько методов для распознавания жестов руки: метод роя частиц [2], метод Finger-Earth Mover’s Distance [3] и метод сходства контуров [4]. Выделили несколько основных характеристик методов и построили сравнительную таблицу (табл. 1). В табл. 1 зелёным выделены лучшие показатели методов, а красным – худшие.
Таблица 1 – Сравнительная характеристика методов распознавания жестов руки
Производительность в табл. 1 указана для компьютеров с 2-ух ядерным процессором, современной видеокартой и 4 ГБ оперативной памятью. В исследованных методах для получения данных о жесте руки рекомендуется использовать устройство Microsoft Kinect [5]. Существует так же и альтернативные устройства для получения данных о жесте руки: MYO [6], DIY 3D Sensor [7], Intel Perceptual Computing [8], Leap Motion Controller [9], Xtion Pro [10].
Перед распознаванием жеста руки, необходимо выделить только те данные, которые характеризуют руку (рис. 1). Для этого существует несколько методов, например: метод на основании данных о глубине [4], метод с использование браслета (RANSAC) [3], нахождение руки по цвету [11], используя данные о положении тела.
В [12] выполнена программная реализация метода роя частиц, которая следит за рукой, в том числе и за всеми 5-ю пальцами на ней (рис. 2).
Рисунок 2 – Слежение за рукой и пальцами на ней
Данное программное обеспечение следит за 3D позицией, ориентацией и полной артикуляцией человеческой руки, основываясь на визуальных данных, без использования каких бы то ни было маркеров. Метод, который был разработан:
- моделирует полную артикуляцию руки (26 степеней свободы), выполняющую любые естественные движения;
- работает основываясь на дынных, полученных с легко доступной и широко используемой RGB-D камерой (Kinect, Xtion);
- не требует маркеров, специальных перчаток;
- на графическом процессоре дает результат со скоростью до 20 fps;
- не требует калибрации;
- не использует ни одну проприетарную технологию для слежения за позицией, как Nite, OpenNI или Kinect SDK.
Минимальные системные требования:
- 1 GB RAM;
- 64 bit Windows OS.
- Видеокарта с поддержкой технологии CUDA, памятью 256 MB и последней версией драйвера.
Система требует установку программного обеспечения:
- Visual Studio 2010 x64;
- Последняя версия DirectX;
- OpenNI для Windows x64.
Система была протестирована на компьютере с характеристиками: 2 Core, Intel Pentium CPU B940 @ 2GHz, 3GB RAM, NVIDIA GeForce GT 520M. Программа показала не плохие результаты (в большинстве случаев достаточно точно определяет показываемый жест). Производительность составила 4 кадра/сек.
Выводы
Проведен анализ методов распознавания жестов руки. Произведена оценка рассмотренных методов. Результаты показали, что наиболее эффективным методом, по критериям: точность распознавания простых жестов, дистанция работы метода, точность распознавания жестов с пересекающимися пальцами, является метод роя частиц [2]. Но метод является не самым производительным, метод сходства контуров имеет лучший результат по критерию производительности. Если учесть с каким темпом развивается сфера компьютерных технологий, то уже сейчас, на довольно мощном компьютерном оборудовании, метод роя частиц покажет хороший результат производительности.
Список использованной литературы
1. Zhou Ren, Junsong Yuan, Zhengyou Zhang, “Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera”, ACM Multimedia 2011: 1093-1096.
2. Project Report, December 18, 2003. I. Oikonomidis, N. Kyriazis, and A. Argyros, “Efficient model-based 3D tracking of hand articulations using Kinect”, in BMVC 2011, 2011.
3. Zhou Ren, Junsong Yuan, Zhengyou Zhang, “Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera”, ACM Multimedia 2011: 1093-1096.
4. Zhi Li, Ray Jarvis, “Real time Hand Gesture Recognition using a Range Camera”, in ACRA, 2009.
5. Kinect for Windows [Электронный ресурс]. Режим доступа: http://www.microsoft.com/en-us/kinectforwindows/ - Загл. с экрана. — Яз. англ.
6. MYO - The Gesture Control Armband [Электронный ресурс]. Режим доступа: https://getmyo.com/ - Загл. с экрана. — Яз. англ.
7. DUO: The World's First DIY 3D Sensor [Электронный ресурс]. Режим доступа: http://www.kickstarter.com/projects/codelabs/duo-the-worlds-first-diy-3dsensor - Загл. с экрана. - Яз. англ.
8. Intel Perceptual Computing SDK 2013 [Электронный ресурс]. Режим доступа: http://software.intel.com/enus/vcsource/tools/perceptual-computing-sdk - Загл. с экрана. - Яз. англ.
9. Leap Motion [Электронный ресурс]. Режим доступа: https://www.leapmotion.com/ - Загл. с экрана. - Яз. англ.
10. ASUS – Мультимедиа – Xtion PRO [Электронный ресурс]. Режим доступа: http://ru.asus.com/Multimedia/Motion_Sensor/Xtion_PRO/ - Загл. с экрана. - Яз. англ.
11. Shahzad Malik, “Real-time Hand Tracking and Finger Tracking for Interaction”, CSC2503F.
12. Kinect 3D Hand Tracking [Электронный ресурс]. Режим доступа: http://cvrlcode.ics.forth.gr/handtracking - Загл. с экрана. - Яз. англ.