Авторы: А.С. Пеньков, В.С. Бабков
Источник: Інформаційні управляючі системи та комп’ютерний моніторинг (ІУС и КМ - 2013) / Матерiали IV мiжнародної науково-технiчної конференцiї. — Донецьк, ДонНТУ — 2013, Том 2, с.334-337.
Пеньков А.С. «Анализ методов распознавания жестов руки с использованием камеры глубины». Выполнен анализ методов определения руки и методов распознавания жестов руки. Рассмотренные методы основаны на камере глубины. Дана сравнительная характеристика методов и определён наиболее эффективный метод. Проведён обзор устройств, предназначенных для получения данных о жесте руки.
Ключевые слова: жесты руки, камера глубины.
Распознавание жестов руки является актуальной проблемой. В разговоре человека с собеседником жесты руки часто играют важную роль, добавляя эмоциональную окраску произносимым словам и привнося тем самым дополнительную информацию. В компьютерном мире жесты можно использовать для управления компьютером. Жесты руки являются одним из самых естественных и интуитивно понятных способов общения человека с машинами. Распознавание жестов руки является сложной задачей, так как рука имеет небольшой размер со сложными артикуляциями [1]. Распознавание жестов руки делится на 2 этапа: определение руки и определение жеста (рис. 1).
Рисунок 1 - Система распознавания жестов руки
Провести анализ существующих методов распознавания жестов руки, основанных на камере глубины и определение наиболее эффективного из них.
Необходимо определить наиболее эффективный метод распознавания жестов руки, основанный на камере глубины. Критериями эффективности являются: точность, производительность, дистанция работы метода. Необходимо построить сравнительную характеристику методов и по этим данным определить наиболее эффективный метод.
Для решения этой задачи исследованы несколько методов для распознавания жестов руки: метод роя частиц [2], метод Finger-Earth Mover’s Distance [3] и метод сходства контуров [4]. Выделили несколько основных характеристик методов и построили сравнительную таблицу (табл. 1). В табл. 1 зелёным выделены лучшие показатели методов, а красным – худшие.
Таблица 1 – Сравнительная характеристика методов распознавания жестов руки
Производительность в табл. 1 указана для компьютеров с 2-ух ядерным процессором, современной видеокартой и 4 ГБ оперативной памятью. В исследованных методах для получения данных о жесте руки рекомендуется использовать устройство Microsoft Kinect [5]. Существует так же и альтернативные устройства для получения данных о жесте руки: MYO [6], DIY 3D Sensor [7], Intel Perceptual Computing [8], Leap Motion Controller [9], Xtion Pro [10].
Перед распознаванием жеста руки, необходимо выделить только те данные, которые характеризуют руку (рис. 1). Для этого существует несколько методов, например: метод на основании данных о глубине [4], метод с использование браслета (RANSAC) [3], нахождение руки по цвету [11], используя данные о положении тела.
В [12] выполнена программная реализация метода роя частиц, которая следит за рукой, в том числе и за всеми 5-ю пальцами на ней (рис. 2).
Рисунок 2 – Слежение за рукой и пальцами на ней
Данное программное обеспечение следит за 3D позицией, ориентацией и полной артикуляцией человеческой руки, основываясь на визуальных данных, без использования каких бы то ни было маркеров. Метод, который был разработан:
Минимальные системные требования:
Система требует установку программного обеспечения:
Система была протестирована на компьютере с характеристиками: 2 Core, Intel Pentium CPU B940 @ 2GHz, 3GB RAM, NVIDIA GeForce GT 520M. Программа показала не плохие результаты (в большинстве случаев достаточно точно определяет показываемый жест). Производительность составила 4 кадра/сек.
Проведен анализ методов распознавания жестов руки. Произведена оценка рассмотренных методов. Результаты показали, что наиболее эффективным методом, по критериям: точность распознавания простых жестов, дистанция работы метода, точность распознавания жестов с пересекающимися пальцами, является метод роя частиц [2]. Но метод является не самым производительным, метод сходства контуров имеет лучший результат по критерию производительности. Если учесть с каким темпом развивается сфера компьютерных технологий, то уже сейчас, на довольно мощном компьютерном оборудовании, метод роя частиц покажет хороший результат производительности.
1. Zhou Ren, Junsong Yuan, Zhengyou Zhang, “Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera”, ACM Multimedia 2011: 1093-1096.
2. Project Report, December 18, 2003. I. Oikonomidis, N. Kyriazis, and A. Argyros, “Efficient model-based 3D tracking of hand articulations using Kinect”, in BMVC 2011, 2011.
3. Zhou Ren, Junsong Yuan, Zhengyou Zhang, “Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera”, ACM Multimedia 2011: 1093-1096.
4. Zhi Li, Ray Jarvis, “Real time Hand Gesture Recognition using a Range Camera”, in ACRA, 2009.
5. Kinect for Windows [Электронный ресурс]. Режим доступа: http://www.microsoft.com/en-us/kinectforwindows/ - Загл. с экрана. — Яз. англ.
6. MYO - The Gesture Control Armband [Электронный ресурс]. Режим доступа: https://getmyo.com/ - Загл. с экрана. — Яз. англ.
7. DUO: The World's First DIY 3D Sensor [Электронный ресурс]. Режим доступа: http://www.kickstarter.com/projects/codelabs/duo-the-worlds-first-diy-3dsensor - Загл. с экрана. - Яз. англ.
8. Intel Perceptual Computing SDK 2013 [Электронный ресурс]. Режим доступа: http://software.intel.com/enus/vcsource/tools/perceptual-computing-sdk - Загл. с экрана. - Яз. англ.
9. Leap Motion [Электронный ресурс]. Режим доступа: https://www.leapmotion.com/ - Загл. с экрана. - Яз. англ.
10. ASUS – Мультимедиа – Xtion PRO [Электронный ресурс]. Режим доступа: http://ru.asus.com/Multimedia/Motion_Sensor/Xtion_PRO/ - Загл. с экрана. - Яз. англ.
11. Shahzad Malik, “Real-time Hand Tracking and Finger Tracking for Interaction”, CSC2503F.
12. Kinect 3D Hand Tracking [Электронный ресурс]. Режим доступа: http://cvrlcode.ics.forth.gr/handtracking - Загл. с экрана. - Яз. англ.