Назад в библиотеку

Основные направления развития человеко‑машинных интерфейсов и примеры их использования

Авторы: С. А. Шептунов, Р. И. Кулиев, Т. И. Кулиев, Р. С. Нахушев Р. И. Закиров, А О. Шефхужев.
Источник: Журнал Вестник Брянского государственного технического университета, 2017

Проведен обзор современных человеко-машинных интерфейсов (ЧМИ) и даны примеры их использования в современном мире. Приведены технические характеристики устройств, используемых в интерфейсах.

Ключевые слова: человеко‑машинный интерфейс, виртуальная реальность, магнитные наночастицы, электрическое поле.

Человеко‑машинный интерфейс (ЧМИ) – это набор технических средств, предназначенных для обеспечения непосредственного двустороннего взаимодействия между оператором и оборудованием, дающий оператору возможность управлять оборудованием и контролировать его функционирование. Проектирование ЧМИ включает в себя следующие шаги:

  1. Создание рабочего места: пульта управления, кресла, стола, приборов и органов управления.
  2. Взаимодействие оператора с органами управления.

Основные типы человеко-машинных интерфейсов:

  1. ЧМИ, основанные на видеокамерах.
  2. Нейрокомпьютерный интерфейс.
  3. ЧМИ, основанные на технологиях виртуальной реальности.
  4. ЧМИ, основанные на тактильной обратной связи.
  5. Магнитные интерфейсы на основе магнитных наночастиц.
  6. Трехмерные ЧМИ, основанные на анализе изменения электрического поля.

ЧМИ, основанные на видеокамерах

Одним из примеров является камера от компании Creative (рис. 1а). Она содержит два встроенных микрофона, позволяющих распознавать речь, встроенные инфракрасную и RGB камеры, предназначенные для распознавания жестов на небольшом расстоянии.

pic1

Рисунок 1 – Камеры от компаний Creative и Kinect


Еще один пример – бесконтактный контроллер Kinect (рис. 1б), который разработан фирмой Microsoft. Этот контроллер состоит из двух сенсоров глубины, цветной видеокамеры и микрофонной решетки и позволяет пользователю взаимодействовать с приставкой Xbox или ПК под ОС Windows через устные команды, позы тела и показываемые объекты или рисунки. Сравнительная характеристика камер от компаний Creative и Kinect приведена в таблице.

Таблица 1

Технические характеристики камер от компаний Creative и Kinect

Характеристика Creative Kinect
Размеры, см 3,3х11,3 7,6х27,0
Количество камер 2 3
Микрофон Есть Есть
Дистанция, м От 0,15 до 1,0 От 1,2 до 3,0

Области применения ЧМИ, основанных на видеокамерах:

  1. Моделирование системы захвата, перемещения трехмерного виртуального объекта.
  2. Распознавание жестов.
  3. Распознавание лица и контрольных точек на лице.
  4. Распознавание объектов реального мира и комбинирование их с виртуальным миром.

Нейрокомпьютерный интерфейс, или интерфейс мозг – компьютер (ИМК), – это технология, позволяющая обрабатывать электрические сигналы с коры головного мозга, усиливать и передавать их на компьютер. Далее с помощью алгоритмов обработки происходит синхронизация с любым управляющим устройством или компьютерным приложением.

Биопотенциалы, используемые в системах ИМК:

  1. Инвазивные – регистрируются с поверхности скальпа.
  2. Неинвазивные – регистрируются непосредственно с коры головного мозга или от нейронов глубинных структур мозга.

Наиболее известная разработка в данной области принадлежит М. А. Л. Николелису и его команде. Они создали интерфейс, который позволял регистрировать активность нейронов в лобных и теменных областях мозга обезьяны и использовать их для управления механической рукой.

Нейрофизиологи Северо‑Западного университета (США) создали систему, позволяющую обезьянам действовать парализованной рукой. Для этого проводилась запись сигналов, посылаемых мозгом в руку, по которым после дешифровки восстанавливались команды, подаваемые мышцам.

Также создан действующий прототип системы управления роботом Pioneer 2AT. Программа позволяет преобразовывать мысленные образы в управляющие команды для робота.

ЧМИ, основанные на виртуальной реальности

Oculus Rift – шлем виртуальной реальности (HMD). Его задача – погрузить пользователя в мир виртуальной реальности и заставить его поверить в то, что этот мир реален. С каждой новой версией он все лучше справляется с этой задачей.

Не выходя из дома, человек может виртуально оказаться в любом месте. При использовании шлема пользователю становятся доступны все самые яркие переживания. Вы можете покататься на аттракционах, почувствовать, что ощущает л?тчик, делая м?ртвую петлю, и т. д. Производители утверждают, что на данный момент реализована лишь небольшая часть возможностей шлема.

HTC Re Vive – первый шлем, разработанный HTC вместе с Valve (рис. 2а). В работе используются два экрана с разрешением 1080x1200 и частотой обновления 90 герц. Также в устройстве имеется множество датчиков, в частности лазерные датчики позиционирования, акселерометр, гироскоп MEMS. Вместе со шлемом используются два ручных контроллера, а для точного отслеживания положения применяются две внешние станции Lighthouse.

Project Morpheus – шлем виртуальной реальности для PS4 (рис. 2б). Для работы он использует PlayStation Camera и контроллер DualShock 4. В шлеме нет встроенной гарнитуры, и для вывода звука придется использовать или стереосистему, подключенную к консоли, или беспроводную гарнитуру Sony.

pic2

Рисунок 2 – Шлемы виртуальной реальности: а – HTC Re Vive; б – Project Morpheus


Имитаторы – симуляторы реальности. Это различного вида тренажеры, применяемые для обучения вождению (от автомобиля до самолета), а также в различных аттракционах. В простейшем случае могут использоваться шлемы/очки с подвижным сиденьем и дополнительными органами управления. Для виртуального вождения лучше подходит имитация кабины автомобиля/танка/самолета и т.п. с дисплеями вместо окон.

На данный момент самыми совершенными системами виртуальной реальности являются проекционные системы, выполненные в компоновке комнаты виртуальной реальности. Такая система представляет собой помещение, на все стены которого проецируется стереоизображение. Положение пользователя, повороты его головы, направление взгляда отслеживаются системой, что позволяет добиться максимального эффекта погружения.

Инженерами Гонконгского политехнического университета разработан миниатюрный робот, который позволяет провести хирургическую операцию всего через один разрез. Но основное его достоинство – функция тактильной обратной связи, позволяющая врачу, управляющему роботом, ощутить твердость тканей, с которыми работает робот

Еще одно применение – экзоперчатки. Самая известная – экзоперчатка Dexmo. Встроенный датчик ориентации отслеживает перемещение руки. В последней версии перчатка Dexmo способна отслеживать движение всех пяти пальцев руки, но на данный момент можно почувствовать только, коснулись ли предмета или нет. Компания работает над тем, чтобы пользователь мог определять различную жесткость виртуальных предметов. Перчатка Dexmo может использоваться для распознавания языка жестов и обучения игре на музыкальных инструментах.

Группа исследователей Токийского института технологий объявила о создании специального аппарата, способного идентифицировать и переводить аромат в цифровую форму. Это устройство пока не получило названия и еще совершенствуется. Существующий на сегодняшний день наиболее совершенный вариант аппарата нельзя назвать мобильным или портативным, поскольку в длину он составляет около метра. Устройство распознает аромат с помощью 15 сенсоров, а затем переводит его в цифровой формат. Перевод запаха из цифрового в настоящий возможен благодаря тому, что в состав аппарата включены также 96 отдельных стеклянных бутылочек, содержащих различные химические ингредиенты. Когда поступает входящий цифровой сигнал, машина смешивает элементы и начинает благоухать.

Как отмечают разработчики, существует и более компактный вариант устройства, но он включает в себя только сенсоры-распознаватели, не способные к точному воспроизведению аромата.

Система AIREAL основана на аэродинамическом эффекте – образовании устойчивого тороидального вихря на выходе из воздушной камеры с круглым отверстием при резком повышении давления внутри. Такое устройство называют «вихревая пушка». Для передачи пользователю тактильных ощущений в системе используются пять мембран, которые работают как диффузоры низкочастотных динамиков. Каждая из мембран способна генерировать до нескольких десятков импульсов в секунду, что создает эффект легких прикосновений. Изменяя частоту и силу сигналов, можно сгенерировать тактильные ощущения от прикосновений к различным поверхностям. Использовать систему AIREAL можно в играх и интерфейсах общего назначения.

Интерфейсы на основе магнитных наночастиц

Наночастицы (рис. 3) могут быть совместимы с биологическими объектами и участвовать в решении медицинских задач. Сравнение размеров дает идею использования наночастиц в качестве маленьких зондов, позволяющих регистрировать ход клеточных процессов, не влияя на их протекание. Для неразрушающего контроля они должны быть покрыты биологическими молекулами, чтобы взаимодействовать или связываться с биологическими объектами.

pic3

Рисунок 3 – магнитная наночастица


Магнитные свойства наночастиц определяются многими факторами, среди которых следует выделить химический состав, тип кристаллической решетки и степень ее дефектности, размер и форму частиц, морфологию (для частиц с комплексной структурой), взаимодействие частиц с окружающей их матрицей и соседними частицами. Изменяя размеры, форму, состав и строение наночастиц, можно в определенных пределах управлять магнитными характеристиками материалов на их основе [1].

Важным фактором при рассмотрении использования наночастиц для медицинских приложений является то, что они имеют управляемые размеры в пределах от единиц до сотен нанометров, что сопоставимо с размерами внутриклеточных биологических объектов, вирусов, протеинов, генов и т. д.

Если речь идет об интерфейсе на основе магнитных наночастиц, то в качестве возможного варианта следует рассмотреть их использование для усиления сигналов нейронов.

Наночастицы вводят в организм человека внутривенно с помощью шприца или инъектора, тщательно рассчитывая дозу и скорость введения препарата. Формируясь в структуры на нервных окончаниях, они скапливаются вокруг источников магнитного поля (нейронов). Правильно структурируя наночастицы, можно будет различать между собой модулированные сигналы. Таким образом, наша технология будет работать в режиме двухсторонней передачи данных. Мы сможем получать сигналы и понимать, как себя ведут отдельные части тела. По сути, это метод бесконтактного воздействия (связи).

Преимущество использования магнитных наночастиц перед различного рода чипами состоит в том, что они не имеют встроенного источника энергии. Электрический ток, индуцированный в магнитные наночастицы электромагнитным сигналом от считывателя, обеспечит достаточную мощность для функционирования наночастиц и передачи ответного сигнала.

Приведем пару вариантов использования описанного метода.

Так, при магнитно‑резонансной томографии наночастицы могут быть применены как агенты МРТ‑контраста.

При снятии энцефалограммы можно использовать магнитные наночастицы для усиления (резонирования) магнитного поля головного мозга. Таким образом, мы имеем возможность исследовать функциональное состояние всего организма.

Трехмерные ЧМИ, основанные на анализе изменения электрического поля

Появление систем, основанных на анализе изменений электрического поля, обозначило важную тенденцию перехода от простого обнаружения движения к распознаванию последовательностей движений как определенных жестов.

В этом новом классе HMI движение руки в пределах объема, расположенного над двухмерным массивом датчиков, вызывает искажения электрического поля, измеряемые специальным приемным устройством. Использование электрических датчиков вместо видеокамер открывает дорогу к созданию встраиваемых приложений для распознавания движений, которые смогут применяться практически во всех отраслях – от автомобильной и аэрокосмической промышленности до бытовой техники.

С наиболее впечатляющим образцом этого нового класса устройств в ноябре 2012 года дебютировала компания Microchip Technology, представив микросхему MGC3130, выполняющую полный набор функций распознавания 3D‑жестов, основанных на технологии GestIC. Подключаемое к комплекту недорогих внешних электродов устройство GestIC содержит аналоговую цепочку обработки сигналов, измеряющую вызываемые движением рук изменения электрического поля и распознающую перемещение рук в трехмерной области над электродами. Затем с помощью встроенного в кристалл сигнального процессора выполняется цифровая обработка информации, чтобы определить, какому из приблизительно дюжины предварительно запрограммированных жестов соответствуют зафиксированные перемещения.

Список литературы

1. Баранов А. А. Магнитные наночастицы: достижения и проблемы химического синтеза / А. А. Баранов, С. П. Губин. - М.: Нанометр, 2009.
2. Губин С. П. Магнитные наночастицы: методы получения, строение и свойства / С. П. Губин, Ю. А. Кокшаров, Г. Б. Хомутов, Г. Ю. Юрков // Успехи химии. - 2005. - № 6. - С. 539-574.
3. Никифоров В. Н. Медицинские применения магнитных наночастиц / В. Н. Никифоров // Известия Академии инженерных наук им. А.М. Прохорова. - М.: Научтехлитиздат,2013. - №1. - С. 84-93.
4. Афонина А. Р. Виртуальная реальность. Неизбежное будущее виртуальной реальности / А. Р. Афонина, А. В. Сарафанова, Е. В. Берднова // Сборник статей Всероссийской научно-практической конференции. Саратовский государственный аграрный университет им. Н.И. Вавилова. - Саратов, 2016. - С. 14-18.
5. Макаров Д. Е. Человеко-машинный интерфейс. Базовые принципы построения / Д. Е. Макаров, И. С. Алексеев // Информационные технологии в науке, управлении, социальной сфере и медицине. - Томск, 2014. - С. 58-60.