Русский     Українська     English     Français

ДонНТУ Университет Сержи-Понтуаз ETIS Портал магистров

Зайцев Милан Викторович

Электротехнический факультет, Французский технический факультет

Кафедра: Электропривод и автоматизация промышленных установок

Специальность: «Электромеханические системы автоматизации и электропривод»

Управление оптическим потоком, примененного к роботу Коала. Моделирование и исследования

Научные руководители: д.т.н., проф. Чепак Анатолий Алексеевич, проф. Жиль Мустафауи

Консультанты: асп. Хоменко Вячеслав Николаевич, асп. Мельник Артём Анатольевич


Реферат на тему выпускной работы

Содержание



Введение и цель исследования

Цель работы: изучить теоретически и экспериментально способы управления поведением робота Коала при помощи моделирования, подключения к ПК и создать алгоритм вывода оптического потока для ориентации и избегания препятствий подвижным роботом в помещении.

⇒ В проекте на автономное управление колёсным роботом Коала в среде закрытых помещений и на открытом воздухе, можно разработать зрительное восприятие, с которым робот движется по коридору за счет автоматического контроля как его скорости так и его свободного пространства до стен.

⇒ При изучении поведения насекомых были открыты некоторые их способы ориентации в пространстве, которые можно искусственно воссоздать в робототехнике. К примеру, крылатые насекомые способны быстро перемещаться в незнакомой среде путем извлечения зрительной информации от своих собственных движений. Эта зрительная информация может быть использована в робототехнике как функция оптического потока, то есть видимого движения изображения объектов, а для насекомых – контрастных функций, проецирующихся на сетчатку насекомого. Насекомые используют это, чтобы избежать столкновений, следуя по коридору [1, 2].

Некоторые авторы испытывали колесных роботов, в которых скорость по отношению к земле контролировалась путем сравнения сумм двух боковых ОП с эталонной величиной (напр. [8]), но в данной работе используется одна цифровая бортовая камера, поэтому будет предложена в будущем смоделированная программа навигации.

1. Краткое описание робота Коала

Краткое описание робота

Коала – колесный мобильный робот среднего размера.

Робот оборудован двумя блоками по три боковых колеса, с максимальной скоростью 0.4 м\с, колеса имеют радиус 45 мм и установлены на оси 30 см длиной, управление которыми даёт возможность изменения вращения и скорости перемещения робота. Поскольку они независимы, робот может повернуться на месте. Общая масса составляет 3.6 кг (4 кг с батареей). Каждый двигатель оборудован инкрементным кодирующим устройством, считывая 5850 пульсаций за поворот. В целях контроля Коала обеспечена процессором Motorola 68331@22 МГц.

Чтобы управлять роботом, команды можно посылать от отдаленного ПК через последовательный порт RS232, и робот отвечает на любое действие, или отсылая данные назад (чтение кодирующих устройств). Двигателями можно управлять непосредственно, регулируя цикл прикладного сигнала широтно–импульсной модуляции (ШИМ) каждого двигателя, или косвенно через вложенные контроллеры положения и скорости. Коала оборудована 16 инфракрасными датчиками, каждый из которых может измерить окружающую яркость или близость к самому близкому препятствию. Но в данной работе инфракрасные датчики не используются и заменены бортовой камерой, работающей в функции оптического потока. Изображения от камеры сделаны через графическую карту, связанную с ПК. Контроль и визуальные алгоритмы осуществляются, используя язык C++.

Рисунок 1 – Фото и схема датчиков робота Коала

Рисунок 1 – Фото и схема датчиков робота Коала

2. Уравнение оптического потока

Оптический поток (ОП) – это изображение видимого движения объектов, поверхностей или краев сцены, получаемое в результате перемещения наблюдателя (глаз или камеры) относительно сцены. Алгоритмы, основанные на оптическом потоке, такие как регистрация движения, сегментация объектов, кодирование движений и подсчет диспаритета в стерео используют это движение объектов, поверхностей и краев [2].

Методы, основанные на оптическом потоке, вычисляют движение между двумя кадрами, взятыми в момент времени t и t+δt, в каждом пикселе, они используют частные производные по времени и пространственным координатам. Эти методы называются дифференциальными, так как они основаны на приближении сигнала отрезком ряда Тейлора; таким образом, они используют частные производные по времени и пространственным координатам.

Рисунок 1 – Общее уравнение оптического потока

где Vx, Vy это x и y компоненты скорости оптического потока в I(x,y,t)

При этом пиксель в позиции (x,y,t) с интенсивностью I(x,y,t) за один кадр будет перемещен на δx, δy и δt.

Полученное уравнение содержит две неизвестных и не может быть однозначно разрешено. Данное обстоятельство известно как проблема апертуры. Задачу решает наложение дополнительных ограничений – регуляризация.

Алгоритмы оптического потока не только определяют поле потока, но и используют оптический поток при анализе трехмерной сущности и структуры сцены, а также 3D движения объектов и наблюдателя относительно сцены.

Оптический поток используется в робототехнике в таких областях как: распознавание объектов, слежение за объектами, определения движения и при навигации робота.

Оптический поток используется не только для определения движения наблюдателя и объектов относительно сцены, но и для изучения структуры объектов. Поскольку, определение движения и создание карт структуры окружающей среды, являются неотъемлемой частью животного (человеческого) зрения, то реализация этой врожденной способности средствами компьютера является неотъемлемой частью компьютерного зрения.

Однако, проблема методов нахождения движения, состоит в том, что в области компьютерного зрения без дополнительной информации нельзя сказать движется ли объект, а наблюдатель стоит на месте, или объект покоится, а наблюдатель движется [2].

3. Цифровая камера FireWire

Для дальнейшей работы предпочтительна Fire-i™ цифровая бортовая камера на уровне платы полным объемом 400Мб FireWire камеры, соответствующие спецификации IIDC для промышленного несжатого VGA приема изображения, созданная на базе чипсета цифровой камеры Texas Instruments 1394 и ПЗС-сенсоров Sony ® Wfine.

Для моего проекта камера такого типа была предоставлена Университетом Сержи–Понтуаз (Лабораторией ETIS) в рамках совместной работы с ДонНТУ.

Рисунок 2 – Fire-i™ цифровая камера

Рисунок 2 – Fire–i™ цифровая камера

Fire-i™ цифровая бортовая камера питается от напряжения FireWire шины постоянного тока от адаптеров или других устройств FireWire, связанных с 6-контактными кабелями. Работает с любым участником IEEE-1394 PCI или PCMCIA (CardBus) OHCI совместимым адаптером или любым настольным/портативным ПК или Mac со встроенной FireWire поддержкой.

Рисунок 3 – Робот "Коала" с бортовой Fire-i™ цифровой камерой

Рисунок 3 – Робот "Коала" с бортовой Fire-i™ цифровой камерой

Ниже представлена структура работы робота Коала (взята из [9], стр. 84), которая содержит краткую схему взаимодействий между камерой и роботом:

  • сигнал, идущий от камеры, представляет собой непрерывное изображение настраиваемого качества;
  • через шлейф камеры сигнал подаётся на плату Fire–i™;
  • в процессоре расчитывается программа преобразования оптического потока, написанная языком С++;
  • используя последовательный порт RS232, мы подаём сигналы задания на двигатели робота, тем самым осуществляя управление им.
Рисунок 4 – Структурная схема робота Koala

Рисунок 4 – Структурная схема робота Koala

4. Ознакомление с управлением робота Коала в среде Matlab

С целью ознакомления с управлением робота Koala в среде Matlab, были использованы основные функции и команды по регулированию скорости, положению, ускорению двигателей/энкодеров приводных колёс. Установление связи робота и компьютера производилось через стандартный интерфейс последовательной передачи данных RS232.

В результате мы получили график приведения в действие колес с различными значениями скорости и времени разгона по каждому из них. Также на графике показана реакция на дополнительное сопротивление движению, приложенное к одному из колёс.

Рисунок 5 – Разгон колёсных двигателей робота

Рисунок 5 – Разгон колёсных двигателей робота

Текст программы:

нимация: 6 кадров, длительность каждого кадра – 100 мс, 35,9 Кб

Анимация: 6 кадров, длительность каждого кадра – 100 мс, 35,9 Кб


5. Демо “Tracking Cars Using Optical Flow” в среде Matlab

В программме Matlab имеется ряд демо–приложений, в которых используется оптический поток для решений различных задач.

Демо–модель “Tracking Cars Using Optical Flow” была взята как пример применения оптического потока. В результате было сделано несколько очень простых экспериментов для понимания работы ОП, которые касаются методов расчёта и изменений параметров в модели. Но изменять параметры необходимо для каждого определённого случая, когда имеются конкретные цели моделирования. Модель, представленная ниже будет использоваться как основа для моделирования в моей работе.

Рисунок 6 – The Tracking Cars Using Optical Flow model

Рисунок 6 – The Tracking Cars Using Optical Flow model

Рисунок 7 – Изображения, описывающие оптический поток движения автомобилей

Рисунок 7 – Изображения, описывающие оптический поток движения автомобилей

Выводы и задачи на будущее

При написании данного реферата магистерская работа еще на стадии разработки, поэтому выразим основные задачи исследования:

  1. Установив камеру на платформу робота, следует осуществить взаимодействие с компьютером через последовательный порт RS232.
  2. Сделать расчёт ОП в Matlab на основе вышеуказанной демо программы.
  3. Используя ОП, необходимо составить алгоритм движения робота для его навигации в помещении и для избегания им препятствий.

Список источников

  1. Serres J., Dray D., Ruffier F., Franceschini N. A vision-based autopilot for a miniature air vehicle: joint speed control and lateral obstacle avoidance / J. Serres, D. Dray, F. Ruffier, N. Franceschini // © Springer Science+Business Media, LLC, 2007. – 25 p.
  2. HERISSE B. Asservissement et Navigation Autonome d’un drone en environnement incertain par flot optique / Bruno HERISSE/ - Nice, 2011. - 176 p.
  3. Tatsambon Fomena R., Collewet C. Commande basee vision d’ecoulements fluides / R. Tatsambon Fomena, C. Collewet. - Besancon, 20'eme Congres Francais de Mecanique 2011. – 103 p.
  4. DIARD Julien. La carte bayssienne. Un modele probabiliste hierarchique pour la navigation en robotique mobile / Julien DIARD. – GRENOBLE, 2004. – 200 p.
  5. Ito M. Algebraic theory of automata and languages / M. Ito. – World Scientific Publishing, 2004. – 199 pp.
  6. Braillon C., Pradalier C., Usher K., Crowley J.L., Laugier C. Occupancy grids from stereo and optical flow data / C. Braillon, C. Pradalier, K. Usher, J.L. Crowley, C. Laugier. – INRIA, Grenoble, France, 2002. – 10 p.
  7. Holdsworth B. Digital logic design / B. Holdsworth, C. Woods. – Prentice Hall, 2002. – 519 p.
  8. Leonard John J. Directed Sonar Sensing for Mobile Robot Navigation / John J. Leonard. – Cambridge, U.S.A., 2005. – 202 p.
  9. BEREZIAT Dominique. Contributions auxmethodes variationnelles pour le calcul du flot roptique: prise en compte des informations spatiales et temporelles / Dominique BEREZIAT. – Sorbonne, 2010. – 189 p.
  10. Breeding K. Digital design fundamentals / K. Breeding. – Prentice Hall, 1992. – 446 p.
  11. Selvaraj H. FSM implementation in embedded memory blocks of programmable logic devices using functional decomposition / H. Selvaraj, M. Rawski, T. Luba. - Proceedings of International Conference on Information Technology: Coding and Computing. – Las Vegas, 2002. – 380 p.