Русский     Українська     English     Français

ДонНТУ   Університет Сержі-Понтуаз   ETIS  Портал магістрів

Зайцев Мілан Вікторович

Електротехнічний факультет, Французький технічний факультет

Кафедра: Електропривод і електроавтоматизація промислових установок

Специальність: "Електромеханічні системи автоматизації і електропривод"

Керування оптичним потоком, пристосованого до робота Коала. Моделювання та дослідження

Научні керівники: д.т.н., проф. Чепак Анатолій Алексійович, проф. Жиль Мустафауі

Консультанти: асп. Хоменко В'ячеслав Миколайович, асп. Мельник Артем Анатолійович

Реферат за темою випускної роботи

Зміст



Вступ та мета дослідження

Мета роботи: вивчити теоретично та експериментально способи керування поведінкою робота Коала за допомогою моделювання, підключення до ПК та створити алгоритм виводу оптичного потоку для орієнтації та обминання перешкод мобільним роботом у приміщенні.

⇒ У проекті на автономне керування колісним роботом Коала в середовищі закритих приміщень і на відкритому повітрі, можна розробити зорове сприйняття, з яким робот рухається по коридору за рахунок автоматичного контролю як його швидкості так і його вільного простору до стін.

⇒ При вивченні поводження комах були відкриті деякі їхні способи орієнтації в просторі, які можна штучно відтворити в робототехніці. Приміром, крилаті комахи здатні швидко переміщатися в незнайомому середовищі шляхом добуття зорової інформації від своїх власних рухів. Ця зорова інформація може бути використана в робототехніці як функція оптичного потоку, тобто видимого руху зображення об'єктів, а для комах – контрастних функцій, що проектуються на сітківку комахи. Комахи використовують це, щоб уникнути зіткнень, прямуючи по коридору [1, 2].

Деякі автори випробовували колісних роботів, у яких швидкість стосовно землі контролювалася шляхом порівняння сум двох бокових ОП з еталонною величиною (напр. [8]), але в даній роботі використається одна цифрова бортова камера, тому буде запропонована в майбутньому змодельована програма навігації.

1. Короткий опис робота Коала

Короткий опис робота

Коала – колісний мобільний робот середнього розміру.

Робот обладнаний двома блоками по три бокових колеса, з максимальною швидкістю 0.4 м\с, колеса мають радіус 45 мм і встановлені на осі 30 см довжиною, керування якими дає можливість зміни обертання й швидкості переміщення робота. Оскільки вони незалежні, робот може повернутися на місці. Загальна маса становить 3.6 кг (4 кг із батареєю). Кожен двигун обладнаний інкрементним пристроєм, що кодує, зчитуючи 5850 пульсацій за поворот. З метою контролю Коала забезпечена процесором Motorola 68331@22 МГц.

Щоб керувати роботом, команди можна посилати від віддаленого ПК через послідовний порт RS232, і робот відповідає на будь-яку дію, або відсилаючи дані назад (читання пристроїв, що кодують). Двигунами можна керувати безпосередньо, регулюючи цикл прикладного сигналу широтно-імпульсної модуляції (ШІМ) кожного двигуна, або побічно через вкладені контролери положення й швидкості. Коала обладнана 16 інфрачервоними датчиками, кожний з яких може виміряти навколишню яскравість або близькість до найближчої перешкоди. Але в даній роботі інфрачервоні датчики не використовуються і замінені бортовою камерою, що працює у функції оптичного потоку. Зображення від камери зроблені через графічну карту, пов'язану із ПК. Контроль і візуальні алгоритми здійснюються, використовуючи мову C++.

Рисунок 1 - Фото й схема датчиків робота Коала

Рисунок 1 – Фото й схема датчиків робота Коала

2. Рівняння оптичного потоку

Оптичний потік (ОП) – це зображення видимого руху об'єктів, поверхонь або країв сцени, одержане в результаті переміщення спостерігача (ока або камери) стосовно сцени. Алгоритми, засновані на оптичному потоці, такі як реєстрація руху, сегментація об'єктів, кодування рухів і підрахунок диспаритету в стерео використовують цей рух об'єктів, поверхонь і країв [2].

Методи, засновані на оптичному потоці, обчислюють рух між двома кадрами, узятими в момент часу t й t+δt, у кожному пікселі, вони використовують часні похідні за часом і просторовими координатами. Ці методи називаються диференціальними, тому що вони засновані на наближенні сигналу відрізком ряду Тейлора; таким чином, вони використовують часні похідні за часом і просторовими координатами.

Рисунок 1 – Загальне рівняння оптичного потоку

де Vx, Vy це x та y компоненти швидкості оптичного потоку в I(x,y,t)

При цьому піксель у позиції (x,y,t) з інтенсивністю I(x,y,t) за один кадр буде переміщений на δx, δy й δt.

Отримане рівняння містить дві невідомі і не може бути однозначно розв'язано. Дана обставина відома як проблема апертури. Завдання вирішує накладення додаткових обмежень – регуляризація.

ААлгоритми оптичного потоку не тільки визначають поле потоку, але й використовують оптичний потік при аналізі тривимірної сутності й структури сцени, а також 3D руху об'єктів і спостерігача щодо сцени.

Оптичний потік використовується в робототехніці в таких областях як: розпізнавання об'єктів, спостереження за об'єктами, визначення руху та при навігації робота.

Оптичний потік використовується не тільки для визначення руху спостерігача й об'єктів щодо сцени, але й для вивчення структури об'єктів. Оскільки, визначення руху і створення карт структури навколишнього середовища, є невід'ємною частиною тваринного (людського) зору, то реалізація цієї вродженої здатності засобами комп'ютера є невід'ємною частиною комп'ютерного зору.

Однак, проблема методів знаходження руху, полягає в тому, що в області комп'ютерного зору без додаткової інформації не можна сказати чи рухається об'єкт, а спостерігач стоїть на місці, або об'єкт покоїться, а спостерігач рухається [2].

3. Цифрова камера FireWire

Для подальшої роботи найкраща Fire-i™ цифрова бортова камера на рівні плати повним обсягом 400Мб FireWire камери, що відповідають специфікації IIDC для промислового незжатого VGA прийому зображення, створена на базі чипсета цифрової камери Texas Instruments 1394 і ПЗС-сенсоров Sony ® Wfine.

ДДля мого проекту камера такого типу була надана Університетом Сержі-Понтуаз (Лабораторією ETIS) у рамках спільної роботи з ДонНТУ.

Рисунок 2 - Fire-i™ цифрова камера

Рисунок 2 – Fire–i™ цифрова камера

Fire-i™ цифрова бортова камера живиться від напруги FireWire шини постійного струму від адаптерів або інших пристроїв FireWire, пов'язаних з 6-контактними кабелями. Працює з будь-яким учасником IEEE-1394 PCI або PCMCIA (CardBus) OHCI сумісним адаптером або будь-яким настільним/портативним ПК або Mac з вбудованої FireWire підтримкою.

Рисунок 3 – Робот "Коала" з бортовою Fire-i™ цифровою камерою

Рисунок 3 – Робот "Коала" з бортовою Fire-i™ цифровою камерою

ННижче представлена структура роботи робота Коала (узята з [9], стор. 84), що містить коротку схему взаємодій між камерою й роботом:

  • сигнал, що йде від камери, являє собою безперервне зображення якості, що регулюється;
  • через шлейф камери сигнал подається на плату Fire–i™;
  • у процесорі розраховується програма перетворення оптичного потоку, написана мовою С++;
  • використовуючи послідовний порт RS232, ми подаємо сигнали завдання на двигуни робота, тим самим здійснюючи керування ним.
Рисунок 4 – Структурна схема робота Koala

Рисунок 4 – Структурна схема робота Koala

4. Ознайомлення з управлінням робота Коала в середовищі Matlab

З метою ознайомлення з керуванням робота Koala у середовищі Matlab, були використані основні функції й команди по регулюванню швидкості, положенню, прискоренню двигунів/енкодерів приводних коліс. Установлення зв'язку робота й комп'ютера проведено через стандартний інтерфейс послідовної передачі даних RS232.

У результаті ми одержали графік приведення в дію коліс із різними значеннями швидкості й часу розгону по кожному з них. Також на графіку показана реакція на додатковий опір руху, прикладений до одному з коліс.

Рисунок 5 – Розгін колісних двигунів робота

Рисунок 5 – Розгін колісних двигунів робота

Текст програми:

Анімація: 6 кадрів, тривалість кожного кадру – 100 мс, 35,9 Кб

Анімація: 6 кадрів, тривалість кожного кадру – 100 мс, 35,9 Кб


5. Демо “Tracking Cars Using Optical Flow” у середовищі Matlab

У програмі Matlab є ряд демо- додатків, у яких використовується оптичний потік для рішень різних завдань.

Демо–модель “Tracking Cars Using Optical Flow” була взята як приклад застосування оптичного потоку. У результаті було зроблено декілька дуже простих експериментів для розуміння роботи ОП, які стосуються методів розрахунку й змін параметрів у моделі. Але змінювати параметри необхідно для кожного певного випадку, коли є конкретні цілі моделювання. Модель, представлена нижче буде використатися як основа для моделювання в моїй роботі.

Рисунок 6 – The Tracking Cars Using Optical Flow model

Рисунок 6 – The Tracking Cars Using Optical Flow model

Рисунок 7 – Зображення, що описують оптичний потік руху автомобілів

Рисунок 7 – Зображення, що описують оптичний потік руху автомобілів

Висновки та завдання на майбутнє

При написанні даного реферату магістерська робота ще на стадії розробки, тому виразимо основні задачі дослідження:

  1. Установивши камеру на платформу робота, варто здійснити взаємодію з комп'ютером через послідовний порт RS232.
  2. Зробити розрахунок ОП в Matlab на основі вищевказаної демо програми.
  3. Використовуючи ОП, необхідно скласти алгоритм руху робота для його навігації в приміщенні та для обминання їм перешкод.

Перелік посилань

  1. Serres J., Dray D., Ruffier F., Franceschini N. A vision-based autopilot for a miniature air vehicle: joint speed control and lateral obstacle avoidance / J. Serres, D. Dray, F. Ruffier, N. Franceschini // © Springer Science+Business Media, LLC, 2007. – 25 p.
  2. HERISSE B. Asservissement et Navigation Autonome d’un drone en environnement incertain par flot optique / Bruno HERISSE/ - Nice, 2011. - 176 p.
  3. Tatsambon Fomena R., Collewet C. Commande basee vision d’ecoulements fluides / R. Tatsambon Fomena, C. Collewet. - Besancon, 20'eme Congres Francais de Mecanique 2011. – 103 p.
  4. DIARD Julien. La carte bayssienne. Un modele probabiliste hierarchique pour la navigation en robotique mobile / Julien DIARD. – GRENOBLE, 2004. – 200 p.
  5. Ito M. Algebraic theory of automata and languages / M. Ito. – World Scientific Publishing, 2004. – 199 pp.
  6. Braillon C., Pradalier C., Usher K., Crowley J.L., Laugier C. Occupancy grids from stereo and optical flow data / C. Braillon, C. Pradalier, K. Usher, J.L. Crowley, C. Laugier. – INRIA, Grenoble, France, 2002. – 10 p.
  7. Holdsworth B. Digital logic design / B. Holdsworth, C. Woods. – Prentice Hall, 2002. – 519 p.
  8. Leonard John J. Directed Sonar Sensing for Mobile Robot Navigation / John J. Leonard. – Cambridge, U.S.A., 2005. – 202 p.
  9. BEREZIAT Dominique. Contributions auxmethodes variationnelles pour le calcul du flot roptique: prise en compte des informations spatiales et temporelles / Dominique BEREZIAT. – Sorbonne, 2010. – 189 p.
  10. Breeding K. Digital design fundamentals / K. Breeding. – Prentice Hall, 1992. – 446 p.
  11. Selvaraj H. FSM implementation in embedded memory blocks of programmable logic devices using functional decomposition / H. Selvaraj, M. Rawski, T. Luba. - Proceedings of International Conference on Information Technology: Coding and Computing. – Las Vegas, 2002. – 380 p.