Обход препятствий мобильным роботом на основе видеопотока

Автор: Kahlouche Souhila and Achour Karim

Автор перевода: Кравецкий А.О.

Описание: В данной работе мы пытаемся разработать алгоритм для предотвращения столкновения с препятствиями автономного мобильного робота на основе визуального наблюдения препятствий. На вход алгоритма подается последовательность изображений зафиксированных встроенной камерой на робота B21R в движении. Затем информация оптического потока извлекается из последовательности изображений, чтобы использовать в навигационном алгоритме. Оптический поток обеспечивает очень важную информацию о состоянии окружающей среды вокруг робота, таких как: диспозиция препятствия, место робота, время до столкновения и глубина.

Стратегия состоит в оценке количества точек препятствия на левой и правой стороне кадра этот метод позволяет роботу передвигаться без столкновений с препятствиями. Надежность алгоритма будет подтверждена некоторыми примеры.

Ключевые слова: Оптический поток, стратегия баланса, Фокус расширения, время для связи, избегание препятствий.

1.Вступление

Термин визуальной навигации используется для процесса управления движением робота на основе анализа данных, собранных визуальными сенсорами. Поле визуальной навигации имеет особое значение в основном из-за обширного количества зафиксированных видеодатчиком материалов.

Целью нашей работы является разработка алгоритмов, которые будут использоваться для визуальной навигации автономного мобильного робота. Входные данные состоят из последовательности изображений, которые постоянно предоставляются навигационной системой во время движения робота. Эта последовательность изображений обеспечивается благодаря монокулярной системе технического зрения.

Затем робот пытается понять свое окружение по извлечению данных этого образа из Последовательности данных, в нашем случае оптического, а затем использует эту информацию в качестве руководства для движения. Принятая стратегия для избегания столкновения с препятствиями во время движения - это соблюдения баланса между правым и левым векторами оптического потока.

Тестируемый мобильный робот модели RWI-B21R. Робот оснащен WATEC LCL-902 камерой (см. рис. 1). Видеоряд схватил с помощью Matrox Imaging карты в размере 30 кадров в сек.

Рис. 1 - Робот и камера.

На рис. 2 показана блок-схема алгоритма навигации.

Рис. 2 - Алгоритм предупреждения препятствий.

Первые векторы оптического потока вычисляются из картинки последовательностей. Для принятия решения об ориентации робота, вычисление положения ДЗ в плоскости изображения необходимо, потому что закон управление передается по отношению к фокусу расширения. Затем карта глубины вычисляет расстояние до препятствия, чтобы обеспечить немедленную реакцию на близком расстоянии от препятствия, или дать роботу сигнал для игнорирования препятствия.

2.Оценка движения

Движение в последовательности изображений, полученных с помощью видеокамеры индуцируется движением объектов в 3-D сцены и / или движением камеры. 3-D движение объектов и камера вызывает 2-D движение изображения на плоскости с помощью системы проецирования. Именно это 2-D движения, также называется видимое движение или оптический поток и должно быть отправной точкой от интенсивности и цвета информации видеоряда.

Большинство существующих методов оценки движения делятся на четыре категории: базовые методы корреляции, базовые методы энергии, базовые методы параметрической модели и базовые методы дифференциации. Мы выбрали технику дифференциации, основанной на интенсивности сохранение движущейся точки для расчета оптического потока, для этой цели, используется стандартный метод Хорн и Шунка (Хорн, КП и Шунка, Б., 1981.).

После вычисления оптического потока, мы используем его для навигации решения, такие как, попытки сбалансировать количество левых и правых сторон потока, чтобы избегать препятствий.

3. Законы оптического потока и управление

Также как и точки наблюдения двигаются через окружающую среду, так и образец света, отражающий эту точку, изменяется постоянно, создает оптический поток. . Один из способов в которых робот может использовать эту информацию это движение, чтобы достичь определенного типа потока. Например, чтобы поддерживать ориентацию окружающей среды, тип оптического потока не запрашивает поток вообще. Если некоторый поток обнаружен, то роботу следует изменить свои силы продуцируя от своихи эффекторов (будь крылья, колеса или ноги) . так, чтобы минимизировать этот поток, в соответствии с законом управления (Andrea, P.D.; Уильям Х. & Lelise П. К., 1998)..

Таким образом, изменение внутренних сил робота (как против внешних сил, таких как ветер) это функция изменения в оптическом потоке (здесь, от отсутствия потока до какого то минимального потока)..Оптический поток содержит информацию и о расположение поверхностей, и направление точки наблюдение, которая называется Фокус расширения (ДЗ), время, чтобы связаться с (TTC), и глубина.

3.1. Фокус расширения (ФР)

Для поступательного движения камеры, движения изображения всегда направляется прочь от единственной точки соответствующий проекции вектору передачи на плоскости изображения. Эта точка называется Фокус Расширение ( ФР ) , она вычисляется на основе принципа что векторы потоков ориентированы в определенных направлениях по отношению к фокусу расширения.

При полном оптическом потоке находится горизонтальная часть ФР по горизонтали, расположенная, в соответствии с положением в котором большинство горизонтальных составляющих расходятся ( Negahdaripour , С. & Рог , КП , 1989). Это можно оценить, используя простой метод подсчета, который подсчитывает признаки горизонтальных составляющих, которые сосредоточены на каждом месте изображения. В точке, где расхождение максимальное, разница между числом компонентов слева от ФР и количества компонентов справа должны быть сведены к минимуму. Аналогично мы можем оценить вертикальное расположение ФР путем выявления позиций с большинством вертикальных составляющих.

Рис. 3 - Расчет ФР.

Рис. 4 показывает результат вычисления ФР в помещении, ФР показан как красный квадрат в изображения.

Рис. 4 - Результат расчета ФР.

Мы также используем оптический поток оценить оставшееся время контакта с поверхностью.

3.2. Время контакта

Время контакта (ВК) может быть вычислено из оптического потока, который извлекается из монокулярной последовательности изображения, полученные во время движения.

Скорость изображение может быть описана как функция параметров камеры и разбита на два срока в зависимости от вращения (Vt) и трансляционных компонентов (Vr) на скорость камеры (V) соответственно. Вращательная часть поля потока можно вычислить из проприоцептивных данных (например, вращение камеры) и фокусного расстояния. После того, как глобальная переменная оптического потока вычисляется, (Vt) определяется вычитанием (Vr) из (V). Из трансляционного оптического потока, время контакта может быть вычислено по формуле (Tresilian, J., 1990):

Здесь ? является расстоянием от рассматриваемой точки (хi уi), на плоскость изображения, от Фокуса расширения (ФР).

Обратите внимание, как скорость потока, с указанием длины векторных линий, увеличивается по мере удаления изображения от фокуса расширения. На самом деле, это расстояние разделяется при постоянной скорости и является относительной ставкой, используемой для оценки времени контакта.

В рис. 5 мы покажем ВК оценки перевода последовательности.(а). Соответствующий график значений ВК (б) что соответствует теории.

Рис. 5 - Оценка ВК.

3.3. Расчет глубины (интенсивности)

Используя поле оптического потока, вычисленного из двух последовательных изображений, мы можем найти информацию о глубине для каждого вектора потока путем объединения вычисления ВК и скорости робота во время принятия изображения.

где Х - глубина, V - это скорость робота, и Т - ВК (вычисляется для каждого вектора оптического потока).

Рис. 6 - Расчет глубины.

На рис. 6 показано изображение глубины, которое вычислено с помощью ВК. Самая темная точка является ближайшей, в то время как самая яркая точка является самой дальней от места происшествия, поэтому самая яркая точка будет зоной навигации робота.

3.4. Стратегия баланса для обхода препятствий

Основной идеей этой стратегии является смещение (параллакс) движения, когда робот переводит , ближайшие объекты поднимаются к более быстрому движению на сетчатке, чем более удаленные объекты. Он также использует преимущества перспективы в том, что более близкие объекты также занимают большее поле зрения, отклоняя среднее по отношению к ассоциативному потоку. Робот отворачивается от стороны большего потока. Этот закон управления формулируется:

Здесь ?(Fl-Fr) разница в силах двух сторон тела робота, и ?||w|| , является суммой величины оптического потока в визуальном полушарий полей на одной стороне заголовка робота.

Мы реализовали стратегию баланса в нашем мобильном роботе. Как мы показали на рис. 7, левый оптический поток (699, 24) больше правого (372, 03), таким образом решение заключается в повороте направо, чтобы избегать препятствий. (стул слева от робота).

Рис. 7 - Результат стратегии баланса.

4. Эксперименты

Робот был протестирован в нашей лаборатории робототехники, содержащей робота, офисные стулья, офисную мебель, и вычислительную технику. В следующем эксперименте мы тестируем способности робота обнаруживать препятствия, используя только стратегию баланса.

Рис. 8 - Зрение робота.

Рис. 8 показан вид с камеры робота начального снимка.

Рис. 9 - Первое решение.

На рис. 9 (а) показан результат стратегии баланса, в котором роботы должны повернуть направо, чтобы избежать ближайшее препятствие (доска), а рис. 9 (б) показывает соответствующую глубину изображения, которая вычисляется из вектора из оптического потока. Мы видим, что самая яркая точка локализована справа изображения, что и определяет навигацию зоны робота.

Рис. 10 показан вид робота, когда он поворачивает направо.

Рис. 10 - Зрение робота.

На рис. 11 (а) показан результат стратегии баланса в котором роботы должны повернуть налево, чтобы избежать стены, и на рис. 9 (б) показана соответствующая глубины изображения в котором самые яркие точки локализованы на левой стороне изображения.

Рис. 11 - Второе решение.

Рис. 12 - Робот в движении.

Рисунок 12 (а) показывет снимок робота в движении в нашей лаборатории и рисунок 12(б) показывает путь, который проходит робот в результате движения. Мы замечаем, что робот нашел две принципиальные позиции, в которых он меняет ориентацию, позиция (1) сообветствует доске и позиция (2) соответствует стене.

Рис. 13 - График Времени контакта.

Рисунок 13 показывает график левого и правого оптического потока. В начале снимка левый поток больше, чем правый, таким образом робот поворачивает направо, что соответствует рисунку 12(d) , потом правый поток увеличивается, пока не становиться больше, чем левый, потому что робот приближается ближе к стене, чем к доске и мы видим увеличение двух граф (левого и правого потока) через структуру 5 на рисунке 13, и потом робот поворачивает налево, чтобы избежать стены, это соответствует позиции 2 на рис. 12 (г). Видно, что робот успешно блуждает по лаборатории, избегая при этом препятствия; однако, мы обнаружили, что условия освещения критично важны для обнаружения препятствия, потому что изображение, полученное с помощью камеры является более шумным в условия недостаточной освещенности и делает оценку оптического потока более ошибочным.

5.Выводы

В статье описывается, как, оптический поток который обеспечивается способностями робота избегать препятствия, использует законы управления, которые называются "стратегией баланса", основная цель которого заключается в обнаружении наличие объектов, близких к роботу на основе информация о движении яркости изображения.

Основная трудность в использовании оптического потока в навигации, является то, что неясно, что является причиной изменения серого значения (движение вектора или изменение освещения).

Дальнейшее совершенствование разрабатываемого метода возможно путем подключения других датчиков (сонар, инфракрасные…) в сотрудничестве с датчиком камеры.

6. Ссылки

Andrew, P. D.; William, H. & Lelise, P. K.(1998). Экологические Робототехника. Адаптивное поведение, том 6, Номер 3/4, 1998
Bergholm, F. & Argyros, A. (1999). Сочетание центрального и периферийное зрение для навигации реактивной робота, в исходя из Конференции IEEE Computer Society по компьютерного зрения и распознавания образов, т. 2, Октябрь 1999, pp. 356-362.
Horn, K.P. & Schunck, B.G.(1981). Определение оптических потоков. Искусственный интеллект, № 7, стр. 185-203, 1981.
Negahdaripour, S. & Horn, K.P.(1989). Прямой метод для размещения фокуса расширения, комп. Видимый График. Настоятельный Процесс.46(3), 303-326, 1989.
Sandidni, G. ; Santos-victor, J.; Curotto, F. & Gabribaldi, S. (1993). Расходящееся стерео в навигации: обучение у пчел, в разбирательстве Общества IEEE Computer. Конференция по компьютерного зрения и Pattern Признание, июнь 1993, стр. 434-439.
Santos-victor, J. & Bernardino, A. (1988). Визуальное поведения для бинокулярного слежения, робототехники и автономных систем, с 137-148, 1998
Tresilian, J.(1990). Восприятие Информация для Timing из перехватывающий Действие, Восприятие 19:223-239, 1990