Топологические проблемы одновременной локализации и картографии с помощью графов соответствия на основе метода всенаправленного изображения

Аннотация

Извлечения признаков и соответствия изображение полезено во многих областях робототехники, таких как объект и сцена, признания автономной навигации, одновременной локализации и картографии и так далее. В статье описывается новый подход к проблеме соответствия функций и их применение в сцене признания и топологические одновременной локализации и картографии. Для этой цели мы предлагаем предыдущей сегментации изображений в регионах для того, чтобы группа извлеченных функции графика была такая, чтобы каждый график определяет одну область изображения. Соответствующий процесс будет учитывать особенности и структуру (см. график) с помощью алгоритма GTM. Затем, используя этот метод сопоставления изображений, мы предлагаем алгоритм построения топологической карты. Во время экспериментов на начальном этапе мы будем проверять надежность метода и его способность построения топологической карты.

1. Введение

Особенности определения объекта и распознавания сцены, ее соответствия, является важным направлением в области робототехники, поскольку оно позволяет, кроме всего прочего, и его применение к объекту локализации, автономной навигации, обход препятствий, топологические SLAM. SLAM(синхронный локализации и карт), задача состоит в оценке положения робота при построении карты окружения. Решение этой проблемы не является тривиальной, так как ошибка в позиции оценки влияют на карту и наоборот. В литературе, в зависимости от формы представляют среду, в которой робот движется, мы можем говорить о двух типах SLAM: метрическая SLAM и топологических SLAM. В первом случае положение определяется непрерывное пространство, то есть мы точно знаем, на какой позиции находится робот на карте. Легко найти решения, которые включают одометрии, сонары и лазеры ([1, 2]). Есть менее используемые решения – зрение, так как расчет точное положение более сложное. Во втором типе, разные точки, где может находится робот, представлены перечень должностей, то есть карта, дискретный набор мест, которые определены на небольшой области в окружающей среде. В этом случае есть много решений, которые используют изображения для расчетов. В [3] они используют изображения, робот AIBO, чтобы узнать топологическая ли карта. Мы также находим решения с использованием всенаправленный изображений, таких как [4] [5], [6], где топологические карта строится с помощью дополнительных алгоритмов.

Для обоих объектов и сцен признания нам нужно методы извлечения функций из образов. Некоторые решения в литературе используют различные методы для извлечения особенностей. В [8] использует более сегментации алгоритм разделения изображения на малых участках. В работе [9] Комин детектора Харриса с SIFT дескриптор. Многие решения в литературе, основанной на сочетании алгоритма сегментации с функцией экстрактор ([8], [10], [11]).

Распознавание объектов проводится вручную, выбирается база данных для описания объектов, которые робот должен распознать. В случае признания сцен необходима сцена базы данных, как и в [12]. Он вводит понятие «Visual Place Categorization» (VPC), который заключается в определении семантических категорий в одном месте / комнате, используя визуальную информацию. Тем не менее, бывают ситуации, не требующей предыдущей базы данных, как она строится во то время когда робот перемещается по окружающей среде ([10], [13]), например, в SLAM проблемы.

Аффинная инвариантна функция детекторов показала, что очень полезно в нескольких приложениях компьютерного зрения, например, распознавания объектов и категоризации, широкие стерео базовая для локализации робота. Эти алгоритмы обнаружения извлечеия из визуальных изображений, которые не зависят от преобразования изображения, при изменении освещения, вращении, масштабировании и небольшом изменении точки зрения. Высокий уровень видения задач, которые полагаются на эти визуальные особенности являются более надежными для этих преобразований, а также наличия помех и окклюзии. Более подробный обзор современных визуальных детекторов функции можно найти в [14]. В данной работе авторы оценивают производительность различных алгоритмов для проблемы, будучи максимально устойчивой Экстремальные алгоритм регионов (MSER)[15], Харрис аффинных и Гессе аффинных [16] лучше всего подходит для этой задачи. Некоторые методы основаны на комбинации функций детекторов (регионы, контуры и / или неподвижных точек) для улучшении подбора и воспользовавшись методом извлечения , используемые в дополнении к устранению некоторых проблем отдельных методов. Тем не менее, не была предложила создать структуры образуют извлеченного возможности для проверки общей последовательность паросочетания, нофункции соответствует одна за другой, без учета любых возможных отношений соседства. Некоторые из этих методов применяется соответствующая консистенция, устраняя перекрестные матчи, те матчи, которые пересекаются с другими. В случае всенаправленные изображения, которые не может быть сделано, в связи с круговой характер изображения.

В этой статье предлагается метод для сравнения характеристик и алгоритм построения топологической карты, используя этот метод сравнения. Для метода сравнения изображений, лагается предварительная обработка изображения в два этапа: сегментация в регионах (с использованием JSEG) и инвариантной извлечения признаков (с использованием MSER с SIFT дескрипторов). Каждая из полученных областей на первом этапе будет содержать список неподвижных точек всвоей области. Для каждого региона, наш методом, и будет строить график с неподвижными точками. Функция соответствия производится путем сравнения, график каждой из областей текущего изображения с представителем графики ранее отснятые изображения. ТТакой подход учитывает как функция дескрипторов и структуры эти функции в регионе. Мы применяем метод сравнения изображений в нашей топологический алгоритм карту для того, чтобы группа изображений, которые считаются принадлежат к той же области.

2. Обработка изображений

MSER (максимально стабильные экстремальные регионы) [15] является аффинным инвариантом дескриптор формы. Алгоритм MSER обнаруживает регион, которые темнее или светлее, чем их окружение и может быть масштабно инвариантными. Алгоритм использует SIFT [7] дескриптор (а непросто детектор дескрипторов) для описания обнаруженных регионах. В связи с характером дескрипторов, это можно связать (матч) MSER региона(функция) изображения с одним, который появляется в другом изображении. Несмотря на надежность метода мы можем найти много случаев, когда функции соответствия не был успешным (ложных срабатываний или выбросов). Для устранения этих ложных срабатываний и, ледовательно, получить более надежные и достоверные результаты при определении сцены не видел, мы предлагаем использовать структуру (см. график), с которыми cравниваются (и матч) изображения. Для обнаружения различных регионов (которые в конечном итоге образуют суб-графики для сравнения) изображения мы используем JSEG алгоритма сегментации.

2.1 Сегментация

Функция обнаружения и извлечения, метод выявления особенностей по всему изображению. Нашей целью является группа функций по образу региона, к которому они принадлежат, поэтому мы должны алгоритмом сегментации разделить изображение в регионах. В нашем случае мы используем, предложенный в [17] известно как JSEG алгоритма. JSEG находит однородности определенный шаблон цвет и текстуру. Предполагается, что на картинке:

1. Он содержит набор из регионов с примерно такой же цвет и текстуру.
2. Цвет данных в каждой области изображения могут быть представлены с небольшой набор квантованных цвета.
3. Цвета между двумя соседними регионами отличались друг от друга.

Для получения различных регионах, JSEG выполняет сегментацию в два этапа: квантование цвета и пространственного сегментации. На первом шаге алгоритма, изображение цветов грубо квантованного без ухудшения качества изображения значительно. Это позволит извлечь несколько цветов представителя, который может быть использован в качестве классов ,отдельных регионов изображения. Для каждого пикселя изображения, алгоритм найти свой класс, и заменить его значение, создание образа этикеток (класс-карту).

На втором этапе, пространственной сегментации осуществляется непосредственно от класса карты с ожидания с учетом сходства цветасоответствующего пикселя. Это превращает вывод из предыдущего шага в J-изображения ([17]). После этого изображение рассчитывается, алгоритм использует регионе растущий метод сегментации изображений. Первоначально JSEG рассматривает изображение как в одном регионе, выполняет начальный сегментации с масштабом и повторить этот процесс с новыми регионами и следующей шкале. После этого, семеноводства шаг концов, регионы, которые были чрезмерно сегментированный объединяются с группировкой метод. В итоге получаем два изображения, одно, где каждый пиксель имеет значение принадлежность региона и один с реального изображения, которые накладываются друг на друга края каждого региона.

Преимущество разделения сегментация на два этапа дает увеличение скорости обработки каждого из шагов, которые в совокупности не превышает время, необходимое для обработки всей проблемы. Кроме того, процесс не контролируется и, следовательно, нет необходимости для проведения экспериментов для расчета пороговых значений, так как алгоритм автоматически определяет их.

2.2 Функция обнаружения и извлечения

После того как различные области изображения определяется, мы хотим извлечь детали изображения. В нашем случае мы используем инвариантные MSER дескриптор формы.

Алгоритм Мэйтас и др. [15] поиски экстремальных регионов, то есть регионы, в которых все пиксели светлее или темнее, чем все пиксели в их окрестностей. Пиксели изображения взяты в зависимости от интенсивности, формированию связной компоненты регионов, которая растет и сливается, пока все точки е будут выбраны. Из всех этих связных компонент, или экстремальных регионов, алгоритм выбирает те, для которых размерность остается неизменной в течение определенного числа итераций. Наконец, выбранную максимально устойчивой экстремальных регионов, которые могут иметь любую произвольную форму, превращаются в эллипсы.

Для каждого изображения, функции всего изображения хранятся для восстановления или представления графика изображения. Кроме того, каждая функция возложена на регион он принадлежит (с помощью положения функции на изображение), получение множества неподвижных точек для каждого региона рассчитываются в сегментации шаг. Очки, которые принадлежат к той же области это те, которые используются для построения различных подграфов, которые описывают изображение, то есть каждый регион имеет свой собственный график, построенный с учетом всех особенностей в своей области. Обратите внимание, что вполне возможно, что некоторые регионы не связаны любой функции или некоторые точки не принадлежат к какой-либо конкретной области, в этом случае регион (или точки) отбрасывается, поскольку она не содержит интересные данные.

3. Соответствие с графиками

Функция соответствия может привести к нежелательным ложным срабатываниям. Для устранения этих выбросов, мы предлагаем использовать графики в качестве структуры для согласования. Использование графика позволит проверить не только одну инвариантную последовательность точки, но и множество точек, которые так или иначе имеют отношения друг с другом.

Выбранный метод график сопоставление GTM [18] (Matching GraficTransformation). Этот алгоритм нуждается в получении в качестве входных данных список позиций соответствующих точек (x1, y1) (x2, y2). Этот список рассчитывается следующим образом:br>

1. KD – дерево построено (это древовидная структура, KD – дерево, позволяет относительно быстро вставки и поиска k-мерного пространства (128измерений в нашем случае, размер дескриптора SIFT)) со всеми точками базовый образ (все моменты, которые образуют представитель график).
     2. Для каждого региона текущее изображение (изображение суб-графики):
         2.1. Для каждой точки в регионе, наиболее близкое в KD дерево найдено.
         2.2. Если его евклидово расстояние ниже порогового значения, мы нашли совпадение.

Когда этот шаг завершен, у нас есть список соответствующих пунктов, которые описывают общую область между двумя изображениями. Как это сопоставление может привести к множеству ложных срабатыванийиспользуются GTM алгоритма сравнения структуры региона в оба изображения для устранения этих ложных срабатываний в соответствии. GTM является алгоритм точки соответствия на основе отнести графов [18], что использует информацию из локальной структуры (графа) для лечения выбросов. Построен график для сравнения называется k-ближайшие соседи, которые построены за счет добавления к краю матрицы смежности для пары (I, J), если j узла является одним из k-ближайшим соседям узла i, и если евклидово расстояние между двумя точками, также меньше, чем среднее расстояние всех точек на графике. Если узел не имеет к краям, он отключен, пока мы закончим график строительства.

После двух графов из двух изображений были построены, алгоритмисключает многократно соответствия искажает отношения соседей. Чтобы сделать это, то, что считается выброс выбран двумя узлами (неподвижных точек), которые формируют матча (ложных срабатываний) удаляются из соответствующих графов, а также ссылки на эти узлы в двух матриц смежности. Тогда, два графика вновь пересчитываются. Этот процесс продолжается до остаточной матрицы (разница между матрицами смежности двух графов) равна нулю. На данный момент считается, что алгоритм найден консенсус график. После этого консенсуса граф приобрел, отключенные узлыудаляются начального соответствия, получение матче, где ложные срабатывания будут удалены.

4. Топологическая карта

Результаты предыдущего раздела позволяют нам знать, если два изображения могут рассматриваться как часть одного и того же региона (они были приняты в соседних позициях в реальном мире). Используя этот метод для сравнения изображений, мы построили алгоритм, способный создать топологическую карту из последовательности изображений, которая образуют путь в реальный мир. Наш алгоритм не требует базы данных, поскольку она создана как новое изображение попадает в плен.После того как различные области изображения определяется, мы хотим извлечь детали изображения. В нашем случае мы используем инвариантные MSER дескриптор формы.

Алгоритм строит топологической карты в виде неориентированных графов, которые могут использоваться в приложениях топологических SLAM. Топологическая карта состоит из узлов, представляющая собой особую область охраны окружающей среды и матрицей смежности, который показывает связь между ними. Узлы могут состоять из любого количества изображений, но всегда есть представитель изображение. Это изображение является тот, который имеет больше областей общего с остальными изображениями, принадлежащих к узлу. Для того чтобы вычислить узел представителя и его минимальный процент соответствия, мы используем формулы:

Это формулы в [5] и использовать количество совпавших точек функции С (i,j). Для того, чтобы использовать наш предыдущий метод, у нас есть изменение этой формулы, которая выглядит следующим образом:

где NPk является количество точек в изображении k. Мы выбираем изображение с меньшим количеством точек, так как это будет соответствовать не более этого числа точек, в противном случае не может составить 100% в уравнении.

Алгоритм строит топологическую карту следующим образом:

1. Когда мы получим новое изображение, оно проверяет, если изображение относится к региону, который определяет текущий узел. Для этого, новое изображение по сравнению с узлом представителя, проверяется и если соответствующий процент переходит определенный порог, он добавляется к узлу.

2. Если изображение не превышает порог, то по сравнению со всеми представителями, необходимо найти узел у которого процент еще выше. Если сравнение с узлом проходит выше порогового значения, изображение добавляется в узел и создает границу между предыдущего узла и вновь обнаруженных узлов.

3. Если не найден мы установим, что мы видели нового узла, поэтому он создает и добавить грань между новым узлом и предыдущий.

4. В любом случае, если мы добавим изображение в существующий узел, узел представитель пересчитывается.

Результаты

В этом разделе представлены результаты применения весь алгоритм на множество изображений описаны в [19], которые доступны для загрузки с сайта авторов. Изображения всенаправленный, с разрешением 2048x618. Испытания проводились на изображения для первого маршрута, первые3000 из набора данных.

В нашей предыдущей работе [20], мы проверяем надежность и прочность, основанных на графах соответствующий алгоритм и в [21] мы сравниваем реакцию алгоритма с использованием различных детекторов функцию. В этой статье мы использовали MSER детектор, поскольку это был лучший алгоритм, который получает лучший результат во время экспериментов.

На рисунке 1 мы имеем график представляет топологической карты, созданный нашим алгоритмом. В связи с большим количеством изображений ,как они были обработаны один из каждых 15. Круги на изображении представляют позиции узла представителя и дуги отношения между узлами (ребра графа). Порог для рассмотрения пары изображений принадлежат к той же области, которая была оценена эмпирически.

Как видим, хотя путь состоит из нескольких кругов в окружающей среде, топологической карты не выделяются различные узлы для каждого из кругов сделал, но рассмотреть цикл закрытия существующих и комбинированных изображений одного и того же района, но пойман в разное время в одном узле. Тем не менее, есть ситуации, когда на той же площади алгоритм создал несколько узлов. В некоторых случаях это происходит потому, что мы не взяли фотографии в ряд, но и в других случаях в связи с изменениями в легких и / или изменения в направлении фокусировки. На рисунке 1 мы видим, что площадь деревья помечены как образец 1 на рисунке выше, создал несколько узлов. Глядя на двух узлах представителей (рис. 2), изображение не то же освещение, принимаются в противоположных направлениях, а также на втором изображении дерева крышку детали, которые могут оказаться полезными для идентификации (окклюзия много точек интереса). Можно подумать, что всенаправленные изображения не могут избежать возвращения проблемы, но наш алгоритм не учитывать тот факт, что левая часть изображения непрерывно с правой стороны. Мы планируем решить это в дальнейшей работе. Нечто подобное происходит в туннеле площади, но в данном случае, изображение внутри туннеля очень темные области, поэтому нет обнаружения столько точек функции для того, чтобы соответствовать им.

Выводы

В этой статье мы представили новый метод для создания топологической карты. Метод состоит из комбинации сегментации изображений в регионах и добычи особенности детектора, а затем создание структуры графа из этих функций. Таким образом, согласование двух изображений учитывается как извлечь функции и структуру (граф), образованные этими функциями. Затем мы строим топологическую карту, используя этот метод сравнения, получение неориентированный граф, который делит окружающей среды в регионах, и указывает на отношения между различными областями.

Во время экспериментов мы построили топологический граф, описывающий окружающую среду захватили в долгий путь и несколько петель закрытия (несколько кругов). Как мы видели окружающей среды разделены на несколько областей, большинство из них уникальна, то есть описывается один узел. В случаях, когда они появилось более одного узла мы увидели изменения, связанные с освещением и / или вращения.

В дальнейшей работе, мы планируем улучшить алгоритм для того, чтобы уменьшить чувствительность к изменению освещенности и поворота. Мы также намерены сделать более углубленное изучение поведения алгоритма с использованием различных функций (просеять, серфинг, Харрис-аффинной, Гессе-аффинных). Мы хотим также выразить графики в круговой путь для того, чтобы учесть круговой собственность такого рода изображений.

Список источников литературы размещен в оригинале статьи