Назад в библиотеку

Лёгкая нейронная сеть для обнаружения замыкания петли в визуальном SLAM для помещений

Аннотация

Обнаружение замыкания петли (LCD) играет важную роль в системах визуального одновременного картирования и локализации (SLAM), поскольку оно позволяет эффективно снижать накапливающиеся ошибки системы после длительного периода движения [1].

Свёрточные нейронные сети (CNN) имеют значительное преимущество в сравнении сходства изображений, и исследователи достигли хороших результатов, интегрируя CNN в задачи LCD [16]. LCD на основе CNN более устойчива, чем традиционные методы. Поскольку архитектуры глубоких нейронных сетей от AlexNet и VGG до ResNet стали меньше, сохраняя при этом хорошую точность, для LCD в помещениях не требуется, чтобы роботы выполняли большое количество сложных операций обработки. Чтобы снизить сложность глубоких нейронных сетей, в данной статье представлена новая лёгкая нейронная сеть на основе MobileNet V2 [19].

Мы предлагаем стратегию использования модуля Efficient Channel Attention (ECA) [22], встраиваемого в сжатую версию MobileNet V2 (ECMobileNet) для уменьшения количества операций при сохранении точности. На основе равномерного распределения векторов признаков ECMobileNet в сочетании с сопоставлением по евклидову расстоянию разработан соответствующий метод обнаружения петли. Для оценки результатов использовались наборы данных TUM, и эксперименты показывают, что этот метод превосходит современные подходы. Хотя модель обучалась только на наборе данных indoorCVPR, она также продемонстрировала превосходную производительность на наборах данных TUM. В частности, предложенный подход является более лёгким и высокоэффективным по сравнению с существующими на данный момент подходами на основе нейронных сетей. Наконец, мы использовали наборы данных TUM для тестирования LCD на основе ECMobileNet в системе PTAM, и экспериментальные результаты показывают, что эта лёгкая нейронная сеть является работоспособной.

1. Введение

С развитием сервисных роботов для помещений всё большее количество таких роботов внедряется в нашу жизнь. Благодаря невысокой стоимости визуальных сенсоров, способных получать богатую информацию о сцене, визуальному SLAM уделяется значительное внимание [1]. Как важный компонент робототехнических устройств для помещений, визуальный SLAM [2] не только помогает роботам в навигации, но и способствует избеганию препятствий [3]. LCD в SLAM [4], [5] позволяет роботу или наблюдающему агенту определить, что он вернулся в ранее посещённую область [6]. Следовательно, LCD крайне важно для поддержания точности позиции машины в процессе исследования. Когда робот возвращается в свою начальную точку после периода движения, его позиция может не совпадать с исходной из-за дрейфа позы. Используя LCD, расчётную позицию можно перекалибровать, эффективно устраняя дрифт и минимизируя кумулятивные ошибки, что позволяет создавать более точную карту [7].

Важным аспектом улучшения производительности визуального LCD является получение эффективных описаний сцены на основе входных изображений [8]. Традиционные методы LCD полагаются на созданные вручную дескрипторы признаков для сопоставления изображений. Лоу и др. [9] разработали признак SIFT, который стал широко используемым дескриптором признаков изображений в области компьютерного зрения, но процесс его вычисления очень затратен по времени и не может удовлетворить требованиям SLAM к работе в реальном времени. Рубле и др. [10] улучшили признаки SIFT и предложили признак ORB. Бэй и др. [11] предложили признак SURF, ускоренный устойчивый признак, который значительно повышает скорость вычислений при соответствующем снижении устойчивости. Модель "Мешок слов" (BoW), изначально применявшаяся для поиска текстов [12], как выяснилось, также может распознавать изображения. Другими словами, путём построения словаря визуальных слов [13]. BoW извлекает признаки изображений с помощью SIFT и ORB, оставаясь при этом методом традиционного описания признаков. Однако общей чертой традиционного описания признаков является неспособность эффективно извлекать различные динамические изменения в сцене, что приводит к неочевидному или ошибочному извлечению признаков. Более того, размер словаря в BoW требует больше памяти [14], что не очень реалистично для робототехники в помещениях.

В последние годы глубокое обучение становится всё более популярным для извлечения признаков изображений. Глубокие нейронные сети особенно эффективны в распознавании и классификации изображений [15]. Продемонстрировано, что признаки CNN обладают более высокой устойчивостью к изменениям точки обзора, условиям освещения и вариациям масштаба и могут эффективно устранять недостатки традиционных методов [16]. Чжан X. [16] предложил общий алгоритм для встраивания свёрточных сетей в LCD. Этот алгоритм извлекает векторы признаков изображений с помощью CNN и сравнивает сходство изображений для реализации LCD. Хотя распространённые в настоящее время VGG и ResNet устраняют недостатки традиционных методов, они добавляют в SLAM огромные вычислительные операции [17]. В результате SLAM в реальном времени с глубокими нейронными сетями непрактичен во многих реальных сценариях. Лёгкие нейронные сети, такие как небольшие CNN, недавно были успешно применены во многих областях. Эти модели сохраняют высокую точность, используя очень мало параметров. Например, MobileNet V1 от Google [18], предложенная в 2016 и опубликованная в 2017 году, использует глубинно-разделимую свёртку и стопку глубинно-разделимых модулей для достижения высокой точности на мобильных устройствах. Впоследствии были предложены MobileNet V2 [19] и MobileNet V3 [20] с меньшим количеством параметров и более высокой точностью. Аналогично, модель ShuffleNet [21] чрезвычайно лёгкая и эффективная с вычислительной точки зрения. Как и MobileNet, и SqueezeNet, ShuffleNet в первую очередь предназначена для использования на мобильных устройствах. Использование лёгких нейронных сетей может снизить вычислительные затраты и повысить производительность в реальном времени для LCD.

В этой статье мы предлагаем новую модель лёгкой нейронной сети ECMobileNet на основе MobileNet V2, которую можно интегрировать в LCD. Мы используем модуль Efficient Channel Attention (ECA) [22], встраиваемый в "бутылочные горлышки" (bottlenecks) MobileNet, и удаляем некоторые bottlenecks для уменьшения количества параметров. Сначала мы обучаем ECMobileNet, используя набор данных indoorCVPR, и достигаем желаемых результатов. Затем мы используем изображения из общедоступных наборов данных в качестве входных данных для ECMobileNet, чтобы получить векторы признаков изображений. Во-вторых, мы уменьшаем размер вектора и используем алгоритм евклидова расстояния для вычисления оценок сходства для сравнения изображений и определения, относятся ли они к LCD. В-третьих, мы демонстрируем работоспособность этого алгоритма, сравнивая его с современным основным алгоритмом по нескольким аспектам, включая количество параметров и PR-кривую. Наконец, мы интегрируем этот алгоритм LCD в PTAM, чтобы проверить его эффективность с использованием набора данных TUM RGB-D. По сравнению с траекторией движения, полученной с использованием только PTAM, траектория движения, полученная с помощью этого метода, является более плавной и более соответствует реальной траектории, что может эффективно снизить кумулятивную ошибку всей системы. Основные вклады этой статьи можно резюмировать следующим образом:

1. Предложена новая модель лёгкой нейронной сети ECMobileNet.
2. Использование конкретного небольшого набора данных для помещений также может давать хорошие результаты.
3. Мы демонстрируем, что наш подход достигает конкурентоспособных показателей полноты при 100% точности по сравнению с современными методами с использованием четырёх сложных публичных последовательностей изображений.
4. Мы показываем, что этот алгоритм LCD работоспособен в системе SLAM.

2. Связанные работы

2.1 Efficient Channel Attention (ECA)

Цилун Ван и др. [22] предложили модуль ECA для глубоких CNN, который позволяет избежать уменьшения размерности и эффективно захватывать информацию из локального межканального взаимодействия.

Чтобы понять ECA, необходимо сначала ознакомиться с SENet (SE) [23]. Автор ECA экспериментально оценил эффекты уменьшения размерности и нелинейного межканального взаимодействия в блоке SE, что послужило мотивацией для предложения модуля ECA. Кроме того, автор разработал метод адаптивного определения параметров ECA и в конечном итоге продемонстрировал, как его можно использовать с глубокими CNN.

2.2 MobileNet V2

MobileNet V2 [19] — это модель лёгкой нейронной сети, предложенная Google, которая улучшает MobileNet V1 [18] за счёт усовершенствования глубинно-разделимой свёртки и добавления инвертированного остаточного блока.

Сначала используется свёртка 1×1 для увеличения количества каналов, затем применяется глубокая свёртка 3×3 в пространстве высокой размерности, после чего используется ещё одна свёртка 1×1 для уменьшения количества каналов и, наконец, применяется линейная функция активации. Когда шаг (stride) = 1, MobileNet V2 использует остаточные соединения для связи входов и выходов. Однако когда шаг = 2, остаточные соединения не обязательны, поскольку признаки входов и выходов различаются по размеру. Функция активации, используемая в MobileNet V2, — ReLU6, которая ограничивает любое значение сверху 6, а снизу 0. Функция ReLU6 имеет диапазон значений [0,6] и обеспечивает лучшую производительность представления при числах с плавающей запятой низкой точности.

3. Предлагаемый подход (Краткое изложение)

В данной работе предлагается новый лёгкий метод обнаружения замыкания петли на основе нейронных сетей под названием ECMobileNet. Основная идея заключается в интеграции модуля внимания Efficient Channel Attention (ECA) [22] в архитектуру MobileNet V2 [19] и последующем сокращении её сложности.

Архитектура ECMobileNet: Модуль ECA встраивается в bottlenecks (блоки глубинно-разделимой свёртки) сети MobileNet V2. Этот модуль позволяет сети динамически перевзвешивать важность различных каналов признаков, улучшая способность к выделению значимой информации без значительного увеличения вычислительной сложности. Кроме того, для дальнейшего облегчения модели некоторые из bottlenecks удаляются.

Процесс обнаружения замыкания петли:

1. Извлечение признаков: Входное изображение пропускается через обученную сеть ECMobileNet. На выходе последнего свёрточного слоя (перед полносвязными слоями) получается многомерный картографический вектор признаков (feature map).
2. Формирование глобального дескриптора: Для создания компактного вектора-дескриптора всего изображения применяется стратегия усреднения по пространственным измерениям (Global Average Pooling) к полученному картографическому вектору признаков.
3. Сравнение и принятие решения: Для сравнения двух дескрипторов изображений вычисляется Евклидово расстояние. Если расстояние между дескриптором текущего кадра и дескриптором какого-либо предыдущего кадра оказывается ниже заданного порога, система регистрирует событие замыкания петли.

4. Экспериментальные результаты и выводы (Краткое изложение)

Эксперименты проводились на общедоступных наборах данных TUM RGB-D, которые являются стандартным benchmark для оценки SLAM-систем.

Ключевые результаты:

• Эффективность и лёгкость: Предложенная модель ECMobileNet показала сопоставимую с современными методами точность обнаружения (оценённую по Precision-Recall кривым), при этом имея значительно меньше параметров и требуя меньше вычислительных операций (FLOPs), чем более тяжёлые сети (например, ResNet [24], VGG).
• Обобщающая способность: Несмотря на то, что сеть обучалась на другом наборе данных (indoorCVPR), она успешно работала на последовательностях TUM, демонстрируя хорошую способность к обобщению.
• Интеграция в SLAM-систему: Алгоритм LCD на основе ECMobileNet был интегрирован в систему визуального SLAM PTAM. Результаты показали, что использование этого детектора позволяет получить более плавные и точные траектории движения робота по сравнению с базовой версией PTAM, эффективно снижая накапливающуюся ошибку.

Вывод: В статье представлена работоспособная лёгкая нейронная сеть ECMobileNet для задачи обнаружения замыкания петли в визуальном SLAM. Модель сочетает в себе высокую точность и низкие вычислительные затраты, что делает её пригодной для использования в системах на мобильных платформах или устройствах с ограниченными ресурсами. Предложенный подход превосходит ряд современных методов по балансу между точностью и эффективностью.

Список литературы

Назад в библиотеку К литературе