Vision-based robot sorting system

Аннотация

Yawan Zhang, Wei Cheng - Vision-based robot sorting system
В связи с проблемами неэффективности, достаточно дорогостоящей традиционной ручной сортировки в существующей логистической отрасли предлагается роботизированная сортировочная система на основе компьютерного зрения. В то же время в интеллектуальной логистике использование машинного зрения для интеллектуальных задач сортировки становится все более очевидным. Автоматический сортировочный робот использует зрение для идентификации цели, определения местоположения, захвата цели и сортировки. Таким образом, основанная на машинном зрении роботизированная сортировочная система имеет высокую прикладную ценность. В данной работе для аппаратной и программной частей в качестве основного контроллера используется STM32F4, а для установления системы координат плоского зрения - датчик изображения.

В последние годы, с быстрым развитием социальной экономики и непрерывной популяризацией технологий автоматизации, требования человека к качеству выпускаемой продукции постепенно возросли. Чтобы идти в ногу со временем, многие компании внедрили роботов в различные автоматизированные производственные линии. Так как в эпоху искусственного интеллекта технология машинного зрения стремительно развивалась, роботы стали важной частью сферы социального развития, в том числе благодаря высокой эффективности работы промышленных роботов, их низкой стоимости и низкой частоты ошибок. Поэтому замена ручного труда промышленными роботами является главной тенденцией времени. Использование промышленных роботов способствует повышению уровня социальной производительности, что имеет большое значение для традиционных методов производства.

В логистической отрасли существуют такие проблемы, как низкая эффективность, высокая стоимость традиционных операций ручной сортировки. В то же время в интеллектуальной логистике использование машинного зрения для интеллектуальных задач сортировки становится все более очевидным. Для решения вышеперечисленных задач предлагается роботизированная сортировочная система, основанная на техническом зрении, которая, в основном, делит видео сортируемого объекта на многокадровые изображения, определяет положение целевого объекта в каждом кадре изображения и затем выполняет захват цели. В течение всего рабочего процесса система компенсирует нехватку ручной сортировки, обеспечивает эффективность сортировки, снижает себестоимость продукции фабрики, делая работу более эффективной, ликвидной и упорядоченной.

Архитектура роботизированной сортировочной системы, основанной на зрении, состоит из двух основных модулей: механической части и управляющей части. Механическая часть состоит в основном из сортировочных устройств и конвейерных лент. Скорость конвейерной ленты влияет на качество снимка, получаемого зрительным блоком, поэтому для питания конвейера используется сервопривод. Система управления состоит из программируемого контроллера, зрительного блока и сервопривода.

Для изучения технологии сортировки на основе машинного зрения в данной работе были разработаны два эксперимента: один - неподвижная камера - сортировка цели в неподвижном состоянии объекта, а другой - неподвижная камера - сортировка цели в случае равномерного линейного движения объекта. В первом случае для достижения статической целевой сортировки используются два метода сопоставления и кластеризации. В другом случае сопоставление шаблонов используется для реализации классификации движущихся целей.

В этой статье используется разработка программного обеспечения VC++6.0 под управлением системы Windows. Получение изображений и управление роботом вызывают внешние библиотечные функции. Эти библиотечные функции могут быть непосредственно использованы для настройки переменных среды в VC++6.0. Для управления предусмотрена функция привода IFC и используется библиотека динамических связей MOTOCOM32.

Вышеизложенное решает проблему сортировки целей, когда цель неподвижна. В реальном производственном процессе во многих случаях объект постоянно движется, что требует обнаружения движущейся цели. В данной работе исследуется движение объекта по ленте конвейера, то есть объект совершает равномерное линейное движение. Когда программа запустится, делается снимок движущегося объекта. Устанавливается эта фотография в качестве фона и устанавливается таймер. График сцены берется каждые 0,5 с (время обработки данных в эксперименте составляет 0,1~0,3 с), движущаяся цель извлекается методом фоновой разности.

Система может классифицировать различные объекты в состоянии покоя и использовать методы сопоставления и кластеризации на основе инвариантных признаков серых гистограмм для реализации классификации. В соответствии с результатом, вычисляя калибровку камеры, вычисляется положение цели в системе координат робота, и вызывается MOTOCOM32. Предоставленная библиотечная функция управляет роботом для размещения различных типов целей в заданных позициях, и конкретные позиции могут быть установлены на программном интерфейсе. Объектами сортировки в этом эксперименте являются пять различных типов стандартных квадратов шириной 70 мм, 65 мм, 60 мм, 55 мм и 50 мм и толщиной 1 мм. Программа, разработанная в этой статье, может различить квадраты с разницей диаметров >=10 мм, блоки диаметром с разницей 5 мм иногда вызывают неправильные операции захвата (шайбы, которые машина считает имеющими разность диаметров 5 мм, рассматриваются как шайбы одного типа)

Чтобы сократить время согласования, вводится механизм прогнозирования, для которого используется фильтрация Калмана. Для многоцелевого слежения используется метод ближайшего соседа для корреляции данных, а затем результаты калибровки камеры объединяются для управления захватом робота. Это явление происходит по следующим причинам: камера, используемая в этом эксперименте, представляет собой черно-белую камеру с разрешением 648x492; камера установлена на большой цветочной доске лаборатории, которая находится далеко от места размещения прокладки, на которую легко воздействуют внешние условия; из-за ограничений алгоритма сегментации значения на него сильно влияет свет, и тень может рассматриваться как часть объекта.

Вероятность успеха захвата статических блоков выше, чем вероятность успеха динамического захвата. Поэтому для повышения точности захвата можно выбрать высокопиксельную камеру, использование некоторых алгоритмов, менее подверженных влиянию внешних условий, и установку положения камеры как можно ближе к сцене, чтобы можно было сфотографировать детали объекта.

Когда скорость движущейся цели на конвейерной ленте составляет менее 0,5 м/с, система легко захватывает движущуюся цель. Основная причина невозможности схватывания заключается в том, что алгоритм распознавания цели использует алгоритм сопоставления шаблонов. Этот метод требует много времени. Хотя в данной работе используется упрощенный метод, механизм прогнозирования вводится на основе традиционного сопоставления шаблонов, что сокращает диапазон сопоставления и, соответственно, сокращает время расчета, но полностью она не может решить эту проблему. Последующие исследования могут быть основаны на характерных точках и алгоритме подбора цели, который занимает меньше времени и позволяет быстрее отслеживать цель.

Текущие исследования в области машинного зрения достигли большого прогресса. Однако из-за многих недостатков в изменчивости окружающей среды необходимы дальнейшие исследования. В данной работе представлены программно-аппаратные компоненты системы автоматического управления сортировкой, описан алгоритм обработки изображений визуального блока, а также решены такие недостатки, как низкая эффективность распознавания целей и низкая точность за счет алгоритма свертки глубокого обучения.