ДонНТУ   Портал магистров

Солодухин Кирилл Алексеевич

Факультет компьютерных информационных технологий и автоматики

Кафедра автоматики и телекоммуникаций

Специальность «Управление в технических системах»

Интеллектуальная система технического зрения для измерения габаритов объектов аморфных форм

Научный руководитель: к. т. н., доцент Суков Сергей Феликсович

Резюме Биография Реферат Библиотека Ссылки Отчет о поиске Индивидуальный раздел

Реферат по теме выпускной работы

Содержание

• Введение
• 1. Анализ систем измерения габаритов
• 1.1 Актуальность исследования
• 1.2 Обзор систем измерения габаритов
• 1.3 Цель и задачи системы
• 2. Концепции построений карт глубин
• 3. Алгоритмы главной программы и подпрограмм
• Выводы
• Список источников

Введение

Развитие и применение цифровых технологий в сфере обслуживания и торговли привело к резкому росту почтовых отправлений от предприятия – Интернет-магазина к покупателю. Гигантами в сфере онлайн-шопинга сегодня признаны amazon.com, еbay.com, alibaba.com, walmart.com, bestbuy.com и другие. Поток грузов от них к покупателям требует безошибочного дифференцирования по направлениям доставки, по средствам доставки и не в последнюю очередь по габаритам груза. Последнее особенно важно для решения вопроса о количестве контейнеров для доставки груза и для оптимальной загрузки каждого контейнера. Ясно, что гиганты интернет торговли располагают сегодня современными дорогостоящими системами автоматизированной обработки грузов, однако, рынок онлайн-шопинга нуждается в более простых и недорогих, но достаточно надежных системах определения габаритов груза. Следует учесть и интересы почтовых отделений в крупных населенных пунктах, интересы авиакомпаний, интересы промышленного производства, где также возникает необходимость автоматической оценки габаритов грузов и изделий.

Почтовые отправления получателям и посылки от интернет-магазина покупателям, как правило, упаковываются в картонные коробки в форме параллелепипеда, причем размеры коробки соответствуют некоторому стандартному ряду. Нередко имеют место случаи, когда отправляемый товар является неделимым и не вписывается в стандартные размеры. Отсюда возникает задача автоматического определения габаритов грузов.

1. Анализ систем измерения габаритов

1.1 Актуальность исследования

Определение размеров посылок в последнее время становится критически важным для отраслей электронной коммерции и логистики в рамках их оптимизации пространства и моделей ценообразованияосновываясь на габаритах посылки. Согласно отчету, VDC Research, 43% опрашиваемых, работающих в сфере складирования и распределения, в настоящее время поддерживают размеры стандартных посылок и картонных коробок, а еще 30% планируют поддерживать определение размеров в будущем.

К сожалению, большинство предприятий все еще используют ручной труд для измерений габаритов. Если взять паллетные, «большие» или негабаритные грузы – это всегда рулетка. Работник производит замеры, записывает их на бумаге или, держа цифры в уме, идет к компьютеру и вносит их в учетную систему (или же грузы перемещают на специальное рабочее место для этой процедуры).

Существуют различные разработки, позволяющие автоматизировать процесс измерения габаритов, в зависимости от способа измерения, размера груза, вида процесса. Груз необходимо разместить в области измерения вскладской зоне, после чего процесс сканирования выполняется автоматически, т.е. сотрудник не принимает участия в определении и передаче результатов в учетную систему.

Крупные компании полагаются на автоматизированные решенияопределения размеров, чтобы избежать трудоемких и часто неточных ручных измерений, которые иногда вынуждают грузоотправителей отказываться от определенных вариантов упаковочных коробок, которые могут сэкономить драгоценное пространство и снизить затраты [1].

Так, например, в 2014 году система почтовых отправлений в России испытала коллапс, связанный с увеличением посылок из Китая, что привело к многомесячным задержкам доставок посылок. В связи с этим ФГУП Почта России приняло решение о проведении глобальной модернизации крупнейшего в Европе сортировочного узла почтовых отправлений Логистический центр Внуково. В рамках выполнения работ по модернизации конвейерно-сортировочных линий была поставлена задача оснащения узлов сортировки системой машинного (технического) зрения, в целях сокращения влияния человеческого фактора и увеличения пропускной способности системы в целом [2].

1.2 Обзор систем измерения габаритов

Системы автоматизированного измерения (САИ) габаритов грузов различаются по размерам измеряемых грузов, пропускной способности, вариантам монтажа, могут измерять груз в статике или в динамике (процесс движения по конвейеру). Потенциальными заказчиками САИ габаритов являются логистические и транспортные компании, распределительные центры, дистрибьюторы и производители негабаритного товара.

Существующие САИ в основном используют как ключевые элементы – ультразвуковые, инфракрасные датчики.

Ультразвуковые САИ хорошо подходят для измерения внешних границ упаковки. Они обнаруживают объекты независимо от их оптических свойств. Точность измерения не зависит от цвета объекта или наличия отражающих поверхностей, поскольку они не влияют на распространение и отражение звуковых волн. Это обеспечивает надёжное распознавание упаковок, даже если они обёрнуты, например, глянцевой плёнкой или целлофаном.

Инфракрасные САИ (рис. 1.2), представлены зачастую в виде большого количества инфракрасных датчиков, определении пространственных координат предметов, проходящих в рамке между двумя оптическими шторками (инфракрасными барьерами), одна из которых является передатчиком импульсных оптических инфракрасных сигналов, а вторая - приёмником со встроенным усилителем этих сигналов. Оптические инфракрасные шторки сканируют объект в двух взаимно перпендикулярных направлениях при движении по конвейеру. Отдельные лучи собраны в непрерывный параллельный ряд и представляют собой оптическую завесу.

Основными производителями систем являются: Sensotec, APACHE,Cubiscan, Vibra и другие.

Использование таких систем позволяет с высокой скоростью и точностью распознавать габариты, однако, такие системы, имеют ограничения по формам измеряемого объекта.

Как говорилось ранее, рынок стремится уйти от стандартных размеров, чтобы увеличить грузооборот товаров и повысить коммерческую долю. Для этого, в последнее время всё чаще прибегают к помощи системам технического зрения (СТЗ). Основным элементов которых являются камеры глубины. Которые получают изображение, в каждом пикселе которого хранится помимо цвета, расстояние до объекта в этой точке. Система зрения предоставляет информацию об объекте в виде облака точек. Каждая точка облака — это расстояние до объекта, набор вершин в трёхмерной системе координат.

1.3 Цель и задачи системы

Цель работы – исследование и разработка интеллектуальной системы технического зрения для измерения габаритов объектов аморфных форм.

Основная задача – разработать автоматическую систему определения габаритов грузов, имеющих любую форму, применив систему технического зрения, позволяющую по результатам обработки видеоизображения, получаемого с типовой видеокамеры (веб-камеры, фото или видео) определять габариты груза. Положение груза под видеокамерой – произвольное (не строго ориентированное).

2. Концепции построений карт глубин

Основной принцип работы СТЗ – получение нескольких снимков одной и той же сцены с разных ракурсов (одной или несколькими видеокамерами), сопоставление снимков и вычисление трёхмерных координат точек сцены. В монокулярных системах снимки сцены с разных ракурсов получаются за счёт движения камеры относительно сцены или за счёт движения самой сцены относительно камеры. Но без использования дополнительных сведений о наблюдаемой сцене монокулярные системы не позволяют вычислить истинные размеры объектов и расстояния между ними, а только с точностью до некоторого коэффициента [3, 4].

От указанного недостатка применяют системы из двух и более видеокамер, для восстановления параметров объектов необходимо знать взаимное положение и взаимную ориентацию камер (вычисляется в ходе калибровки камер). Помимо удорожания системы за счёт использования как минимум ещё одной камеры, имеет место проблема синхронизации камер. Применяется два способа синхронизации: программный и аппаратный, второй является более эффективным, но, как правило, доступен только на дорогих специализированных стереокамерах.

Альтернативой многокамерным системам являются оптические системы, в которых получение нескольких изображений достигается за счёт комбинации преломляющих или отражающих элементов (плоские или криволинейные зеркала). Работу оптической системы из N зеркал и одной камеры, наблюдающей зеркала, можно описать в виде системы из N виртуальных камер [5].

Зеркальные системы можно разделить на два класса, в зависимости от типа используемых зеркал: криволинейные или плоские.

Системы с криволинейными зеркалами в научной литературе часто именуются как «всенаправленные». Недостаток всенаправленных оптических систем – малые видимые размеры удалённых объектов, что может затруднить сопоставление пикселей на изображениях с целью построения карт глубин.

Плоские зеркала менее подвержены этому недостатку, проще в изготовлении и имеют меньшую стоимость. Системы с плоскими зеркалами можно классифицировать по количеству используемых зеркал.

Однозеркальные системы наиболее простые, но имеют узкую область применения ввиду малого угла обзора из-за ограниченных размеров зеркала. Для решения данной проблемы используют вращающееся зеркала или большее количество зеркал.

Использование двух зеркал в системе, где зеркала являются плоскими и камера, элементы жёстко закреплены друг относительно друга (рис. 2.1): отсутствие движущихся частей повышает прочность и надёжность всей конструкции (что может быть актуально для СТЗ, установленных на складских предприятиях). Зеркала, расположенные таким образом, обеспечивают захват камерой изображения, состоящего из стереопары. Далее необходимо разделить на правую и левую части, после чего каждую полученную часть можно использовать для получения карты глубин.

Двух зеркальная система схематично изображена на рис. 2.2. Фокальная длина камеры равна f. Плоскости обоих зеркал перпендикулярны плоскости OXZ. Отрезки AB1 и B2C соответствуют плоскостям зеркал. Точки A и C располагаются таким образом, что лежат на границах поля зрения камеры. Точки B1 и B2 располагаются на оси OZ: в общем случае они могут располагаться в произвольных местах, но при наличии промежутка между зеркалами камера также будет наблюдать посторонние объекты за зеркалами.

Ввиду того что зеркала расположены под разными углами к видеокамере, расстояния q1 и q2 на изображениях стереопары различается на некоторую величину, называемой диспаратностью. При нахождении объекта в непосредственной близости от камеры значение диспаратности точки P будет наибольшим, а по мере удаления объекта оно будет уменьшаться.

Карта глубин – матрица, элементами которой будут значения диспаратностей точек изображения, приведенное к диапазону значений от 0 (минимум) до 255 (максимум).

Таким образом, в результате анализа возможных решений наиболее целесообразным представляется использование двух зеркальной системы для измерения габаритов объектов на складских предприятиях, так как, зеркала и камера закреплены жёстко, с известной заранее областью измерений, то это даёт более точную настройку как положения зеркал относительно камеры (угол, расстояние между диспаратностью), так и программную настройку для повышения точности в заданной области (учитывая освещённость помещения и области в которой будет работать система). Ещё одним достоинством такой системы – возможность обрабатывать объекты отражающие и многократно отражающие световой поток.

3. Алгоритмы главной программы и подпрограмм

СТЗ, как определено раньше, использует стереозрение для получения полной информации об объекте.

Изображение объекта

Суть данного метода заключается в использовании видеокамеры и двух зеркал, расположенных под определенными углами относительно ее оптической оси. Зеркала, расположенные таким образом, обеспечивают захват камерой изображения, состоящего из стереопары и на выходе получаем одно изображение которое несёт информацию об объекте. Далее необходимо его разделить на правую и левую части, после чего каждую полученную часть можно использовать для получения карты глубин.

Построение карты глубины

На рисунке 3.1 показан принцип построения карты глубины, показаныточки Y – некоторая точка наблюдаемого объекта, X1 и X2 – проекции точки Y на плоскостях a и b (изображениями с зеркала 1 и зеркала 2 соответственно). Отрезки d1 и d2 являются расстояниями, измеряемыми в пикселях, от начала координат горизонтальной оси до точек X1 и X2 соответственно. Ввиду того что зеркала расположены под разными углами к видеокамере, расстояния d1 и d2 на изображениях стереопары различается на некоторую величину, называемой диспаратностью. При нахождении объекта в непосредственной близости от камеры значение диспаратности точки Y будет наибольшим, а по мере удаления объекта оно будет уменьшаться.

Работу программного обеспечения системы можно разделить на 2 этапа:

• Настройка системы;
• Функционирование системы.

Алгоритм этапа настройки системы показан на рисунке 3.2 и представляет собой следующие шаги:

1. Центровка видеокамеры. Позволяет настроить положение камеры в пространстве относительно зеркал, после чего ее необходимо зафиксировать.
2. Исключение зоны нечеткости на изображении. Позволяет выделить область нечеткости, образованную стыком зеркал и сохраняет параметры этой области, для последующей нарезки изображений.
3. Захват и сохранение калибровочных изображений. На данном этапе производится получение N–снимков калибровочного шаблона шахматная доска и сохранение их в указанную директорию.
4. Нарезка калибровочных изображений по параметрам, сохраненным на шаге 2.
5. Калибровка стереопары. Калибровка необходима для устранения искажений вносимыми оптическим трактом видеокамеры, для корректной работы программы построения карты глубин. Калибровка производится алгоритмами библиотеки OpenCV, после чего происходит сохранение ее параметров. С помощью этих параметров можно производить ректификацию изображений стереопары, то есть воспроизводить их без искажений.
6. Настройка карты глубины производится вручную, изменением различных параметров. По достижению оптимальных параметров карты глубины, они сохраняются для использования во втором этапе работы системы. При выбранных настройках карты глубин диспаратность вычисляется для особых точек наблюдаемого объекта, таких как контуры.

Результатом этапа настройки является этап функционирования системы, алгоритм выполнения которого показан на рисунке 3.3, и включает в себя следующие шаги:

1. Загрузка параметров, сохраненных после этапа настройки системы. Это параметры нарезки изображений, параметры калибровки и карты глубин;
2. Производится захват изображения со стереопары. Этот и последующие шаги будут выполняться циклически до тех пор, пока не остановим выполнение программы;
3. Используя параметры нарезки из шага 1 получаем стереопару на основе захваченного изображения;
4. Далее, с помощью параметров калибровки из шага 1, ректифицируем изображения стереопары;
5. На основе ректифицированных изображений, строится карта глубины. Чем ближе наблюдаемая грань объекта к видеокамере, тем интенсивность цвета его контура выше;
6. Вычисление расстояния до наблюдаемого объекта производится с помощью информации об интенсивности его контура. Для этого были создаются условия, при которых на изображении объект располагается на однородном фоне, во избежание помех от контуров, не интересующих объектов. Происходит вычисление среднего значения интенсивности цвета всех точек контура объекта на карте глубины, после чего полученное значение умножается на рассчитанный коэффициент для приведения его к метровой шкале, после чего выводит результат на дисплей.

Выводы

В настоящее время на рынке систем автоматического измерения габаритовшироко используются системы, использующие аппаратные средства измерения. Использование видеокамер увеличивает пределы измерений, и при корректной разработкенеобходимых алгоритмов появляется возможность измерять габариты грузов сложной формы. Интеллектуальные алгоритмы всё больше находят своё применения в разныхтехнических решениях, и их применение для определения габаритов грузов представляется многообещающим и успешным решением.

В качестве концепции определения габаритов была выбрана система стереозрения, использующая двухзеркальную систему получения изображения.

Для начала работы алгоритма СТЗ, необходимо откалибровать камеру, этим занимается алгоритм настройки системы – первый этап работы. Данный алгоритм позволяет откалибровать камеру, зеркала, обе половинки изображения относительно друг друга, и настроить правильное разделение изображение на два.

Во втором этапе, применяется откалиброванные результаты для системы. Здесь уже, система в автоматическом режиме производит захват стереоизображения, ректифицирование изображения, построение карты глубин, вычисление расстояние до граней объекта и вывод на дисплей.

На момент написания данного реферата, работа над магистерской диссертацией еще не завершена. В работе следует выбрать обработку алгоритма совмещения некалиброванныз видеокадров, для повышения количества точных совпадений, для построения карт диспаритета.

Список источников

1. Чемидов, И. В. АСУ складским комплексом как элемент единого информационного пространства приборостроительного предприятия / И. В. Чемидов, Д. В. Капулин, М. А Казанцев, Н. Н. Джиоева // Автоматизация в промышленности. – М.: Инфоавтоматизация, 2016. – №11. – С.27–30
2. Фадкин А. В. Интеграция системы SCADA и системы машинного зрения в автоматизированных системах управления логистического центра ФГУП ПОЧТА РОССИИ. Новые технологии в научных исследованиях, проектировании, управлении, производстве. Воронеж, 2017
3. Чумаченко А. В. Оптимизация вычисления SAD для задачи восстановления рельефа по изображениям стереопар в высокопроизводительных системах стереозрения// Известия ЮФУ. Технические науки. – 2013. – №3(140). – С.89-96
4. R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz, and P. Hanrahan, Light Field Photography with a Hand-Held Plenoptic Camera / Stanford University Computer Science Tech Report CSTR 2005-02. 2005. – V.2.– Pp. 1-11.
5. Алтухов В.Г. Вычисление расстояния до объекта на основе карты глубин полученной методом зеркального разделения изображений / В. Г. Алтухов, А. Б. Колкер // Автоматика и программная инженерия. – 2017. – № 1 (19). – С. 65-69.
6. Акинин М. В. Нейросетевой алгоритм выделения контуров на изображениях, основанный на Вейвлете Габора / М. В. Акинин, Т. И. Лапина, М. Б. Никифоров // Известия Тульского государственного университета. Технические науки. – 2013. – № 9-1. – С. 208-216.
7. Чугунов Р. А. Методика построения карт глубины стереоизображения с помощью капсульной нейронной сети / Р. А. Чугунов, А. Д. Кульневич, С. В. Аксенов // Доклады ТУСУР. – 2019. – Т. 22. – № 1. – C.83-86.
8. Бобырь М. В. Модернизированный фильтр Канни для построения карт глубин/ М. В. Бобырь, А. Е Архипов, А. С. Якушев // Завалишинские чтения 21: сборник трудов XVI международной конференции по электромеханике и робототехнике. – Санкт-Петербург, 2021. – С.20-24.
9. Безуглов Д. А., Кузин А. П. Информационная технология выделения контуров изображения / Д. А. Безуглов, А. П. Кузин // Академический вестник Ростовского филиала Российской таможенной академии. – 2015.– №1(18). – С.33- 39.
10. Волков И. А. Выделение фрагментов плоского изображения на основе его представления в виде скалярного поля: обработка изображений, полевая модель изображения, выделение контуров, выделение сегментов// Вестник МГТУ. Труды Мурманского государственного технического университета. – 2010. – Т.13. – №3. – С. 607-612.