Русский   English
ДонНТУ   Портал магістрів

Реферат по теме выпускной работы

Содержание

Введення

Розвиток і застосування цифрових технологій у сфері обслуговування і торгівлі призвело до різкого зростання поштових відправлень від підприємства – Інтернет-магазину до покупця. Гігантами в сфері онлайн-шопінгу сьогодні визнані amazon.com, еbay.com, alibaba.com, walmart.com, bestbuy.com та інші. Потік вантажів від них до покупців вимагає безпомилкового диференціювання за напрямками доставки, за коштами доставки і не в останню чергу за габаритами вантажу. Останнє особливо важливо для вирішення питання про кількість контейнерів для доставки вантажу і для оптимального завантаження кожного контейнера. Ясно, що гіганти інтернет торгівлі розташовують сьогодні сучасними дорогими системами автоматизованої обробки вантажів, однак, ринок онлайн-шопінгу потребує більш простих і недорогих, але досить надійних системах визначення габаритів вантажу. Слід врахувати і інтереси поштових відділень у великих населених пунктах, інтереси авіакомпаній, інтереси промислового виробництва, де також виникає необхідність автоматичної оцінки габаритів вантажів і виробів.

Поштові відправлення одержувачам і посилки від інтернет-магазину покупцям, як правило, упаковуються в картонні коробки у формі паралелепіпеда, причому розміри коробки відповідають деякому стандартному ряду. Нерідко мають місце випадки, коли відправляється товар є неподільним і не вписується в стандартні розміри. Звідси виникає завдання автоматичного визначення габаритів вантажів.

1. Аналіз систем вимірювання габаритів

1.1 Актуальність дослідження

Визначення розмірів посилок останнім часом стає критично важливим для галузей електронної комерції та логістики в рамках їх оптимізації простору і моделей ціноутворення на габаритах посилки. Згідно з доповіддю, VDC Research, 43% опитуваних, що працюють в сфері складування і розподілу, в даний час підтримують розміри стандартних посилок і картонних коробок, а ще 30 & percnt; планують підтримувати визначення розмірів в майбутньому.

На жаль, більшість підприємств все ще використовують ручну працю для вимірювань габаритів. Якщо взяти палетні великі або негабаритні вантажі – це завжди рулетка. Працівник проводить виміри, записує їх на папері або, тримаючи цифри в розумі, йде до комп'ютера і вносить їх в облікову систему (або ж вантажі переміщують на спеціальне робоче місце для цієї процедури).

Існують різні розробки, що дозволяють автоматизувати процес вимірювання габаритів, в залежності від способу вимірювання, розміру вантажу, виду процесу. Вантаж необхідно розмістити в області вимірювання вскладской зоні, після чого процес сканування виконується автоматично, тобто співробітник не бере участі у визначенні та передачі результатів в облікову систему.

Великі компанії покладаються на автоматизовані рішеннявизначення розмірів, щоб уникнути трудомістких і часто неточних ручних вимірювань, які іноді змушують вантажовідправників відмовлятися від певних варіантів пакувальних коробок, які можуть заощадити дорогоцінний простір і знизити витрати [1].

Так, наприклад, в 2014 році система поштових відправлень в Росії зазнала колапсу, пов'язаного зі збільшенням посилок з Китаю, що призвело до багатомісячним затримкам доставок посилок. У зв'язку з цим ФГУП Пошта Росії прийняло рішення про проведення глобальної модернізації найбільшого в Європі сортувального вузла поштових відправлень логістичний центр Внуково . В рамках виконання робіт по модернізації конвеєрно-сортувальних ліній було поставлено завдання оснащення вузлів сортування системою машинного (технічного) зору, в метою скорочення впливу людського фактора і збільшення пропускної здатності системи в цілому [2].

1.2 Огляд систем вимірювання габаритів

Системи автоматизованого вимірювання (САІ) габаритів вантажів розрізняються за розмірами вимірюваних вантажів, пропускної здатності, варіантів монтажу, можуть вимірювати вантаж в статиці або в динаміці (процес руху по конвеєру). Потенційними замовниками САІ габаритів є логістичні та транспортні компанії, розподільні центри, дистриб'ютори та Виробники негабаритного товару.

Існуючі САІ в основному використовують як ключові елементи – ультразвукові, інфрачервоні датчики.

Ультразвукові САІ добре підходять для вимірювання зовнішніх меж упаковки. Вони виявляють об'єкти незалежно від їх оптичних властивість. Точність вимірювання не залежить від кольору об'єкта або наявності відбивних поверхонь, оскільки вони не впливають на поширення і відображення звукових хвиль. Це забезпечує надійне розпізнавання упаковок, навіть якщо вони обгорнуті, наприклад, глянсовою плівкою або целофаном.

Зовнішній вигляд ультразвукової САІ

Малюнок 1.1 – Зовнішній вигляд ультразвукової САІ

Інфрачервоні САІ (мал. 1.2), представлені часто у вигляді великої кількості інфрачервоних датчиків, визначенні просторових координат предметів, що проходять в рамці між двома оптичними шторками (інфрачервоними бар'єрами), одна з яких є передавачем імпульсних оптичних інфрачервоних сигналів, а друга - приймачем з вбудованим підсилювачем цих сигналів. Оптичний інфрачервоні шторки сканують об'єкт в двох взаємно перпендикулярних напрямках при русі по конвеєру. Окремі промені зібрані в безперервний паралельний ряд і являють собою оптичну завісу.

Зовнішній вигляд САИ

Малюнок 1.2 – Внешний вид инфракрасной САИ

Основними виробниками систем є: Sensotec, APACHE,Cubiscan, Vibra та інші.

Використання таких систем дозволяє з високою швидкістю і точністю розпізнавати габарити, однак, такі системи, мають обмеження за формами вимірюваного об'єкта.

Як говорилося раніше, ринок прагне піти від стандартних розмірів, щоб збільшити вантажообіг товарів і підвищити комерційну частку. Для цього, останнім часом все частіше вдаються до допомоги системам технічного зору (СТЗ). Основним елементом яких є камери глибини. Які отримують зображення, в кожному пікселі якого зберігається крім кольору, відстань до об'єкта в цій точці. Система зору надає інформацію про об'єкт у вигляді хмари точок. Кожна точка хмари – це відстань до об'єкта, набір вершин у тривимірній системі координат.

Зображення, отримане за допомогою камери глибини

Малюнок 1.3 – Верхнє – реальне зображення, нижнє – зображення отримане за допомогою камер глибини

1.3 Мета і завдання системи

Мета роботи – Дослідження та розробка інтелектуальної системи технічного зору для вимірювання габаритів об'єктів аморфних форм.

Основне завдання – розробити автоматичну систему визначення габаритів вантажів, що мають будь-яку форму, застосувавши систему технічного зору, що дозволяє за результатами обробки відеозображення, одержуваного з типової відеокамери (веб-камери, фото або відео) визначати габарити вантажу. Положення вантажу під відеокамерою – довільне (не строго орієнтоване).

2. Концепції побудови карт глибин

Основний принцип роботи СТЗ – отримання декількох знімків однієї і тієї ж сцени з різних ракурсів (однією або декількома відеокамерами), зіставлення знімків і обчислення тривимірних координат точок сцени. У молекулярних системах знімки сцени з різних ракурсів виходять за рахунок руху камери щодо сцени або за рахунок руху самої сцени щодо камери. Але без використання додаткових відомостей про спостережуваної сцені монокулярні системи не дозволяють обчислити справжні розміри об'єктів і відстані між ними, а тільки з точністю до деякого коефіцієнта [3, 4].

Від зазначеного недоліку застосовують системи з двох і більше відеокамер, для відновлення параметрів об'єктів необхідно знати взаємне положення і взаємну орієнтацію камер (обчислюється в ході калібрування камер). Крім подорожчання системи за рахунок використання як мінімум ще однієї камери, має місце проблема синхронізації камер. Застосовується два способи синхронізації: програмний і апаратний, другий є більш ефективним, але, як правило, доступний тільки на дорогих спеціалізованих стереокамерах.

Альтернативою багатокамерним системам є оптичні системи, в яких отримання декількох зображень досягається за рахунок комбінації заломлюючих або відбивних елементів (плоскі або криволінійні дзеркала). Роботу оптичної системи з n дзеркал і однієї камери, що спостерігає дзеркала, можна описати у вигляді системи з n віртуальних камер [5].

Дзеркальні системи можна розділити на два класи, в залежності від типу використовуваних дзеркал: криволінійні або плоскі.

Системи з криволінійними дзеркалами в науковій літературі часто іменуються як «всеспрямовані». Недолік всеспрямованих оптичних систем – Малі видимі розміри віддалених об'єктів, що може утруднити зіставлення пікселів на зображеннях з метою побудови карт глибин.

Плоскі дзеркала менш схильні до цього недоліку, простіше у виготовленні і мають меншу вартість. Системи з плоскими дзеркалами можна класифікувати за кількістю використовуваних дзеркал.

Однозеркальні системи найбільш прості, але мають вузьку область застосування через малий кут огляду через обмежені розміри дзеркало. Для вирішення даної проблеми використовують обертове дзеркала або більшу кількість дзеркал.

Використання двох дзеркал в системі, де дзеркала є плоскими і камера, елементи жорстко закріплені один щодо одного (мал. 2.1): відсутність рухомих частин підвищує міцність і надійність всієї конструкції (що може бути актуально для СТЗ, встановлених на складських підприємство). Дзеркала, розташовані таким чином, забезпечують захоплення камерою зображення, що складається з стереопари. Далі необхідно розділити на праву і ліву частини, після чого кожну отриману частину можна використовувати для отримання Карти глибин.

Принцип дії системи

Малюнок 2.1 – Принцип дії системи (анімація: 7 кадрів, 57 КБ)

Двухзеркальная система схематично зображена на мал. 2.2. Фокальна довжина камери дорівнює f. площини обох дзеркал перпендикулярні площині OXZ. Відрізки AB1 і B2C відповідають площинах дзеркал. Точки A і c розташовуються таким чином, що лежать на кордонах поля зору камери. Точки B1 і B2 розташовуються на осі OZ: в загальному випадку вони можуть розташовуватися в довільних місцях, але при наявності проміжку між дзеркалами камера також буде спостерігати сторонні об'єкти за дзеркалами.

Хід променів в двухзеркальной системі

Малюнок 2.2 – Хід променів в двухзеркальной системі

З огляду на те що дзеркала розташовані під різними кутами до відеокамери, відстані q1 і q2 на зображеннях стереопари різниться на деяку величину, званої діспаратностью. При знаходженні об'єкта в безпосередній близькості від камери значення диспаратности точки P буде найбільшим, а в міру видалення об'єкта воно буде зменшуватися.

Карта глибин – матриця, елементами якої будуть Значення диспаратностей точок зображення, приведене до діапазону значень від 0 (мінімум) до 255 (максимум).

Таким чином, в результаті аналізу можливих рішень найбільш доцільним видається використання двох дзеркальної системи для вимірювання габаритів об'єктів на складських підприємствах, так як, дзеркала і камера закріплені жорстко, з відомою заздалегідь областю вимірювань, то це дає більш точну настройку як положення дзеркал щодо камери (кут, відстань між диспаратностью), так і програмну настройку для підвищення точності в заданій області (враховуючи освітленість приміщення і області в якій буде працювати система). Ще однією перевагою такої системи & ndash; можливість обробляти об'єкти відображають і багаторазово відображають світловий потік.

3. Алгоритми головної програми та підпрограм

СТЗ, як визначено раніше, використовує стереозрение для отримання повної інформації про об'єкт.

Зображення об'єкта

Суть даного методу полягає у використанні відеокамери і двох дзеркал, розташованих під певними кутами щодо її оптична вісь. Дзеркала, розташовані таким чином, забезпечують захоплення камерою зображення, що складається з стереопари і на виході отримуємо одне зображення яке несе інформацію про об'єкт. Далі необхідно його розділити на праву і ліву частини, після чого кожну отриману частину можна використовувати для отримання Карти глибин.

Побудова карти глибини

На малюнку 3.1 показаний принцип побудови карти глибини, показаниточки Y & ndash; деяка точка спостережуваного об'єкта, X1 і X2 & ndash; проекції точки Y на площинах A і b (зображеннями з дзеркала 1 і дзеркала 2 відповідно). Відрізки d1 і d2 є відстанями, вимірюваними в пікселях, від початку координат горизонтальної осі до точок X1 і X2 відповідно. З огляду на те що дзеркала розташовані під різними кутами до відеокамери, відстані d1 і d2 на зображеннях стереопари відрізняється певною величиною, що називається диспаратністю. При знаходженні об'єкта в безпосередній близькості від камери значення диспаратности точки Y буде найбільшим, а в міру видалення об'єкта воно буде зменшуватися.

Знаходження диспаратності

Малюнок 3.1 – Знаходження диспаратності

Роботу програмного забезпечення системи можна розділити на 2 етапи:

Алгоритм етапу Налаштування системи показаний на малюнку 3.2 і являє собою наступні кроки:

  1. центрування відеокамери. Дозволяє налаштувати положення камери в просторі щодо дзеркал, після чого її необхідно зафіксувати.
  2. виключення зони нечіткості на зображенні. Дозволяє виділити область нечіткості, утворену стиком дзеркал і зберігає параметри цієї області, для подальшої нарізки зображень.
  3. захоплення і збереження калібрувальних зображень. На даному етапі проводиться отримання N & ndash; знімків калібрувального шаблону шахівниця і збереження їх в зазначену директорію.
  4. нарізка калібрувальних зображень за параметрами, збереженими на кроці 2.
  5. калібрування стереопари. Калібрування необхідна для усунення спотворень вносяться оптичним трактом відеокамери, для коректної роботи програми побудови карти глибин. Калібрування проводиться алгоритмами бібліотеки OpenCV, після чого відбувається збереження її параметр. За допомогою цих параметрів можна виробляти ректифікацію зображень стереопари, тобто відтворювати їх без спотворень.
  6. Налаштування карти глибини проводиться вручну, зміною різних параметрів. По досягненню оптимальних параметрів карти глибини, вони зберігаються для використання в другому етапі роботи системи. При обраних Налаштуваннях карти глибин диспаратность обчислюється для особливих точок спостережуваного об'єкта, таких як контури.
Алгоритм роботи етапу налаштування системи

Малюнок 3.2 – Алгоритм роботи етапу налаштування системи

Результатом етапу настройки є етап функціонування системи, алгоритм виконання якого показаний на малюнку 3.3, і включає в себе наступні кроки:

  1. завантаження параметрів, збережених після етапу Налаштування системи. Це Параметри нарізки зображень, параметри калібрування і карти глибин;
  2. проводиться захоплення зображення зі стереопари. Цей і наступні кроки будуть виконуватися циклічно до тих пір, поки не зупинимо виконання програми;
  3. використовуючи параметри нарізки з кроку 1 отримуємо стереопару на основі захопленого зображення;
  4. далі, за допомогою параметрів калібрування з кроку 1, ректифікуємо зображення стереопари;
  5. на основі ректифікованих зображень, будується карта глибини. Чим ближче спостережувана грань об'єкта до відеокамери, тим інтенсивність кольору його контуру вище;
  6. обчислення відстані до спостережуваного об'єкта проводиться за допомогою інформації про інтенсивність його контуру. Для цього були створюються умови, при яких на зображенні об'єкт розташовується на однорідному тлі, щоб уникнути перешкод від контурів, що не цікавлять об'єкт. Відбувається обчислення середнього значення інтенсивності кольору всіх точок контуру об'єкта на карті глибини, після чого отримане значення множиться на розрахований коефіцієнт для приведення його до метрової шкалою, після чого виводить результат на дисплей.
Алгоритм роботи етапу функціонування системи

Малюнок 3.3 – Алгоритм роботи етапу функціонування системи

Висновки

В даний час на ринку систем автоматичного вимірювання габаритів широко використовуються системи, що використовують апаратні засоби вимірювання. Використання відеокамер збільшує межі вимірювань, і при коректній розробці необхідних алгоритмів з'являється можливість вимірювати габарити вантажів форма. Інтелектуальні алгоритми все більше знаходять своє застосування в різних технічних рішеннях, і їх застосування для визначення габаритів вантажів представляється багатообіцяючим і успішним рішенням.

В якості концепції визначення габаритів була обрана система стереозрения, що використовує двухзеркальную систему отримання зображення.

Для початку роботи алгоритму СТЗ, необхідно відкалібрувати камеру, цим займається алгоритм налаштування системи – перший етап роботи. Даний алгоритм дозволяє відкалібрувати камеру, дзеркала, обидві половинки зображення відносно один одного, і налаштувати правильне розділення зображення на два.

У другому етапі, застосовується відкалібровані результати для системи. Тут вже, система в автоматичному режимі виробляє захоплення стереозображення, ректифицирование зображення, побудова карти глибин, обчислення відстань до граней об'єкта і висновок на дисплей.

На момент написання даного реферату, робота над магістерською дисертацією ще не завершена. В роботі слід вибрати обробку алгоритму суміщення некаліброванниз відеокадрів, для підвищення кількості точних збігів, для побудови карт диспаритету.

Список джерел

  1. Чемидов, И. В. АСУ складским комплексом как элемент единого информационного пространства приборостроительного предприятия / И. В. Чемидов, Д. В. Капулин, М. А Казанцев, Н. Н. Джиоева // Автоматизация в промышленности. – М.: Инфоавтоматизация, 2016. – №11. – С.27–30
  2. Фадкин А. В. Интеграция системы SCADA и системы машинного зрения в автоматизированных системах управления логистического центра ФГУП ПОЧТА РОССИИ. Новые технологии в научных исследованиях, проектировании, управлении, производстве. Воронеж, 2017
  3. Чумаченко А. В. Оптимизация вычисления SAD для задачи восстановления рельефа по изображениям стереопар в высокопроизводительных системах стереозрения// Известия ЮФУ. Технические науки. – 2013. – №3(140). – С.89-96
  4. R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz, and P. Hanrahan, Light Field Photography with a Hand-Held Plenoptic Camera / Stanford University Computer Science Tech Report CSTR 2005-02. 2005. – V.2.– Pp. 1-11.
  5. Алтухов В.Г. Вычисление расстояния до объекта на основе карты глубин полученной методом зеркального разделения изображений / В. Г. Алтухов, А. Б. Колкер // Автоматика и программная инженерия. – 2017. – № 1 (19). – С. 65-69.
  6. Акинин М. В. Нейросетевой алгоритм выделения контуров на изображениях, основанный на Вейвлете Габора / М. В. Акинин, Т. И. Лапина, М. Б. Никифоров // Известия Тульского государственного университета. Технические науки. – 2013. – № 9-1. – С. 208-216.
  7. Чугунов Р. А. Методика построения карт глубины стереоизображения с помощью капсульной нейронной сети / Р. А. Чугунов, А. Д. Кульневич, С. В. Аксенов // Доклады ТУСУР. – 2019. – Т. 22. – № 1. – C.83-86.
  8. Бобырь М. В. Модернизированный фильтр Канни для построения карт глубин/ М. В. Бобырь, А. Е Архипов, А. С. Якушев // Завалишинские чтения 21: сборник трудов XVI международной конференции по электромеханике и робототехнике. – Санкт-Петербург, 2021. – С.20-24.
  9. Безуглов Д. А., Кузин А. П. Информационная технология выделения контуров изображения / Д. А. Безуглов, А. П. Кузин // Академический вестник Ростовского филиала Российской таможенной академии. – 2015.– №1(18). – С.33- 39.
  10. Волков И. А. Выделение фрагментов плоского изображения на основе его представления в виде скалярного поля: обработка изображений, полевая модель изображения, выделение контуров, выделение сегментов// Вестник МГТУ. Труды Мурманского государственного технического университета. – 2010. – Т.13. – №3. – С. 607-612.