Русский   English
ДонНТУ   Портал магистров

Дослідження впливу параметрів калібрування камери на точність побудови тривимірних моделей

Зміст

Вступ

Фотограмметричні методи були і залишаються одними з найбільш важливих складових високопродуктивних і рентабельних технологій в геодезичному виробництві. Протягом довгого періоду, фотограмметричні методи залишалися основними для складання топографічних планів, створення карт, використовувалися в архітектурі, під час зйомки будівель і споруд, а також використовувалися в маркшейдерії і гірничій справі для зйомки кар'єрів. Останнім часом в фотограмметрії стався спад з наступних причин: знімальна апаратура застаріла і не може бути змінена, через повну відсутність її виробництва. В аналогічній ситуації перебувате камеральна обробка, яка виконується на універсальних фотограмметричних приладах. Ще однією причиною є поява лазерних сканерів, які стрімко витісняють фотограмметричні методи зі списку найбільш використовуваних в геодезичному виробництві [1].

1. Актуальність теми

Новий щабель розвитку фотограмметрії як науки є поява і поширення цифрових технологій. Поява цифрових технологій спростила зйомку і камеральну обробку, яка виконуєтся на фотограмметричних станціях, які розташовуються на персональних комп'ютерах. На даний момент на ринку програмного забезпечення, з'являються цифрові фотограмметричні станції, можливість яких розширяється до можливості побудови тривимірних моделей по набору цифрових фотознімків [2]. Були розглянуті такі програми як Agisoft PhotoScan, Contex Capture від Bentley, openMVG, VisualSFM, ArcheOS 4, ArcheOS 5 та insight3d. У даній роботі вибір зупинився на програмному продукті Agisoft PhotoScan але також можна вважаю перспективним Contex Capture від Bentley.

Для збору даних використовуються безпілотні літальні апарати (БПЛА) з встановленими на них цифровими камерами, що є більш дешевим способом в порівнянні з лазерними сканерами. Метод сприяє збільшенню продуктивності геодезичного виробництва. Але в свою чергу тягне появу похибок [3].

Слідуючи з вищесказаного, актуальною стає проблема знаходження параметрів камери БПЛА для виключення невиконання принципу коллініарності (порушується центральна проекція зображення) на знімках для подальшої обробки знімків і побудови тривимірної моделі. Завдання зводиться до встановлення можливості застосування даного способу на виробництві.

2. Аналіз вивченості проблеми.

Важливе значення для вирішення встановленної в магістерській дисертації наукової проблеми мають дослідження вчених: В. Н. Глотов, В. В. Чижевський, А. В. Катушков, Б. Г. Пряха, Д. В. Тітов, Т. А. Ширабакіна, Л. Д. Жимбуева, І.А. Куніна, С.А. Гладилин, Д.П. Николаев стосовно способу визначення дисторсии цифрови знімальних камер; Ю. М. Лащёнов, В. С. Касьянюк, А. Л. Заворотний, С. Н. Гузевич зробили внесок в дослідження математичних методів обробки цифрових даних завдання апроксимації; в свою чергу А. А. Постельняк, Е. І. Смирнов, М. М. Лазаренко, О. А. Корчагіна, І. Ш. Туктаров, А. В. Леонов, А. А. Алейніков, А. Е. Бобков , Е. Н. Еремченко, А. С. Клименко, П. В. Фролов, Ю. Б. Блохін, М. С. Веркеенко, В. А. Горбачов, С. В. Скрябін, С. А. Каднічанский, Б . А. Новаковський, А. І. Прасолова, Р. В. Пермяков займалися розробкою методик створення 3D моделей і оцінювання точності висот цифрових моделей рельєфу; С. Г. Могильний, А. А. Шоломицький, А. А. Луньов, А. В. Катушков, Б. Г. Пряха, F. Remondino, C. Fraser, А. Л. Биков, А. В. Семенцов, В. Н. Нікітін, Р. Н. Гельман, Е. Г. Воронін, Г. А. Шеховцов, Р. П. Шеховцова, Ю. Н. Раскаткін, А. В. Нікітін – особливості калібрування аерознімальніх камер по знімках рівнинного полігону; А. І. Журавльов, Е. В. Гошин, В. А. Фурсов, – автоматичне калібрування цифрової фотокамери; Ю. Б. Блохін, А. П. Гук, М. М. Лазарев розробляли алгоритми формування цифрової моделі поверхні і текстурного покриття в наземної фотограмметрії; М. С. Шевня – використання безпілотних літальних апаратів для отримання матеріалів дистанційного зондування.

Мета і завдання дослідження.

Метою дослідження є визначення впливу параметрів калібрування камери на точність побудови тривимірних моделей.

Об'єкт дослідження – технологія самокалібрування неметричної камери.

Предмет дослідження – тривимірна модель, побудована в програмі Agisoft PhotoScan по набору цифрових зображень, виконаних камерою Zenmuse X5S.

Метод дослідження – поставлені завдання вирішуються на основі методу порівняння із застосуванням комплексу теоретичних і експериментальних досліджень. Теоретичні передумови планується підтвердити методами експериментальних досліджень.

4. Порядок виконання дослідження.

Порядок виконання експерименту представлений нижче.

    1. Побудувати поверхню за даними зйомки супутниковим приймачем.

    2.1 Виконати обробку знімків за даними зальоту №1 в ПЗ Argisoft Photoscan, отримати поверхню складу без калібрування.

    2.2 Виконати калібрування камер зальоту № 1.

    2.3 Отримати поверхню складу з каліброваною камерою за даними зальоту №1.

    3. Виконати дії зазначені в пунктах 2.1 – 2.3 для даних зальоту № 2.

    4. Порівняти отримані поверхні і зробити висновок про вплив калібрування на точність побудови поверхонь.

5. Виконання польових робіт.

Робота геодезиста не завжди полягає у виконанні стандартних завдань, таких як кадастрова або топографічна зйомка. Найчастіше перед геодезичними фірмами постає завдання виконання нестандартних видів геодезичних робіт – зйомки кар'єрів і відкритих складів, будь то склади вугілля, руди (що найчастіше зустрічається в нашому регіоні) або ж інших сипучих матеріалів. А в більшості випадків замовнику необхідно виконати в найкоротші терміни, а обсяги роботи дуже великі.

Виконавці вибирають як вирішувати поставлену задачу. Більшість інженерів дотримується стандартних видів виконання зйомок з використанням електронного тахеометра. Але з появою програм комп'ютерного зору, деякі фірми вибирають варіант використання БПЛА для виконання зйомки.

В роботі виконується дослідження можливості застосування даного способу виконання зйомки на геодезичному виробництві. У магістерській дисертації проводиться дослідження на прикладі зйомки вугільного складу. Зйомка виконувалася за допомогою квадрокоптера DJI Inspire 2 з цифровою камерою Zenmuse X5S, БПЛА зі встановленою камерою представлений на малюнку 1.

Рисунок 1. – Квадрокоптер DJI Inspire 2 с камерой Zenmuse X5S.

На етапі підготовки до виконання робіт, були заготовлені розпізнавальні знаки у вигляді листів формату А3 з нанесеним маркуванням у вигляді хрестів чорного кольору. Потім, рівномірно на території вугільного складу були розміщені розпізнавальні знаки та визначені координати їх центрів за допомогою супутникового приймача в режимі RTK, для орієнтування знімків в процесі обробки. Зйомка виконувалася квадрокоптером на висоті приблизно 100 м. Було виконано 2 зальоти БПЛА. У дослідницьких цілях маршрути польоту були різними (перший заліт виконаний поперек складу, в той час як другий – уздовж), для подальшої можливості порівняння побудованих моделей між собою. Маршрути польоту дрона представлені на малюнку 2.

Рисунок 2. – Маршрути польоту дрона.

В результаті виконання зйомки були отримані набори знімків, за результатами зальоту № 1 отримано 68 цифрових знімків вугільного складу, а після виконання зальоту № 2 отримано 99 знімків. На малюнку 3 показані зони перекриття знімків за результатами зйомок зальоту №1 і зальоту №2.

Рисунок 3. – Зони перекриття знімків за результатами зйомок зальоту №1 і зальоту №2.

На борту квадрокоптера встановлений GPS приймач. У момент фотографування, бортовий комп'ютер записує координати положення камери в просторі. Ці дані в подальшому використовуються при обробці. Також були виконані вимірювання поверхні складу за допомогою супутникового приймача, зйомка налічує 252 пікети, які рівномірно розташовані по поверхні складу і повторюють характерні зміни рельєфу. Дана зйомка виконана для побудови тривимірної поверхні за даними RTK зйомки і можливості оцінити моделі отримані фотограмметричним способом.

6. Знаходження параметрів неметричної камери і визначення їх вплив на точність побудови тривимірної моделі.

6.1 Знаходження параметрів неметричної камери, дисторсия.

Калібрування камер полягає у визначенні значень елементів внутрішнього орієнтування камери і систематичних помилок оптичної системи, викликаних головним чином дисторсією об'єктива.

Дисторсія – аберація оптичних систем, при якій лінійне збільшення змінюється по полю зору. Світлові промені, проходячи через центр лінзи, сходяться в точці, розташованій далі від лінзи, ніж промені, які проходять через її края [5]. Приклад схеми появи дисторсии представлений на рис. 4.



Рисунок 4. – Схема появи дисторсии на знімках [5].

Елементами внутрішнього орієнтування є фокусна відстань (f) і координати головної точки знімка (xo, yo).

Систематичні помилки оптичної системи визначають відмінності реальної фізичної системи від її математичної моделі. Дісторсия об'єктива впливає на геометрію центрального проектування, і як наслідок не виконується принцип коллінеарності (порушується центральна проекція зображення).

Розрізняють два типи дисторсії об'єктива: радіальну і тангенціальну. Радіальна дисторсія набагато перевищує тангенціальну, тому, як правило, визначають лише радіальну дисторсію.

Для сучасних цифрових камер, головною проблемою є низька якість виготовлення об'єктива, пов'язане з великою дисторсією і не центрування окремих елементів об'єктива, що призводить до неперпендикулярності головного оптичного променя до площини зображення. Тому при калібрування таких камер доцільно визначати не тільки радіальну дисторсію, але і децентрацію оптичної системи (нецентрованого або тангенціальна дисторсія об'єктива).

Існує три методи калібрування камер:

Самокалібровка це метод калібрування камери, який дозволяє визначати параметри калібрування в процесі фототріангуляцію, виконуваної по знімках реальної зйомки. Самокалібровка камер, яка полягає в знаходженні матриці внутрішніх параметрів камери з використанням декількох зареєстрованих нею зображень однієї і тієї ж сцени. Знання матриці калібрування необхідно для подальшого визначення положення камер, тобто зовнішніх параметрів камери [5].

Проблема полягає в тому, що фокусна відстань камери відомо приблизно, а параметрів дисторсии немає.

Залежно від принципу, покладеного в основу виміру координат точок знімків фотограмметричні системи можна розділити на дві великі групи: системи засновані на монокулярних і стереоскопічних вимірах координат точок знімків. Системи першої групи призначені в основному для вивчення об'єктів в окремих точках маркованих на поверхні об'єкту або в точках, які є чіткими контурами. Системи другої групи застосовуються для побудови цифрової моделі об'єкта на основі стереовимірів (автоматизованих або інтерактивних) в будь–яких точках поверхні об'єкту.

У свою чергу фотограмметричні системи, засновані на монокулярних вимірах координат точок знімків можна також розділити на дві групи. Це інтерактивні і автоматичні.

Інтерактивні системи. У цих системах об'єкт знімається, як правило, однією камерою з різних точок фотографування. В результаті отримують серію конвергентних (в загальному випадку) знімків. Вимірювання координат точок знімків (опорних, сполучних) виконують монокулярні в інтерактивному режимі, при цьому ототожнення відповідних точок на знімках виконується оператором. В результаті фототріангуляцію за способом зв'язок визначають елементи зовнішнього орієнтування знімків і координати всіх точок мережі. Якщо потрібно виконати вимір додаткових точок об'єкта, то в цьому випадку їх координати виходять в результаті розв'язання прямої багаторазової фотограмметричної засічки, використовуючи елементи зовнішнього орієнтування знімків, визначених у результаті фототріангуляцію.

6.2 Обробка знімків, побудова тривимірної моделі.

Для виконання обробки був обраний програмний продукт Agisoft PhotoScan. Agisoft PhotoScan – професійний інструмент для фотограмметричного конвеєра. Це автономний програмний продукт, який виконує фотограмметричну обробку цифрових зображень і генерує тривимірні просторові дані для використання в ГІС–додатках, документації по культурній спадщині, для виробництва візуальних ефектів, а також для непрямих вимірювань об'єктів різних масштабів.

Програма автоматично визначає наступні параметри калібрування камери:

Робота зі створення моделі здійснюється в три етапи:

1. Визначення параметрів зовнішнього і внутрішнього орієнтування камер. Завантаження фото знімків і вказуються відповідності на знімках, тобто встановлюються маркери на місця розташування розпізнавальних знаків з відомими координатами. На цій стадії PhotoScan знаходить спільні точки фотографій і по ним визначає всі параметри камер: положення, орієнтацію, внутрішню геометрію (фокусна відстань, параметри дисторсії і т.п.). Результатами цього етапу є розріджена хмара спільних точок в 3D просторі моделі і дані про стан і орієнтації камер [4], [6].

У PhotoScan розріджена хмара точок не використовується на подальших стадіях обробки (крім режиму побудови моделі на основі розрідженої хмари точок), і служить тільки для візуальної оцінки якості вирівнювання фотографій.

Дані про стан і орієнтації камер використовується на подальших стадіях обробки.

2. Побудова щільного хмари точок. На другому етапі PhotoScan виконує побудову щільного хмари точок на підставі розрахованих на першому етапі обробки положень камер і використовуваних фотографій. Перед переходом на наступний етап створення 3D моделі або перед експортом моделі, щільна хмара точок може бути змінено і класифіковано. У даній роботі постало завдання редагування щільної хмари точок, так як в ручному режимі необхідно було виключити частіну хмари з технікою (екскаватор), бункер транспортування і теплотрасу.

3. Побудова полігональної моделі об'єкта. На третьому етапі PhotoScan будує тривимірну полігональну модель, що описує форму об'єкта, на підставі щільної хмари точок. Також можливе швидка побудова моделі на підставі тільки розрідженої хмари точок. PhotoScan пропонує два основних алгоритмічних методу для побудови полігональної моделі: Карта висот – для плоских поверхонь (таких як ландшафт або барельєф) і Довільний – для будь–яких типів поверхонь [6]. На анімованому малюнку 5 представлена тривимірна модель вугільного складу без урахування калібрування камери і нанесення текстури за результатами зальоту №1.

Рисунок 5. – 3 D модель вугільного складу без урахування калібрування камери.

(Анімація: 5 кадрів, 5 циклів повторення, 250 кілобайт)

Всі моделі діють для камери з центральною проекцією. Для опису нелінійних дисторсій застосовується модель Брауна. Модель дисторсії описує трансформацію координат точки в локальній системі координат камери в координати в пікселях кадру.

Після виконання калібрування камери, був отриманий результат у вигляді векторів невязок за сполучними точками для камери Zenmuse X5S за результатами зальоту №1 і зальоту №2 на малюнку 6.

Рисунок 6. – Вектори невязок по сполучною точках для камери Zenmuse X5S.

На малюнку 7 представлена тривимірна модель складу, побудована після виконання калібрування камери за результатами зальоту №1.

Рисунок 7. – 3D модель побудована в PhotoScan за результатами зальоту №1 з урахуванням калібрування камери.

(Анімація: 4 кадрів, 5 циклів повторення, 281 кілобайт)

На тривимірну модель на малюнку 6 накладена текстура для кращого сприйняття моделі.

6.3 Порівняльний аналіз поверхонь

Після виконання обробки даних в програмному продукті PhotoScan, маємо можливість виконати порівняльний аналіз отриманих даних. Дані поміщені в таблицю 1, для наочності та зручності аналізу отриманих даних [7].

Таблиця 1. Результати обробки цифрових знімків в програмному продукті PhotoScan.

Заліт №1, без калібрування

Заліт №1, з урахуванням калібрування

Заліт №2, без калібрування

Заліт №2, з урахуванням калібрування

Кількість зображень, шт.

68

68

99

99

Висота польоту, м.

104

104

99.6

99.6

Площа покриття, м. Кв.

6.57e+04

6.57e+04

7.03e+04

7.03e+04

Ефективне перекриття

7.9152

7.9152

9.9289

9.9289

Фокусна відстань (Fx, Fy)

4035.8

4035.64

4012.8

3994.83

4035.8

4035.64

4017.19

3994.83

Координати головної точки (Сх, Су)

2294.82

2295.05

2400.24

2354.98

1769.18

1769.34

1817.16

1731.47

Коефіцієнти радіальної деформації (К1, К2, К3, К4, Р1, Р2)

0.00456

0.00451

0.00113

0.00195

–0.00499

–0.00437

0.00375

0.00046

0.01639

0.01531

0.00273

0.00324

0

0

0

0

0

0

0.00177

0

0

0

0.00292

0

Похибка визначення маркера

0.114 м

0.114 м

0.126 м

0.055 м

1.47 пикс

1.47 пикс

1.30 пикс

1.20 пикс

Кількість точок (розріджений хмара), шт.

25 547

25 722

31 261

31 261

Кількість точок (щільна хмара), шт.

11 414 191

11 382 426

14 078 509

13 376 561

Кількість полігонів (3D модель), шт.

178 595

179 708

218 223

216 371


З таблиці 1 видно що як у випадку калібрування камери зальоту № 1 так і зальоту № 2 параметри дисторсії зменшуються. Також аналізуючи дані можемо сказати що велика кількість полігонів в 3D моделі може більш точно повторювати поверхню складу, ніж наприклад зйомка виконана традиційними методами.

Висновки

Можемо зробити висновок що самокалібрування здійснює вплив на побудову тривимірної моделі. В даний момент триває робота над виконанням науково – дослідницької роботи. Виконується підрахунок об'ємів отриманих поверхонь. Наступним кроком буде аналіз впливу самокалібрування камери на точність побудови 3D моделі і формулювання якості застосування самокалібрування камери, а також написання висновку про придатність даного методу для впровадження його на геодезичному виробництві.

Список літератури

1. Лунёв А. А. Обоснование технологии наземной цифровой стереофотограмметрических съемки // Диссертация на соискание ученой степени кандидата технических наук. Киев – 2008. –19 с.

2. Тюфлин Ю. С. Фотограмметрия – вчера , сего дня и завтра // Министерство образования и науки российской федерации. Известия высших учебных заведений Раздел Геодезия и аэрофотосъемка №2. МИИГАиК, Моска: 2011 – 112с.

3. Шевня М. С. Использование беспилотных летательных аппаратов для получения материалов дистанционного зондирования Земли // Орган геодезических служб стран СНГ. Научно технический журнал Геодезия и картография № 1. ФГБУ Центр геодезии, картографии и ИПД, Моска:2013 – 64с.

4. Гайсин А. Э., Коршунов Р. А., Левитская О. Н., Носков В. В., Погорелов В. В., Скрябин С. В., Фролов Н. В. Ориентирование стереопар фотоснимков на цифровых фотограмметрических станциях по координатам опорных меток // Орган геодезических служб стран СНГ, Научно технический журнал Геодезия и картография № 7. ФГБУ Центр геодезии, картографии и ИПД Моска: 2014 – 64с.

5. Калибровка камер // [Электронный ресурс], Режим доступа: https://studfiles.net/preview/3557133/page:5/, Дата посещения 11.12.2017 г.

6. Руководство пользователя Agisoft PhotoScan Professional Edition версия 1.2, 2016г, 119 с. // [Электронный ресурс], Режим доступа: http://www.agisoft.com/pdf/photoscan–pro_1_2_ru.pdf, Дата посещения 10.12.2017 г.

7. Кадничанский С. А. Обоснование требований к цифровой модели рельефа, используемой в современных технологиях аэрофототопографической съемки // Министерство образования и науки российской федерации, Известия высших учебных заведений Раздел Геодезия и аэрофотосъемка №2. МИИГАиК, Моска: 2013 – 126 с.