Исследование влияния параметров калибровки камеры на точность построения трёхмерных моделей
Содержание
- Введение
- 1. Актуальность темы
- 2. Анализ изученности проблемы.
- 3. Цель и задачи исследования.
- 4. Порядок выполнения исследования.
- 5. Выполнение полевых работ.
- 6. Нахождение параметров неметрической камеры и определение их влияние на точность построения трёхмерной модели.
- 6.1 Нахождение параметров неметрической камеры, дисторсия.
- 6.2 Обработка снимков, построение трёхмерной модели.
- 6.3 Сравнительный анализ поверхностей.
- Выводы
- Список источников
Введение
Фотограмметрические методы были и остаются одними из наиболее важных составляющих высокопродуктивных и рентабельных технологий в геодезическом производстве. На протяжении долгого периода, фотограмметрические методы оставались основными для составления топографических планов, создания карт, также использовались в архитектуре, во время съёмки зданий и сооружений, использовались в маркшейдерии и горном деле для съёмки карьеров. В последнее время в фотограмметрии произошел спад в виду следующих причин. Съёмочная аппаратура устарела и может быть изменена, из–за полного отсутствия её производства. В аналогичной ситуации находиться камеральная обработка, которая выполняется на универсальных фотограмметрических устройствах. Ещё одной причиной является появление лазерных сканеров, которые стремительно вытесняют фотограмметрические методы из списка наиболее используемых в геодезическом производстве [1].
1. Актуальность темы.
Новую ступень
развития фотограмметрии как науки
является появление и распространение
цифровых технологий. Появление цифровых
технологий упростило съёмку и камеральную
обработку, которая производится на
фотограмметрических станциях, которые
располагаются на персональных компьютерах.
На данный момент на рынке программного
обеспечения, появляются фотограмметрические
станции, возможность которых расширяется
до возможности построения трёхмерных
моделей по набору цифровых фотоснимков [2].
Были рассмотрены программы, такие как Agisoft PhotoScan
, Contex Capture
от Bentley,
openMVG
, VisualSFM
, ArcheOS 4
, ArcheOS 5
и
insight3d
.
В данной работе выбор остановлен на
программном продукте Agisoft PhotoScan
но
также можно считаю перспективным
Contex Capture
от Bentley.
Для сбора данных используются беспилотные летательные аппараты (БПЛА) с установленными на них цифровыми камерами, что является более дешевым способом в сравнении с лазерными сканерами. Метод способствует увеличению продуктивности геодезического производства. Но в свою очередь влечёт появление погрешностей [3].
Следуя из вышесказанного, актуальной становиться проблема нахождения параметров камеры БПЛА для исключения не выполнения принципа коллинеарности (нарушается центральная проекция изображения) на снимках для дальнейшей обработки снимков и построения трёхмерной модели. Задача сводится к установлению возможности применения данного способа на производстве.
2. Анализ изученности проблемы.
Важное значение для решения поставленной в магистерской диссертации научной проблемы имеют исследования учёных: В. Н. Глотов, В. В. Чижевский, А. В. Катушков, Б. Г. Пряха, Д. В. Титов, Т. А. Ширабакина, Л.Д. Жимбуева, И.А. Кунина, С.А. Гладилин, Д.П. Николаев касаетельно способа определения дисторсии цифровох съемочных камер; Ю. М. Лащёнов, В. С. Касьянюк, А. Л. Заворотный, С. Н. Гузевич сделали вклад в исследование математических методов обработки цифровых данных задачи аппроксимации; в свою очередь А. А. Постельняк, Е. И. Смирнов, М. М. Лазерко, О. А. Корчагина, И. Ш. Туктаров, А. В. Леонов, А. А. Алейников, А. Е. Бобков, Е. Н. Ерёмченко, А. С. Клименко, П. В. Фролов, Ю. Б. Блохинов, М. С. Веркеенко, В. А. Горбачев, С. В. Скрябин, С. А. Кадничанский, Б. А. Новаковский, А. И. Прасолова, Р. В. Пермяков занимались разработкой методик создания 3D моделей и оценивание точности высот цифровых моделей рельефа; С. Г. Могильный, А. А. Шоломицкий, А. А. Лунёв, А. В. Катушков, Б. Г. Пряха, F. Remondino, C. Fraser, А. Л. Быков, В. Н. Никитин, А. В. Семенцев, Р. Н. Гельман, Е. Г. Воронин, Г. А. Шеховцов, Р. П. Шеховцова, Ю. Н. Раскаткин – особенности калибровки аэросъемочных камер по снимкам равнинного полигона; А. И. Журавлёв, Е. В. Гошин, В. А. Фурсов, – автоматическая калибровка цифровой фотокамеры; Ю. Б. Блохинов, А. П. Гук, М. М. Лазерко разрабатывали алгоритмы формирования цифровой модели поверхности и текстурного покрытия в наземной фотограмметрии; М. С.Шевня – использование беспилотных летательных аппаратов для получения материалов дистанционного зондирования.
3. Цель и задачи исследования.
Целью исследования является определение влияния параметров калибровки камеры на точность построения трёхмерных моделей.
Объект исследования – технология самокалибровки неметрической камеры.
Предмет исследования – трёхмерная модель, построенная в программе Agisoft PhotoScan по набору цифровых изображений, выполненных камерой Zenmuse X5S.
Метод исследования – поставленные задачи решаются на основе метода сравнения с применением комплекса теоретических и экспериментальных исследований. Теоретические предусловия планируется подтвердить методами экспериментальных исследований.
4. Порядок выполнения исследования.
Порядок выполнения эксперимента представлен ниже.
1. Построить поверхность по данным сьёмки спутниковым приёмником.
2.1 Выполнить обработку снимков по данным залёта №1 в ПО Argisoft Photoscan, получить поверхность склада без калибровки.
2.2 Выполнить калибровку камер залёта №1.
2.3 Получить поверхность склада с калиброванной камерой по данным залёта №1.
3. Выполнить действия указанные в пунктах 2.1 – 2.3 для данных залёта №2.
4. Сравнить полученные поверхности и сделать вывод о влиянии калибровки на точность построения поверхностей.
5. Выполнение полевых работ.
Работа геодезиста не всегда заключается в выполнении стандартных задач, таких как кадастровая или топографическая сьёмка. Зачастую перед геодезическими фирмами встаёт задача выполнения не стандартных видов геодезических работ – съёмки карьеров и открытых складов, будь то склады угля, руды (что чаще всего встречается в нашем регионе) или же других сыпучих материалов. А в большинстве случаев заказчику необходимо в кратчайшие строки выполнить работу больших объёмов.
Исполнители выбирают как решать поставленную задачу. Большинство инженеров придерживается стандартных видов выполнения съёмок с использованием электронного тахеометра. Но с появлением программ компьютерного зрения, некоторые фирмы выбирают вариант использования БПЛА для выполнения съёмки.
В работе выполняется исследование возможности применения данного способа выполнения сьёмки на геодезическом производстве. В магистерской диссертации проводится исследование на примере съёмки угольного склада. Съёмка выполнялась при помощи квадрокоптера DJI Inspire 2 с цифровой камерой Zenmuse X5S, БПЛА с установленной камерой представлен на рисунке 1.
На этапе подготовки к выполнению работ, были заготовлены опознавательные знаки в виде листов формата А3 с нанесённой маркировкой в виде крестов чёрного цвета. Затем, равномерно на территории угольного склада были размещены опознавательные знаки и определены координаты их центров с помощью спутникового приёмника в режиме RTK, для ориентирования снимков в процессе обработки. Съёмка выполнялась квадрокоптером на высоте приблизительно 100 м. Было выполнено 2 залёта БПЛА. В исследовательских целях маршруты полёта были разными (первый залёт выполнен поперёк вдоль склада, в то время как второй – вдоль), для дальнейшей возможности сравнения построенных моделей между собой. Маршруты полёта дрона представлены на рисунке 2.
В результате выполнения сьёмки были получены наборы снимков, по результатам залёта № 1 получено 68 цифровых снимков угольного склада, а в итоге выполнения залёта № 2 получено 99 снимков. На рисунке 3 показаны зоны перекрытия снимков по результатам съёмок залёта №1 и залёта №2.
На борту квадрокоптера установлен GPS приёмник. В момент фотографирования, бортовой компьютер записывает координаты положения камеры в пространстве. Эти данные в дальнейшем используются при обработке. Также были выполнены измерения поверхности склада с помощью спутникового приёмника, съёмка насчитывает 252 пикета, которые равномерно расположены по поверхности склада и повторяют характерные изменения рельефа. Данная съёмка выполнена для построения трёхмерной поверхности по данным RTK съёмки и возможности оценить модели полученные фотограмметрическим способом.
6. Нахождение параметров неметрической камеры и определение их влияние на точность построения трёхмерной модели.
6.1 Нахождение параметров неметрической камеры, дисторсия.
Калибровка камер состоит в определении значений элементов внутреннего ориентирования камеры и систематических ошибок оптической системы, вызванных главным образом дисторсией объектива.
Дисторсия – аберрация оптических систем, при которой линейное увеличение изменяется по полю зрения. Световые лучи, проходя через центр линзы, сходятся в точке, расположенной дальше от линзы, чем лучи, которые проходят через ее края [5]. Пример схемы появления дисторсии представлен на рис. 4.
Элементами внутреннего ориентирования являются фокусное расстояние (f) и координаты главной точки снимка(xo, yo).
Систематические ошибки оптической системы определяют отличия реальной физической системы от ее математической модели. Дисторсия объектива влияет на геометрию центрального проектирования, и как следствие не выполняется принцип коллинеарности (нарушается центральная проекция изображения).
Различают два типа дисторсии объектива: радиальную и тангенциальную. Радиальная дисторсия намного превышает тангенсальную, поэтому, как правило, определяют только радиальную дисторсию.
Для современных цифровых камер, главной проблемой является низкое качество изготовления объектива, связанное с большой дисторсией и не центрирование отдельных элементов объектива, что приводит к неперпендикулярности главного оптического луча к плоскости изображения. Поэтому при калибровке таких камер целесообразно определять не только радиальную дисторсию, но и децентрацию оптической системы (нецентрированная или тангенциальная дисторсия объектива).
Существует три метода калибровки камер:
Калибровка с помощью многокалиматорного калибратора
Калибровка с помощью тест объекта.
Самокалибровка.
Самокалибровка это метод калибровки камеры, который позволяет определять параметры калибровки в процессе фототриангуляции, выполняемой по снимкам реальной съемки. Самокалибровка камер, заключающаяся в нахождении матрицы внутренних параметров камеры с использованием нескольких зарегистрированных ею изображений одной и той же сцены. Знание матрицы калибровки необходимо для последующего определения положения камер, то есть внешних параметров камеры.
Проблема состоит в том, что фокусное расстояние камеры известно приблизительно, а параметров дисторсии нет.
В зависимости от принципа, положенного в основу измерения координат точек снимков фотограмметрические системы можно разделить на две большие группы: системы основанные на монокулярных и стереоскопических измерениях координат точек снимков. Системы первой группы предназначены в основном для изучения объектов в отдельных точках маркированных на поверхности объекта или в точках, являющимися четкими контурами. Системы второй группы применяются для построения цифровой модели объекта на основе стереоизмерений (автоматизированных или интерактивных) в любых точках поверхности объекта.
В свою очередь фотограмметрические системы, основанные на монокулярных измерениях координат точек снимков можно также разделить на две группы. Это интерактивные и автоматические.
Интерактивные системы. В этих системах объект снимается, как правило, одной камерой с различных точек фотографирования. В результате получают серию конвергентных (в общем случае) снимков. Измерения координат точек снимков (опорных, связующих и определяемых) выполняют монокулярно в интерактивном режиме, при этом отождествление соответственных точек на снимках выполняется оператором. В результате фототриангуляции по способу связок определяют элементы внешнего ориентирования снимков и координаты всех точек сети. Если требуется выполнить измерение дополнительных точек объекта, то в этом случае их координаты получаются в результате решения прямой многократной фотограмметрической засечки, используя элементы внешнего ориентирования снимков, определенных в результате фототриангуляции.
6.2 Обработка снимков, построение трёхмерной модели.
Для выполнения обработки был выбран программный продукт Agisoft PhotoScan. Agisoft PhotoScan – профессиональный инструмент для фотограмметрического конвейера. Это автономный программный продукт, который выполняет фотограмметрическую обработку цифровых изображений и генерирует трехмерные пространственные данные для использования в ГИС–приложениях, документации по культурному наследию, для производства визуальных эффектов, а также для косвенных измерений объектов различных масштабов.
Программа автоматически определяет следующие параметры калибровки камеры:
fx, fy – фокусное расстояние;
оx, оy – координаты главной точки;
K1, K2, K3, P1, P2 – коэффициенты радиальной деформации (дисторсии).
Работа по созданию модели осуществляется в три этапа :
1. Определение параметров внешнего и внутреннего ориентирования камер. Выполняется загрузка фото снимков и указываются соответствия на снимках, то есть устанавливаются маркеры на места расположения опознавательных знаков с известными координатами. На этой стадии PhotoScan находит общие точки фотографий и по ним определяет все параметры камер: положение, ориентацию, внутреннюю геометрию (фокусное расстояние, параметры дисторсии и т.п.). Результатами этого этапа являются разреженное облако общих точек в 3D пространстве модели и данные о положении и ориентации камер.
В PhotoScan разреженное облако точек не используется на дальнейших стадиях обработки (кроме режима построения модели на основе разреженного облака точек), и служит только для визуальной оценки качества выравнивания фотографий [4], [6].
Данные о положении и ориентации камер используется на дальнейших стадиях обработки.
2. Построение плотного облака точек. На втором этапе PhotoScan выполняет построение плотного облака точек на основании рассчитанных на первом этапе обработки положений камер и используемых фотографий. Перед переходом на следующий этап создания 3D модели или перед экспортом модели, плотное облако точек может быть отредактировано и классифицировано. В данной работе стояла задача редактирования плотного облака точек, так как в ручном режиме необходимо было исключить область с техникой (экскаватор), бункер транспортировки и теплотрассу [6].
3. Построение полигональной модели объекта. На третьем этапе PhotoScan строит трехмерную полигональную модель, описывающую форму объекта, на основании плотного облака точек. Также возможно быстрое построение модели на основании только разреженного облака точек. PhotoScan предлагает два основных алгоритмических метода для построения полигональной модели: Карта высот – для плоских поверхностей (таких как ландшафт или барельеф) и Произвольный – для любых типов поверхностей. На анимированном рисунке 5 представлена трёхмерная модель угольного склада без учёта калибровки камеры и нанесения текстуры по результатам залёта №1.
Все модели действуют для камеры с центральной проекцией. Для описания нелинейных дисторсий применяется модель Брауна. Модель дисторсии описывает трансформацию координат точки в локальной системе координат камеры в координаты в пикселях кадра.
После выполнения калибровки камеры, был получен результат в виде векторов невязок по связующим точкам для камеры Zenmuse X5S по результатам залёта №1 и залёта №2 на рисунке 6.
На рисунке 7 представлена трёхмерная модель склада, построенная после выполнения калибровки камеры по результатам залёта №1.
На трёхмерную модель на рисунке 6 наложена текстура для лучшего восприятия модели.
6.3 Сравнительный анализ поверхностей.
После выполнения обработки данных в программном продукте PhotoScan, имеем возможность выполнить сравнительный анализ полученных данных [7]. Данные помещены в таблицу 1, для наглядности и удобства анализа полученных данных.
Таблица 1. Сводная таблица результатов обработки цифровых снимков в программном продукте PhotoScan.
|
|
Залёт №1, без калибровки |
Залёт №1, с учётом калибровки |
Залёт №2, без калибровки |
Залёт №2, с учётом калибровки |
|
Количество изображений, шт. |
68 |
68 |
99 |
99 |
|
Высота полёта, м. |
104 |
104 |
99.6 |
99.6 |
|
Площадь покрытия, м. кв. |
6.57e+04 |
6.57e+04 |
7.03e+04 |
7.03e+04 |
|
Эффективное перекрытие |
7.9152 |
7.9152 |
9.9289 |
9.9289 |
|
Фокусное расстояние (Fx, Fy) |
4035.8 |
4035.64 |
4012.8 |
3994.83 |
|
4035.8 |
4035.64 |
4017.19 |
3994.83 |
|
|
Координаты главной точки (Сх, Су) |
2294.82 |
2295.05 |
2400.24 |
2354.98 |
|
1769.18 |
1769.34 |
1817.16 |
1731.47 |
|
|
Коэффициенты радиальной деформации (К1, К2, К3, К4, Р1, Р2) |
0.00456 |
0.00451 |
0.00113 |
0.00195 |
|
–0.00499 |
–0.00437 |
0.00375 |
0.00046 |
|
|
0.01639 |
0.01531 |
0.00273 |
0.00324 |
|
|
0 |
0 |
0 |
0 |
|
|
0 |
0 |
0.00177 |
0 |
|
|
0 |
0 |
0.00292 |
0 |
|
|
Погрешность определения маркера |
0.114 м |
0.114 м |
0.126 м |
0.055 м |
|
1.47 пикс |
1.47 пикс |
1.30 пикс |
1.20 пикс |
|
|
Количество точек (разреженное облако), шт. |
25 547 |
25 722 |
31 261 |
31 261 |
|
Количество точек (плотное облако), шт. |
11 414 191 |
11 382 426 |
14 078 509 |
13 376 561 |
|
Количество полигонов (3D модель), шт. |
178 595 |
179 708 |
218 223 |
216 371 |
Из таблицы 1 видно что как в случае калибровки камеры залёта №1 так и залёта №2 параметры дисторсии уменьшаются. Также анализируя данные можем сказать что большое количество полигонов в 3D модели может более точно повторять поверхность склада, чем например съёмка выполненная традиционными методами.
Выводы
Можем сделать вывод что самокалибровка совершает влияние на построение трёхмерной модели. В данный момент продолжается работа над выполнением научно – исследовательской работы. Выполняется подсчёт обьёмов полученных поверхностей. Следующим шагом будет анализ влияния самокалибровки камеры на точность построения 3D модели и формулировка качества применения самокалибровки камеры, а также написание вывода о пригодности данного метода для внедрения его на геодезическом производстве.
Список литературы
1. Лунёв А. А. Обоснование технологии наземной цифровой стереофотограмметрических съемки // Диссертация на соискание ученой степени кандидата технических наук. Киев – 2008. –19 с.
2. Тюфлин Ю. С. Фотограмметрия – вчера , сего дня и завтра // Министерство образования и науки российской федерации. Известия высших учебных заведений Раздел Геодезия и аэрофотосъемка
№2. МИИГАиК, Моска: 2011 – 112с.
3. Шевня М. С. Использование беспилотных летательных аппаратов для получения материалов дистанционного зондирования Земли // Орган геодезических служб стран СНГ. Научно технический журнал Геодезия и картография
№ 1. ФГБУ Центр геодезии, картографии и ИПД
, Моска:2013 – 64с.
4. Гайсин А. Э., Коршунов Р. А., Левитская О. Н., Носков В. В., Погорелов В. В., Скрябин С. В., Фролов Н. В. Ориентирование стереопар фотоснимков на цифровых фотограмметрических станциях по координатам опорных меток // Орган геодезических служб стран СНГ, Научно технический журнал Геодезия и картография
№ 7. ФГБУ Центр геодезии, картографии и ИПД
Моска: 2014 – 64с.
5. Калибровка камер // [Электронный ресурс], Режим доступа: https://studfiles.net/preview/3557133/page:5/, Дата посещения 11.12.2017 г.
6. Руководство пользователя Agisoft PhotoScan Professional Edition версия 1.2, 2016г, 119 с. // [Электронный ресурс], Режим доступа: http://www.agisoft.com/pdf/photoscan–pro_1_2_ru.pdf, Дата посещения 10.12.2017 г.
7. Кадничанский С. А. Обоснование требований к цифровой модели рельефа, используемой в современных технологиях аэрофототопографической съемки // Министерство образования и науки российской федерации, Известия высших учебных заведений Раздел Геодезия и аэрофотосъемка
№2. МИИГАиК, Моска: 2013 – 126 с.