Построение 3d-модели с применением БПЛА: историческая мечеть (Масджид Лама Нилай)

Введение

Сохранение исторического здания является важнейшей проблемой. Разработаны новейшие устройства цифрового сканирования и создания 3D моделей, что позволяет сохранить историческое наследие в виде цифровой фотореалистичной трехмерной модели с соблюдением геометрии здания. В 1930-е годы фотограмметрия – это наука, стоящая за созданием почти каждой топографической карты [1]. Кроме того, фотограмметрия также является подходящим инструментом для получения информации о растительном покрове и искусственных сооружениях [5]. 3D-модель - это объект, который имеет высоту, ширину и глубина, как и любой объект в реальном мире [12]. Теория трехмерного моделирования в настоящее время становится все более популярной точкой интереса (POI) в навигационных приложениях, таких как мобильные приложения для городских путешествий, цифровые путеводители по городам, карты городов и системы автомобильной навигации в личном мобильном устройстве [14]. Существует три основных вида 3D-моделей, в зависимости от типа формы и техники, используемой для визуализации [2]. Кроме того, есть два метода для создания 3D модели наземного сканирования и воздушного сканирования ближнего радиуса, использующего беспилотные летательные аппараты (БПЛА).

Проекты аэрофотосканирования и наземного фотосканирования включают этапы обработки, аналогичные генерации трехмерной модели [8]. Эти шаги можно охарактеризовать как получение изображения, определение внутренней и внешней ориентации параметров изображений, а также автоматическое или ручное извлечение геометрических параметров интересующих этапов. Наземное фотосканирования (CRP) - это фотография, снятая на небольшом расстоянии от поверхности земли (GSD). Фотограмметрия ближнего радиуса также известен как CRP или наземное фотосканирование, при котором расстояние от объекта до камеры менее чем 300 м. Теоретически, нет предела разрешению, которое может быть достигнутым, так как могут использоваться различные камеры и платформы для получения фотографического изображения для обработки CRP. В то же время, аэрофотограмметрия использует информацию о координатах и изображении большого формата, что позволяет успешно восстановить геометрию части земной поверхности в специализированой среде обработки. В этой среде плановые и высотные координаты скомпилированы и записаны непосредственно в файл геопространственных данных. И так, исходя из этого сценария, есть три основных метода, используемых для построения виртуальной 3D модели. Первый – это метод эскиза, простой и не удовлетворяющий никаким технических требованиям. Вторым является процедурный метод, который достаточно сложен для пользователей-любителей, и третий метод - наземное фотосканирование, который не подходит для моделирования больших ландшафтов [12].

Плавная отрендериная модель, показывает реалистичную 3D модель в 2.5D и 2D-изображении, и значительно повышает эффективность производства. Четкость и реалистичность в готовом изображении специально для 3D может быть завершена например в приложении AutoCAD вручную, рендирование используются в основном в 3D графике и CAD [9]. Текстурированая модель отображает реальную поверхность, реалистичную 3D-модель в 3D-изображении и в основном используется в строительстве и в медицине, для детального моделирования органов.

Это исследование предлагает аэрофотосканирование с применением БПЛА в качестве инструмента для обработки и генерации 3D модели исторической мечети. Воздушное фотосканирование использует БПЛА как платформу для измерений, которая работает либо полуавтономно, автономно или дистанционно, и управляется без бортового пилота. БПЛА стал известен как новый измерительный прибор в фотограмметрии [3,10]. Аэрофотосканирование с применением БПЛА не только подтолкнуло к развитию многих новых программ объединяющих обработку аэрофотосъемки и наземного фотосканирования, но также стала недорогой альтернативой традиционной пилотируемой аэрофотограмметрии [6]. Кроме того, БПЛА может также накапливать высококачественные аэрофотоснимки для моделирования городов с использованием фотограмметрических методов [4]. Есть три основные категории БПЛА: стратегические, специальные, и тактические БПЛА [7]. Тактические беспилотники включают в себя мини, микро, ближнего, малого, среднего диапазона выносливости, средней дальности, средней высоты системы, а так же проникновение и длительное нахождение на малой высоте, и высотой полета от нескольких сотен метров до 5 км, и длительностью полета от нескольких минут до 2-3 дней [11]. Стратегические БПЛА включает в себя стратосферные и экзостратосферные системы с большой высотой полета, которые могут летать выше, чем 20000 м и длительностью 2-4 дня. К специальным беспилотным летательным аппаратам относятся боевые и системы приманки [13]. Поэтому применение БПЛА является важным источником фотоматериалов и данных для общей реконструкции трехмерных моделей искусственных сооружений.

Методология

Методологию этого исследования можно разделить на четыре этапа, которые упоминаются как этап I- IV. Этап I - это первоначальное исследование проблемы, известное как предварительное изучение. Этап II - сбор данных для двух процессов: полетное планирование и калибровка камеры. Этап III - обработка данных для генерирование трехмерной модели с использованием пяти шагов, которые выполняют маскирование изображения, выравнивают изображения, строят плотное облако точек, сетку и текстуру изображения. Этап IV - результаты и анализ данных, полученныъ по трехмерной модели.

Объект исследования

Объект исследования был выбран в Негери Сембилан, это штат на юго-западном побережье полуострова Малайзия, к югу от столицы Куала-Лумпур, граничащий с Пахангом на востоке, Малаккой и Джохором на юг, и Селангором на севере. Объектом исследования стала историческая мечеть в Нилае, Негери Сембилан, Малайзия. Масджид Лама Нилай также известный как Масджид Кариа Пекан Нилай, которая был основана и построена местными жителями в 1928 году. Место под размещение мечети было предоставлено правительством штата. Здание мечети было отремонтировано и модернизировано в 1995 году, и в последний раз в 2015 году.

Получение цифровых снимков

Для получения данных для будущей 3D-модели были собраны с использованием квадрокоптера Phantom 3 Professional. Перед началом полевых работ, в первую очередь, была выполнена калибровка камеры. Это гарантировало качество будущей модели. Программное обеспечение, используемое для обработки результатов калибровки камеры было выбрано то же, что и для фотомоделирования. DJI GO - это программа для планирования полетного маршрута, использованная на протяжении всего этого исследования. Снимки были получены с перекрытием от 80 до 90%, и выполнялись с использованием автономно запрограммированной траекторией полета.

Калибровка камеры

Калибровка камеры необходима для определения элементов ориентирования снимков, таких как фокусное расстояние, искажение объектива, принципиальная точка и разрешение объектива. Это необходимо знать для того, чтобы проверить, является ли инструмент пригодным к использованию и определить внутренние параметры камеры. Критерии для передачи результатам калибровки камеры: 1) точка фотообзора должна быть не менее 80%, 2) остаток фотографий должен быть менее 1 пикселя.

На основании Таблицы 1 видно, что внутренняя геометрия камеры БПЛА могут быть определены с использованием соответствующей техники. Процент перекрытия может быть достигнут более 70%. Значения длины для всех наборов данных различаются незначительно. Другие параметры также показывают значение, близкое друг к другу.

Планирование полета

Специализированное автономное программное обеспечение используется для создания путевых точек, которые также представляют собой маршрут предварительного полетного задания. Перекрытие снимков объекта на 80-90% было бы невозможно, поэтому недостаток снимков быть точно заполнен пилотной навигацией. В этом исследовании фотографии объекта необходимо сделать каждые пять секунд окружности, вокруг мечети. В Приложения DJI GO было запрограммированно в три круга с разной высотой фотографирования, чтобы каждая деталь здания была тщательно запечатлена на снимках. Дрон следовал по заданному пути, чтобы захватить все здание Масджид Лама Нилай. Препятствия для выполнения фотографирования, такие как деревья, другие здания, электрические столбы, фонари и антенны были преодолены путем создания нескольких орбитальных траекторий с разными ракурсами вокруг фасада Масджид Лама Нилай. Камера дрона была настроена для съемки в формате JPEG со сверхвысоким разрешением и высокой частотой кадров. Чем выше разрешение, тем лучше результаты. На рисунке 2 показано изображение, полученное с помощью Phantom 3 Pro с разных точек фотографирования.

Рисунок 1. Захват изображений с использованием Phantom 3 Pro с разных ракурсов

Результаты и анализ

Окончательная 3D-модель, созданная с помощью программного обеспечения Agisoft, имеет текстурированный реалистичный вид с любых ракурсов обзора. Результаты построения 3D модели были разделены на две категории, для оценки оценки точности и рендеринга модели.

Оценка точности

Трехмерная модель здания измеренная обычным методом, и переведена в модель с использованием метода масштабирования. Метод масштабирования используется для предварительного определения модели на основе фактических измерений. На основании фактического измерения в качестве исходных, метод масштабирования позволяет программному обеспечению преобразовать сгенерированную трехмерную модель до фактических масштабов модели. Таким образом, точность вывода модели намного точнее и ближе к реальной. В этом случае все расстояния были измерены с использованием линейных измерений. Следовательно, измеренные по модели расстояния сравнивались с фактическими значениями. В результате получена разница между фактическими и измеренными значениями. Так в этой модели определен 31 пункт, как показано на рисунке 3. В таблице 2 отображены результаты сравнения фактических значений и измеренных по 3D-модели. Среднеквадратическая ошибка фактического составила ±0,05 м.

Рисунок 2. Маркеры точек в программном обеспечении Agisoft; а) изображения, б) 3D модель

Таблица 2. Сравнение фактического и измеренного значения

В таблице 2 показано, что 60% невязки равна нулю. Это означает, что 3D-модель имеет те же значение, и соответствует фактическим измерениям. В то время как остальные невязки имеют остаток в сантиметровых и миллиметровых значениях.

Рендеринг 3D-модели

3D-рендеринг - это процесс компьютерной 3D-графики. Это автоматический процесс преобразования каркаса 3D-модели в 2D-изображение с трехмерными фотореалистичными эффектами. Рендеринг дает финальный фотореалистичный вид для 3D модели. В этом исследовании была полностью создана трехмерная модель мечети с текстурой, и после рендеринга итоговая модель более гладкая, чем 3D модель. Рисунок 4 показывает результат после рендеринга и текстурирования 3D-модели.

Рисунок 3. Результаты 3D-модели после рендеринга и текстурирования

Выводы и рекомендации

Это исследование успешно достигло своей первоначальной цели, которая заключается в создать трехмерную модель исторической мечети, используя фотоснимки полученные при помощи БПЛА. Применение для фотосканирования дронов является очень экономичным решением для сбора данных в 3D-моделировани. Обработка выполнялась по снимкам, полученным вокруг мечети. Полученная в результате обработки 3D модель мечети текстурированная, фотореалистичная и отмасштабированная. Таким образом, методология, которая включала маскировку изображения, выравнивание изображения, построение плотного облака точек, сетки изображения и текстура изображения использовалась для создания 3D-модели мечети с применением БПЛА. Это исследование оценило точность 3D-модели для того, чтобы обеспечить трехмерное моделирование находится рядом объектов в будущем. Использован метод масштабирования по фактическим измеренным значениям.

Точность модели определена по исходным данным. В этом исследовании среднеквадратическая ошибка трехмерной модели мечети составила ± 0,05 м. Оценки точности осуществлялась путем сравнения фактических и измеренных значений. Помимо этого,ачество текстуры модели зависит от разрешения камеры. Большая часть шагов, используемых в этом иследовании, выолнялась автоматическими. Следовательно, это фотограмметрический метод имеет преимущества в сравнении с обычного методом для трехмерного моделирования, так, как позволяет экономить время. Целью данного исследования является разработка 3D-модели исторической мечети с использованием БПЛА. 3D модели любых исторических мечетей или других зданий также могут выступать в качестве прототипов трехмерных моделей. Метод, использованный в этом исследовании, также подходит для различных видов приложений, которые включают в себя 3D-модели, такие, как 3D навигация, 3D модель города и 3D в игровой индустрии. На основании этого будущие исследования рекомендуется выполнять с различной точки зрения. Расстояние между БПЛА и объектом также может быть исследован с целью получения результатов высокой точности. В будущем условия полета, такие как высота БПЛА над землей, расстояние до объектов, параметры камеры и разрешение следует учитывать, чтобы повысить точность 3D-модели.

Список использованной литературы

1. Betram, T. T., Bock, T. T., Bulgakov, A. G., &Evgenov, A. A. (2014). Generation the 3D Model Building by Using the Quadcopter. The 31st International Symposium on Automation and Robotics in Construction and Mining.
2. Clark, R. A., Punzo, G., Dobie, G., Macleod, C. N., Summan, R., Pierce, G. (2015). 3D Model Generation using an Airborne Swarm. 41ST Annual Review Of Progress In Quantitative Nondestructive. Boise, Idaho: AIP Conference Proceedings.
3. Eisenbeiss, H., & Zhand, L. (2006). Comparison of DSMs generated from mini UAV imagery and terrestrial laserscanner in a cultural heritage application. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XXXVI part 5.
4. Gruen, A., Huang, X., Qin, R., Du, T., Fang, W., Boavida, J. (2013). Joint Processing of UAV Imagery and Terrestrial Mobile Mapping System Data for Very High Resolution City Modeling. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 175-182.
5. Hassan, A. S., & Nawawi, M. S. (2014). Malay Architectural Heritage on Timber Construction Technique of the Traditional KampungLaut Old Mosque, Malaysia .Asian Social Science.
6. Jain, K., Mandla, R. V., & Singh, S. P. (2014). A New Approach Towards Image Based Virtual 3D City Modelling by Using Close Range Photogrammetry. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences.
7. McGovern, E. (2014). Ubiquitous UAVs. Society of Chartered Surveyors.
8. Morgenthaler, S., Braun, T., Zhao, Z., Staub, T., & Anwander, M. (2012). A Mobile Wireless Mesh Network Using Unmanned Aerial Vehicles . Swiss National Science Foundation.
9. Niethammer, U., Rothmund, S., James, M. R., Traveletti, J., & Joswig, M. (2010). UAV-based remote sensing of landslides. Int. Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences.
10. Perez, M., Aguera, F., & Carvajal, F. (2013). Low Cost Surveying Using an Unmanned Aerial Vehicle. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences.
11. Rinaudo, F., Chiabrando, F., Lingus, A., & Spano, A. (2012). Archaeological site monitoring: UAV photogrammetry could be an answer. Int. Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences.
12. Singh, S. P., Jain, K., &Mandla, R. V. (2013). Virtual 3D Campus Modeling by using Close Range Photogrammetry.American Journal of Civil Engineering and Architecture, 200- 205.
13. Tahar, K.N. Akib, W. W., Ahmad, A.,&Mohd, W. W. (2014). A generic approach for photogrammetric survey using a sixrotor. IOP Conf. Series: Earth and Environmental Science.
14. Urey, O. (2013). Transformation of Minarets in Contemporary Mosque Architecture in Turkey. International Journal of Science Culture and Sport.