Вернуться в библиотеку Сагайдак Д. И., ДонНТУ

МЕТОДЫ КАЛИБРОВКИ ЦИФРОВЫХ КАМЕР: ОБЗОР И СРАВНЕНИЕ

С сокращениями

Fabio Remondino, Institute of Geodesy and Photogrammetry, ETH Zurich,Switzerland - fabio@geod.baug.ethz.ch

Clive Fraser, Department of Geomatics, University of Melbourne, Australia - c.fraser@unimelb.edu.au

Переведено Сагайдак Д.И.

1. ВВЕДЕНИЕ

Знание точных калибровочных параметров цифровой камеры является предпосылкой получения точной и достоверной информации из полученного изображения с целью дальнейшего преобразования.

Существуют различные алгоритмы для проведения калибровки.

Как правило, они основываются на использовании перспективной или проективной модели камеры. Популярными являются методы самокалибровки, предложенные в 70 г.г. XX в. для фотограмметрии близких расстояний (close range photogrammetry). На протяжении следующих нескольких десятилетий аналитические методы были основной темой научных работ в данном области. Хотя в наше время популярность разработок в данном направлении заметно снизилась. Метод самокалибровки достиг зрелости в середине 80 г.г. XX в Однако в связи с широким распространением цифровых фотокамер в середине 90 г.г XX интерес к данным методам опять значительно возрос. Особенно наблюдается повышенный интерес к проблемам автоматической калибровки.

Многое можно было бы сказать о имеющихся сложных подходах, которые не могут полностью автоматизировать определение искажений при дисторсии или определения нестабильных параметров внутреннего ориентирования (ЭВО), и т.д. Однако, такие вопросы, не будет рассматриваться в данной статье и авторы сосредоточили свое внимание на методах калибровки камеры, которые позволят практическое применение.

Во многих отношениях трудно сравнивать различные подходы, поскольку в зависимости от объекта и цели измерений может быть достигнута различная точность. Например, при проведении высокоточных измерений объектов посредством фотограмметрической обработки изображений необходима точность 1:20 000, а при установке оборудования - только, например, 5% от расстояния фотографирования. Основное внимание в настоящем документе будет уделено методам калибровки, допускающие возможность использования фотограмметрических измерений даже при низкой точности.

2. МЕТОДЫ И МОДЕЛИ АНАЛИЗА

Условием для моделирования процесса является отклонение основных точек проекции от коллинеарности. Требуемая точность и характер применения измерений диктуют выбор одной из двух основополагающих функциональных моделей:

1. Модель на основе проекции, где предполагается, что ЭВО являются стабильными (по крайней мере для настроенного фокусного расстояния) и все отклонения от коллинеарности, линейные и нелинейные, могут быть учтены. Данной модели правило, требуется пять или несколько точечных соответствий, значения которых аппроксимируются по методу наименьших квадратов;
2. Проективная модель. Характеризуется тем, что основные матрицы модели могут вмещать различные фокусные расстояния, но нуждается минимум в 6 - 8 пунктах соответствий для облегчения линейного решения. Нелинейные искажения, например дисторсия, не легко решается в таких моделях.

Для классификации методов калибровки камеры также могут использоваться дополнительные критерии:

1. Метод, в котором используется четко физическая интерпретация модели. Отличается от моделей, используемых в алгоритмах представления координат в соответствии с реальными картографическими проекциями. (Холл и др. , 1982 год; Вэй и Де, 1994 год);
2. Методы использования 3D массивов вместо точечных. (Триггс, 1998 год; Чжан, 2000);
3. Использование точек базиса. Данный метод дает параметры дисторсии, а не знание ЭВО. (Фрайер и Браун, 1986 год; Каприле и Торре, 1990)

Более конкретная классификация может производиться в соответствии с параметрами оценки и оптимизации приемов:

1. Линейные методы являются достаточно простыми и быстрыми. Однако для определения дисторсии необходимо наличие массива контрольных точек с известными координатами. Как правило модель упрощается, что приводит к низкой точности результатов;
2. Нелинейные методы, например, решение совокупности уравнений коллинеарности, лежит в основе самокалибровки камеры. Вычисление ЭВО и дисторсии решается по методу наименьших квадратов(Браун, 1971 год).
Сочетание линейного и нелинейного методов. Причем линейный метод используется для первоначального приближения, после чего дальнейшее вычисление параметров ориентирования проходит по методу итераций (Фожерас и Тоскани, 1986 год; Цай, 1987; Абдулла и др. , 1992 год; Хейккиля и Силвен, 1997 год). В большинстве случаев такой двухэтапный подход используется для строгой калибровки камеры путем уравнивания методом связок.

4 КАЛИБРОВКА КАМЕР, ИСПОЛЬЗУЕМЫХ В ФОТОГРАММЕТРИИ

4.1 Обзор

Модели камер, используемых в фотограмметрии, обычно являются перспективными проекциями. Нахождение элементов ориентирования и дисторсии происходит уравниванием по методу связок. (Браун, 1971 г). Обзор методов и моделей за последние 50 лет представлен у Кларка и Фрайера (1998 г). Основные математические модели описаны нелинейными уравнениями коллинеарности, для их решения обычно нужны дополнительные параметры. В результате решении получаем ЭВО и дисторсию, в т.ч. и радиальную. (Фрейзер 1997 г; Грюн и Бейер, 2001 г).

Уравнивание по методу связок обеспечивает возможность одновременного определения всех параметров системы вместе с оценкой точности и надежности полученных параметров калибровки. Кроме того, показывает корреляцию между ЭВО, элементами внешнего ориентирования (ЭВНО) и координатами точек.

Самокалибровка может проводится без ограничений с использованием известных контрольных точек. Одним из традиционных препятствий к более широкому применению самокалибровки является тот факт, что аппроскимирование параметров представляется трудным для вычисления. Это, безусловно, не так. Как будет сказано ниже, данный процесс может быть полностью автоматизирован.

4.2 Дополнительные параметры

Дополнительным параметрами являются параметры внутреннего ориентирования, координаты точки фотографирования, три коэффициента радиальной и два - тангенциальной дисторсии. Радиальная дисторсия описывается следующим полиномом

Dr=K1r₃+K2r₅+K3r₇

где r - расстояние до главной точки.

На рис.1 представлена зависимость изменения радиальной и тангенциальной дисторсии от фокусного расстояния. Коэффициент Кі обычно хорошо коррелируемы, наибольшая ошибка заложена в первом коэффициенте при кубе - К1. K2 и K3, как правило, включают в уравнение при использовании фотограмметрических (имеющих небольшую дисторсию) и широкоугольных объективов.

Рис. 1 Зависимость радиальной и тангенциальной дисторсии от фокусного расстояния для камеры Nicon D100

Величина тангенциальной дисторсии как правило, на порядок меньше, чем радиальной. А также изменяется значительно в меньшей степени, в зависимости от фокусного расстояния. (см. рис.1)

Однако зависимость прямопропорциональная, что может быть проблематичным для большого фокусного расстояния. Степень зависимости может быть уменьшена, например, путем использования 3D массивов точек.

Дополнительные параметры могут использоваться в следующих случаях:

1. Когда набор точек используется для всех изображений, полученных данной камерой;
2. В том случае, когда для каждого изображения используется свой набор точек. Этот вариант происходит от того, что вся сеть создана из снимков, полученных с разных камер или где каждое изображение может иметь различный масштаб. (Ремондино и Борлин, 2003 г.).

Можно также осуществлять сочетание калибровки камеры и изображений.

5. СПОСОБЫ ПОВЫШЕНИЯ ТОЧНОСТИ

Важным аспектом качества самокалибровки является общая конфигурация сети, и, особенно, камеры. Различные экспериментальные исследования в короткобазисной фотограмметрии (например Фрейзер, 1996 г; Жаровни, 1996 г; Кларк и др. , 1998 г; Грюн и Байер, 2001 г.; Эль Хаким и др. , 2003 г.) подтвердили, что :

1. Точность сети возрастает с увеличением углов для конвергенции изображения.
2. Точность повышается за счет увеличения числа лучей, выходящих из данной точки объекта. Темпы улучшения пропорциональны квадратному корню из числа изображений.
3. Точность возрастает с увеличением числа измеренных точек на изображении.
4. Самокалибровка является надежной когда геометрия сети благоприятна, т.е. изображения конвергентны и имеется большое число измеренных точек, расположенных на всей поверхности снимка.
5. плоский объект может быть использован для калибровки камеры, если изображения были сделаны с ортогональными углами поворота и, желательно, разной разбивкой расстояний.

6. ЭКСПЕРИМЕНТАЛЬНЫЕ ИСПЫТАНИЯ

6.1 Калибровка камеры с использованием 3D объекта

Калибровка камеры с использованием 3D тестового полигона была проведена на основе обработки 10 изображений, полученных цифровой камерой Leica Digilux 1. Размер полученных изображений составил 1120 х 840 пикселей. Тестовый полигон приведен на рисунке 2. Фокусное расстояние устанавливается на минимум (широкий угол) и сеть включала четыре изображения с углами поворота ± 90 градусов.

Рис. 2 Объемный тестовый полигон и величины радиальной дисторсии

Для калибровки были использованы следующие средства программного обеспечения:

1. DLT (Абдель-Азиз и Карара, 1971 год), осуществляться на IGPETH Цюрих, без исправления дисторсии.
2. Tsai (Цай, 1987 г), учет радиальной дисторсии; www.cgi.cs.cmu.edu/afs/cs.cmu.edu/user/rgw/www/TsaiCode.html.
3. Heikkila (Хейккила и Силвен, 1997 г), нахождение радиальной и тангенциальной дисторсии. www.ee.oulu.fi/~jth/calibr/
4. Photomodeler (www.photomodeler.com), полное вычисление калибровочных параметров без контрольных точек.
5. Australis (www.photometrix.com.au), полное вычисление калибровочных параметров для свободной сети.
6. SGAP, разработанный в IGP-ETH Цюриха, полное вычисление калибровочных параметров для свободной сети.

Сравнение полученных результатов приведено в таблице 1. Здесь приведены истинные и относительные ошибки в координатах измеренных точек.

Таблица 1. Сравнение полученных результатов

6.2 Калибровка камеры с использованием плоскостного объекта

Калибровка камеры с использованием плоскостного объекта была выполнена на специально изготовленном плоскостном полигоне, представляющим собой поверхность, раскрашенную черными и белыми клетками. (см. рис. 3)

Графические данные были взяты с http://www.vision.caltech.edu/bouguetj/calib_doc/. Было использовано 25 изображений с разрешением 640 х 480 пикселей. Угол поворота снимков составил 90 градусов.

Рис. 3 Испытательный полигон и полученные ошибки в координаты при калибровке с использованием плоскостного полигона.

При обработке измерений были использованы следующие алгоритмы: Photomodeler, Australis, SGAP, Tsa, Heikkila, Zhang .

Australis и SGAP показали сильную зависимость между параметрами внешнего и внутреннего ориентирования. Полученные ошибки на точках находятся в пределах между 0,57 и 0,63 микрон не зависят отрасположения точки фотографирования. Тоже самое можно сказать и о тангенциальной дисторсии. Это означает, что сеть (без поворота изображений) может иметь любую точку фотографирования.

6.3 Радиальная дисторсия разных цветовых каналов

Сегодня его очень трудно найти монохромные цифровые камеры. Для более высокой точности фотограмметрических измерений необходима калибровка с учетом цветовых искажений. Одним из таких вопросов является влияние хроматической аберрации, которая обычно делится на продольную (осевую) и боковую (наклонную) аберрации. Фактор, сказывающийся на точности изображения является различие между дисторсией профилей различных цветовых каналов.

Этот аспект был исследован для цифровой камеры SONY DSC F828 (8 миллионов пикселей) с фокусным расстоянием 10mm. Полученные профили, (см. рис. 4), показывают, что радиальная дисторсия для зеленого канала наименьшая, тогда как для синих каналов является наибольшей. (Разница достигает примерно 10 пикселей на краях датчика).

В фотограмметрических измерениях требуется высокая точность, поэтому необходимо учитавыть такие искажения дифференцированного характера. Также принимать во внимание тот факт, что большинство камер используют фильтры Байера. Существует два варианта учета таких искажений. Во-первых, для регистрации единого цветного изображения необходимо внешние фильтры Например, зеленый фильтр модели Байера - в два раза больше зеленых пикселей красного или синего цветов. Во-вторых, самостоятельно корректировать искажения линз для каждого цвета и впоследствии корректировать искажения отдельно в каждом канале до окончательного "зарегистрированного" измеряемого RGB изображения.

Практическая трудность этого подхода заключается в том, что он, как правило, требуется доступ к "сырым" изображениям камеры. А данная функция может и не присутствовать в камерах с низкой стоимостью.

Рисунок 4 - Радиальная дисторсия для различных цветовых каналов

7. ВЫВОДЫ

Данная статья рассматривала различные подходы для калибровки цифровых камер. Использование камер потребительского класса становится все более и более распространенным для целей фотограмметрии.

Самокалибровка перестройки является очень гибким и мощным инструментом для калибровки камеры и вычисления систематических ошибок. Однако в короткобазисных измерениях не всегда возможно применить данный метод калибровки.

По сути, условия при калибровке иногда немного отличаются от реальных условий измерений. Поэтому, вместо самокалибровки, лучше сначала провести калибровку при наличии подходящей сети и определить все искомые параметры.

Сегодня калибровка может быть полностью автоматической процедурой. Опыт показывает, что вариации калибровочных параметров камер потребительского класса, как правило не значительны. Поэтому, данные камеры можно использовать при низких и средних уровнях точности.

ПЕРЕЧЕНЬ ЛИТЕРАТУРЫ

Abdel-Aziz, Y.I. and Karara, H.M., 1971: Direct linear transformation into object space coordinates in close-range photogrammetry. Proc. Symposium on Close-Range Photogrammetry, pp. 1-18

Abraham, S. and Hau, T., 1997: Towards autonomous high-precision calibration of digital cameras. Proceedings of SPIE Videometrics V, El-Hakim (Ed.), Vol. 3174, pp. 82-93

Bosemann, W., Godding, R., and Riechmann, W., 1990: Photogrammetric investigation of CCD cameras. In 'Close Range Photogrammetry Meets Machine Vision', Gruen and Baltsavias (Eds), SPIE Vol. 1395, pp. 119-126

Brown, D.C., 1971: Close-range camera calibration. PE&RS, Vol. 37(8), pp.855-866

Clarke, T.A. and Fryer, J.G., 1998: The development of camera calibration methods and models. The Photogrammetric Record, Vol. 16(91), pp. 51-66

Clarke, T.A., Fryer, J.G. and Wang, X., 1998: The principal point and CCD cameras. The Photogrammetric Record, Vol. 16(92), pp. 293-312

Cronk, S., Fraser, C.S. and Hanley, H.B. (2006) Automatic Calibration of Colour Digital Cameras. Photogammetric Record (in press).

D'Apuzzo, N. and Maas, H.-G., 1999: On the suitability of digital camcorders for virtual reality image data capture. Proceedings of SPIE Videometrics VI, El-Hakim and Gruen (Eds.), Vol. 3461, pp. 259-267

El-Hakim, S., Beraldin, J. and Blais, F., 2003: Critical factors and configurations for practical 3D image-based modeling. 6th Conference on Optical 3D Measurements Techniques, Zurich, Vol.2, pp.159-167

Faugeras, O. and Toscani, G., 1986: The calibration problem for stereo. IEEE CVPR, pp. 15-20

Faugeras, O., Luong, Q.T. and Maybank, S., 1992: Camera self-calibration: Theory and experiments. ECCV'92, Lecture Notes in Computer Science, Vol. 588, Springer-Verlag, pp. 321-334

Fraser, C.S., 1980: Multiple focal setting self-calibration of close-range metric cameras. PE&RS, 46(9), pp. 1161-1171

Fraser, C.S., 1982: On the use of non-metric cameras in analytical non-metric photogrammetry. Int. Archives of Photogrammetry and Remote Sensing, Vol. 24(5), pp. 156-166

Fraser, C. S. and Shortis, M., 1995: Metric exploitation of still video imagery. The Photogrammetric Record, 15(85): 107-122

Fraser, C.S., 1996: Network design. In 'Close-range Photogrammetry and Machine Vision', Atkinson (Ed.), Whittles Publishing, UK, pp.256-282

Fraser, C.S., 1997: Digital camera self-calibration. ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 52, pp. 149-159

Fraser, C.S., 2001: Photogrammetric camera component calibration. A review of analytical techniques. In 'Calibration and Orientation of Cameras in Computer Vision', Gruen and Huang (Eds.), Springer Series in Information Sciences 34, pp. 95-121

Fraser, C.S. and Al-Ajlouni, S., 2006: Zoom-dependent camera calibration in digital close-range photogrammetry. PE&RS, (in press)

Fryer, J. and Brown, D., 1986: Lens distortion for close-range photogrammetry. PE&RS, Vol. 52(1), pp.51-58

Fryer, J., 1996: Camera Calibration. In 'Close-range Photogrammetry and Machine Vision', Atkinson (Ed.), Whittles Publishing, UK, pp.156-179

Ganci, G. & Handley, H., 1998: Automation in videogram-metry. Int. Archives of Photogrammetry and Remote Sensing, 32(5): 53-58

Gruen, A., 1981: Precision and reliability aspects in close-range photogrammetry. Photogrammetric Journal of Finland, Vol. 8(2), pp. 117-132

Gruen A. and Beyer, H.A., 2001: System calibration through self-calibration. In 'Calibration and Orientation of Cameras in Computer Vision' Gruen and Huang (Eds.), Springer Series in Information Sciences 34, pp. 163-194

Hall, E.L., Tio, J.B.K., McPherson, C.A. and Sadjadi, F.A., 1982: Measuring curved surfaces for robot vision. Computing Journal, Vol. 15, pp. 42-54

Hartley, R., 1994: Euclidean reconstruction from uncalibrated views. In 'Applications of Invariance in Computer Vision', Mundy, Zisserman and Forsyth (eds.), Lecture Notes in Computer Science, Vol. 825, Springer-Verlag, pp. 237-256

Heikkila, J. and Silven, O., 1997: A four-step camera calibration procedure with implicit image correction. CVPR97

Heyden, A. and Astrom, K., 1996: Euclidean Reconstruction from Constant Intrinsic Parameters. IEEE CVPR, pp. 339-343

Heyden, A. and K. Astrom, 1997: Euclidean Reconstruction from Image Sequences with Varying and Unknown Focal Length and Principal Point. Proc. IEEE CVPR, pp. 438-443

Jantos, R., Luhmann, T., Peipe, J., Schneider, C.-T., 2002: Photogrammetric Performance Evaluation of the Kodak DCS Pro Back. Int. Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. 33(5), Corfu, Greece

Kunii, Y. and Chikatsu, H., 2001: On the application of 3 million consumer digital camera to digital photogrammetry. Proceedings of SPIE Videometrics VII, Vol. 4309, pp. 278-287

Labe, T. And Forstner, W., 2004: Geometric stability of low-cost digital consumer cameras. Int. Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. 35(5), pp 528-535, Istanbul, Turkey

Peipe, J. and Stephani, M., 2003: Performance evaluation of a 5 megapixel digital metric camera for use in architectural photogrammetry. Int. Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. 34 (5/W12), pp. 259-261

Pollefeys, M., Van Gool, L. and Oosterlinck, A., 1996: The Modulus Constraint: A New Constraint for Self-Calibration. Proc. 13th IEEE CVPR, pp. 349-353

Pollefeys, M., Koch, R. and Van Gool, L., 1997: Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Internal Camera Parameters. IEEE ICCV, pp. 90-95

Remondino, F. and Borlin, N., 2003: Photogrammetric calibration of image sequences acquired with a rotating camera. Int. Archives of Photogrammetry and Remote Sensing, Vol. 34(5/W16)

Salvi, J., Armangue, X. and Batlle, J., 2002: A comparative review of camera calibration methods with accuracy evaluation. Pattern Recognition, Vol. 35, pp. 1617-1635

Shortis, M., and Beyer, H.A., 1997: Calibration stability of the Kodak DCS420 and 460 cameras. Proceedings of SPIE Videometrics V, Vol. 3174

Sturm, P., 1997: Critical Motion Sequences for Monocular Self-Calibration and Uncalibrated Euclidean Reconstruction'. Proc. IEEE CVPR, pp. 1100-1105

Tsai, R.Y., 1987: A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Int. Journal Robotics and Automation, Vol. 3(4), pp. 323-344

Triggs, B., 1997: The Absolute Quadric. Proc. IEEE CVPR, pp. 609-614

Trigg, B., 1998: Autocalibration from planar scenes. ECCV 98, pp. 89-105

Wei, G. and De Ma, S., 1994: Implicit and explicit camera calibration: theory and experiments. IEEE Trans. on PAMI, Vol. 16(5), pp. 469-479

Weng, J., Cohen, P. and Herniou, M., 1992: Camera calibration with distortion models and accuracy evaluation. IEEE Trans. on PAMI, Vol. 14(10), pp. 965-980

Wiley, A.G. and Wong., K.W., 1995: Geometric calibration of zoom lenses for computer vision metrology. PE&RS, Vol. 61(1), pp. 69-74

Zhang, Z., 2000: A flexible new technique for camera calibration. IEEE Trans. on PAMI, Vol. 22(11), pp. 1330-1334

Вернуться в библиотеку Сагайдак Д. И., ДонНТУ