ДонНТУ   Портал магистров

Реферат по теме выпускной работы

Содержание

1. Актуальность темы.Введение в 3D-реконструкцию объектов

3D-реконструкция представляет собой метод, с помощью которого 3D объект создается заново в виртуальном, трехмерном пространстве с помощью компьютера. Это может быть сделано в ряде разному, но обычно включает в себя использование исходных данных, таких как двумерных (2D) фотографий или сканирования реального объекта. После 3D-реконструкции будет создан 3D объект, и им можно манипулировать или использоваться в ряде различных способов, в том числе для медицинских целей и при создании 3D-графики для кино или телевидения. 3D-реконструкция обычно включает в себя обработку цифровых профессиональных изображений и 3D компьютерное моделирование. Существуют два основных подхода к реконструкции объектов, которые могут быть использованы, зависит от исходных данных для реконструкции и основанные на механизме обратной связи. Активная реконструкция включает в себя некоторые формы зависимости между объектом реконструкции и датчиками, например, такими как сканирование объекта или фотографирование его.

Пример преобразования

Рисунок 1 – Пример преобразования

Пассивная 3D-реконструкции, использует датчики, которые получают данные без вмешательства в объект вообще, например, как приборы, которые используються для регистрации света от далеких звезд. Эти исходные данные затем могут быть использованы для создания 3D-модели исходного объекта или объектов. Сканировании тела человека, например, могут быть использованы для создания 3D-модели, что человек в компьютерной системе. Пассивное сканирование с далеких звезд могла бы быть использована для создания 3D-модели далеко галактики или создавать анимированные последовательности показывает движение различных звезд в виртуальном пространстве. В медицине 3D реконструкция используется также весьма широко, особенно при использовании магнитно-резонансной томографии (МРТ). Это позволяет медицинским работникам, увидеть 3D модель мозга без проведения операции. 2D-фотографии могут быть использованы для создания 3D-модели человека, чтобы более точно изобразить то, как он выглядит. В 3D компьютерной графике используеться для кино и телевидения также используеться такой тип 3D реконструкции который позволяет создавать более реалистичные изображения. Сканирование актера, например, используеться для создания высоко реалистичные 3D-модели актера. Эта модель затем используется для создания цифрового каскадера, который может выполнять трюки, которые не могли бы возможны для человека, чтобы сделать. Реконструкция часто используются для создания реалистичных 3D-моделей сред и объектов, таких как автомобили, для создания образов для рекламы, которые являются более совершенными, чем реальность.

2. Методы трехмерной реконструкции в медицине

Задача реконструкции трехмерной поверхности объекта хорошо известна в различных областях, особенно в медицине. Задачи реконструкции можно разделить по уровню взаимодействия на автоматические, полуавтоматические и ручные. В общем случае задача может быть сформулирована как восстановление объекта из произвольного облака точек. Но обычно работа осуществляется с двухмерными контурами, представляющими области интереса на сечениях изображения. В последние годы предложено много методов реконструкции. Прежде всего, стоит упомянуть растровую реконструкцию объектов. Эти методы обсуждены в работах Г. Трис [1], [2]. Статьи описывают различные алгоритмы: для параллельных слоев [2] рассмотрены случаи объектов сложной формы. Основная идея этой группы методов – особый подход для межслойной воксельной интерполяции, зависящей от взаимного расположения слоев, а также формы поперечного сечения. Нужно отметить, что такие воксельные методы обычно медленны и неудобны для использования и визуализации. По этой причине разработано много методов для аппроксимации поверхностей объектов сплайнами и кривыми различных типов. Например, можно восстановить векторную поверхность объекта неравномерными рациональными би-сплайнами [3], которые хорошо аппроксимируют обведенные контуры объекта. Но качество этого подхода сильно зависит от числа контуров. И не- всегда возможно восстановить контуры объекта для всех слоев, особенно в случае ручной обводки.

Пример преобразования

Рисунок 2 – Пример преобразования

В случае объектной реконструкции по нескольким контурам можно использовать один из методов на основе модельных представлений, которые работают лучше на определенных типах объектов. Один из таких подходов использует сплайны с одним параметром для реконструкции щитовидной железы на трехмерных УЗИ [4]. В другой работе [5] рассмотрена более общая проблема – реконструкции формы от произвольных поперечных сечений. Предложенный подход состоит из двух основных шагов: вычисление расположения секущих плоскостей и реконструкция, и аппроксимация объекта из его пересечений с границей ячейки. Возможная проблема ветвления решена использованием триангуляции Делоне. Этот метод довольно сложный, однако он может быть применен в приложениях реконструкции. Например, чтобы восстановить простой медицинский трехмерный объект из непараллельных поперечных срезов Богуш и др. [6] используют двухмерный морфологический морфинг, аффинные преобразования и интерполяцию сплайнами третьего порядка. Также существует большой класс методов для восстановления формы объекта из произвольного облака точек. Этот класс методов используется в различных задачах, таких, как дистанционное зондирование, стереоприложения и т.д. Но эти подходы также могут быть использованы в медицинских приложениях, особенно на входных данных высокого разрешения. Большой подкласс таких методов – алгоритмы симплекс-сеток. В [7] представлены методы симплекс-сеток для восстановления трехмерных ультразвуковых изображений. Алгоритмы используют непараллельные сечения для симплексной адаптации сеток из вручную обведенных границ объекта на нескольких представителях. Подобный метод представлен в [8]. Также интересны следующие способы восстановления облака пикселей – алгоритм катящегося шара [9] и байесовская реконструкция поверхности [10]. Первый из них является своего рода морфологическим восстановлением на векторном пространстве. Второй – использование статистического метода для реконструкции и последующей фильтрации шумов на поверхности.

3. Лазерное сканирование

Первым устройством такого типа являлись любые разновидности радаров и сонаров, начиная от устройств системы ПВО и заканчивая парктроником на автомобиле. Если известна скорость распространения зондирующего импульса в среде, то умножение скорости на половину времени между моментами излучением и приема импульса даст расстояние от излучателя до объекта, который отразил сигнал. Ориентируя по-разному систему излучатель-приемник в пространстве, можно промерять набор расстояний до отражающих объектов в данном направлении. Производство компактных твердотельных лазеров позволило создать системы измерения, которые в качестве зондирующего импульса использовали свет. Тот или иной механический способ ориентирования светового луча позволил таким системам производить последовательные измерения в пространственном секторе (или сканировать его, соответственно устройства измерения стали называться лазерными сканерами). Любой сканер выдает набор трехмерных координат точек отражения лазерного луча относительно точки излучения. Представление в такой локальной системе координат является вполне достаточным для измерений локальных размеров вплоть до здания (стационарный сканер). Если же снабдить такой сканер достаточно точным GPS приемником и системой измерений его угловой ориентации по трем направлениям, то его можно устанавливать на самолет как аэросъемочный сканер или на на автомобиль как мобильный сканер. Рабочей длиной волны сканеров является ближний инфракрасный свет с длиной волны около 1 мкм для авиационных сканеров (меньшее рассеивание в парах атмосферы) и больше 1 мкм для стационарных сканеров (более безопасно для зрения). Результатом работы лазерных сканеров является облако трехмерных точек (point cloud). Достоинства лазерного сканирования: — Прямой метод измерения трехмерных координат, в отличие от стереомтерии. — Возможность измерять сквозь оптически прозрачные покровы. В частности, воздушное лазерное сканирование позволяет получать координаты рельефа под покровом растительности. — Высокая производительность, что особенно важно для мобильных систем. Но есть и недостатки, можно выделить три основных: — Длительность процесса механического сканирования назначенного пространственного сектора (полного пространства для стационарного сканера, полосы или окружности для мобильного). К тому же дополнительные системы развертки могут вносить искажения в путь распространения луча, что требует отдельной обработки. — Отсутствие яркостной информации. Современные сканеры позволяют измерять интенсивность отраженного света, что только в некоторой степени способно заменить яркостное изображение, но полностью не решают проблемы интерпретации точек отражения. — Сочетание лазерного сканера с параллельным цифровым фотографированием позволяет получить яркостную характеристику сцены только косвенным методом путем проецирования фотографии на соответствующие участки облака точек. Особенно трудоемок это процесс для — Большие габариты и энергопотребление, хотя в последнее время производители работают над этим вопросом. Совершенно очевидным подходом к дистанционному трехмерному измерению является использование оптической фокусирующей системы и цифровой матрицы. Если известны параметры оптической системы, то задача восстановления пространственного положения любого пришедшего на матрицу луча является тривиальной. Дело остается за тем, что бы создать вспышку света на корпусе измеряющего аппарата и каким-то образом измерить задержку в приходе отраженного от объекта света на каждый пиксель цифровой матрицы.

4. Восстановление трехмерных объектов с помощью технологии Kinect

Выпущенный на рынок в ноябре 2010 года игровой контроллер Kinect является первым недорогим бытовым устройством для прямого дистанционного трехмерного измерения объектов и сцен. Основным нововедением в Kinect было использование дальнометрической камеры Zcam. Конструкция камеры позволяет отнести ее к так называемым «времяпролетным», что, по сути, означает параллельную реализацию указанных выше принципов. Основными узлами камеры являются излучатель, оптическая система, специальная цифровая матрица и электронная измерительная и вычислительная система. Необходимо отметить, что характерные размеры области измерений (несколько метров) и требуемая точность (несколько сантиметров) выдвигают очень жесткие требования к временной точности работы всех измерительных устройств. Например, для обнаружения объекта, находящегося на расстоянии нескольких метров от камеры, характерное время запаздывания отражения составляет всего 10 нс (при скорости света c = 3 108 м/с). Соответственно, можно посчитать, что заявленная точность определения расстояния требует определять момент прихода отклика с точностью на два порядка больше. Характерные рабочие частоты электронной схемы лежат в области гигагерц. Общие принципы работы камеры. Излучатель создает очень короткую равнонаправленную световую вспышку (по длительности эквивалентную расстоянию в несколько метров, что определяет максимально дальность камеры, например 7.5 метров при длительности вспышки t0 =50 нс). Рабочая длина волны составляет, скорее всего, 1.5 мкм. Отраженный от сцены свет возвращается обратно и фокусируется оптической системой так, что бы падать на цифровую матрицу. Эта матрица имеет специальный тип и состоит из фотодиодов. При попадании света на фотодиод, он начинает вырабатывать ток, который через ключ передается на накопительные элементы (конденсаторы). В простейшем случае можно использовать два конденсатора Первоначально заряжается первый конденсатор S1, через 50 нс после начала световой вспышки ключ переключается на зарядку второго конденсатора S2. Еще через 50 нс ключ переходит в нейтральное положение. Через небольшой интервал весь процесс повторяется снова. Так как частота следования вспышек достаточно большая и всю сцену можно считать неподвижной, то заряды конденсаторов S1 и S2 накапливаются от вспышки к вспышке, тем самым повышая уровень сигнал/шум и увеличивая надежность расчета. Для накопления используются несколько тысяч циклов. В результате, соотношение между зарядами S1 и S2 позволяет определить положение фронта отраженного импульса относительно вспышки. Окончательно рассчитать расстояние D вдоль луча, пришедшего к данному пикселю, можно по формуле D = c t0 S2 / 2(S1 + S2) Согласно заявленным техническим характеристикам, контролер Kinetic поддерживает рабочий диапазон дальностей от 1 до 6 метров и имеет поле зрения примерно 50 угловых градусов в обоих направлениях. Разрешение дальномерной матрицы невелико и составляет, скорее всего, 320 х 240 пикселей. Одновременно со сбором дальностной информацией, обычная цифровая матрица выполняет видеосъемку сцены. Недостатком такой схемы являются паразитная засветка, которая может превышать яркость вспышки и множественные отражения света, что дает фальшивые точки отражений. Таким образом резульатом работы Kinect является также облако точек. Дальнейшему исследованию которых и будет посвящена магистерская работа.

Выводы

Основной целью данной работы является проведение анализа и исследования методов восстановления форм трехмерных объектов по трехмерному облаку точек. По результатам проведенного анализа планируется разработать эффективный метод восстановления форм трехмерных объектов по трехмерному облаку точек используя карту глубины. Для достижения поставленной цели планируеться решить поставленные задачи 1. Исследовать современные методы восстановления трехмерных объектов (проекции, сечения, карты глубины) 2. Исследовать методы анализа трехмерных облаков точек 3. Исследовать современные методы реконструкции объектов и распознования жестов с помощью Microsoft Kinect 4. Разработать метод восстановления трехмерных объектов используя карты глубины 5. Протестировать метод и оценить его эффективность

Список источников

  1. Treece G. Volume Measurement and Surface Visualization in Sequential Freehand 3D Ultrasound / G. Treece // PhD thesis Univer. of Cambridge, Department of Engineering. – 2000. – 183 p.
  2. Treece G. Fast surface and volume estimation from non-parallel cross-sections, for freehand 3-D ultrasound / G. Treece // Medical Image Analysis. – 1999. – № 3(2). – P. 141-173.
  3. Anderson C. Fast Generation of NURBS Surfaces from Polygonal Mesh Models of Human Anatomy / C. Anderson, S. Crawford-Hines // Technical Report, Department of Computer Science, Colorado State University, Fort Collins. – February 9, 2000.
  4. Lukashevich P. Reconstruction of 3D Surfaces by Spline Technique / P. Lukashevich, B. Zalesky // Proceedings of the 8-th International Conference «Pattern Recognition and Information Processing», (Minsk, May 18 – 20, 2005). – P. 351-354.
  5. Boissonnat J. Shape reconstruction from unorganized cross-sections / J. Boissonnat, P. Memari // Proceedings of the Fifth Eurographics Symposium on Geometry Processing, (Barcelona, Spain, July 04 – 06, 2007). – P. 89-98.
  6. Bogush A.L. 3D object reconstruction from non-parallel cross-sections / A.L. Bogush, A.V. Tuzikov, S.A. Sheynin // Proceedings of the 17th International Conference on Pattern Recognition, (Cambridge, UK, 23 – 26 Aug, 2004). – Vol. 3. – P. 542-545.
  7. Snezhko E.V. External Force Generation for Object Segmentation on 3D Ultrasound Images Using Simplex Meshes / E.V. Snezhko, A.V. Tuzikov // Proceedings of the Pattern Recognition and Image Analysis International Conference. – 2006. – Vol. 16. – P. 89-92.
  8. Delingette H. General Object Reconstruction Based on Simplex Meshes / H. Delingette // Int. J. Comput. Vision. – Aug.1999. – № 32 (2). – P. 111-146.
  9. Bernardini F. The Ball-Pivoting Algorithm for Surface Reconstruction / F. Bernardini // IEEE Transactions on Visualization and Computer Graphics. – Oct. 1999. – № 5(4). – P. 349-359.
  10. Huang Q. Bayesian surface reconstruction via iterative scan alignment to an optimized prototype / Q. Huang, B. Adams, M. Wand // Proceedings of the Fifth Eurographics Symposium on Geometry Processing, (Barcelona, Spain, July 04 – 06, 2007). – P. 213-223.
  11. Borgefors G. Distance Transformations in Arbitrary Dimensions / G. Borgefors // Computer Vision, Graphics, and Image Processing. – 1984. – Vol. 27. – P. 321-345.
  12. Svensson S. Image and Vision Computing / S. Svensson, G. Sanniti di Baja. – June 2002. – Vol. 20 (8). – P. 529-540.
  13. Nelson V. Digital logic circuit analysis and design / V. Nelson, H. Nagle, J. Irwin, B. Carroll. – Prentice Hall, 1995. – 842 pp.
  14. Carlo Arcelli. Finding Local Maxima in a Pseudo-Euclidean Distance Transform / Carlo Arcelli and Gabriella Sanniti di Baja // CVGIP. – 1988. – Vol. 43. – P. 361-367.