Новый алгоритм конвертирования 2D-изображений в стереоскопические

Реферат

Стереоскопическое изображение предоставляет информацию относительно деталей каждого объекта в изображении в трех измерениях и помогает наблюдать изображение в более реалистичном виде. Стереоскопические изображения также называют 3D изображениями. 3D Цифровые Видеокамеры, 3D Телевизоры, 3D Проекторы и т.п. обычно доступны в электронных магазинах по доступной цене. Люди больше предпочитают 3D изображения, чем 2D изображения. 3D изображение предоставляет больше информации, чем 2D изображение. 3D изображение позволяют людям видеть реальный мир в 2D устройстве.Современная медицина использует сканированное 3D изображение в качестве диагностического инструмента при лечении различных болезней. Есть много ученых, работающих в области 3D изображений и кинофильмов. Более быстрый алгоритм конвертации 2D в 3D разрабатывается с использованием техники слияния изображения. Алгоритм создает два изображения таким образом, что левый глаз смотрит прямо, а правый глаз смотрит на определенную, заданную пользователем, глубину. Эти два изображения, левое и правое, сливаются по среднему значению. Изображение левого ракурса и слитое изображение сохранены в 3D формат изображения MРО и должны рассматриваться на устройстве, поддерживающем 3D.

Ключевые слова:

3D изображение, стереоскопическое изображение, конвертация 2D в 3D изображение, слияние изображений.

Введение

Стереоскопические изображения появились в начале 1860-х. Первым таким изображением стала сцена природы, снятая в Бостоне с использованием side by side. Стереоскопические фотографии были окрашены Jacob Spoel перед 1868 годом. В 1890 году A. Fuhrmann разработал устройство, позволяющее рассматривать набор стерео слайдов [1]. Французский физик Louis Ducos du Hauron изобрел красно-синие 3D очки, которые использовал, чтобы преобразовать 2D изображение в 3D изображение в комиксах, журналах, книгах и газетах в 1891 году. Стерео изображения существуют уже более чем 150 лет. Коммерчески самыми популярными форматами стерео были карточки для просмотра, двояковыпуклые печати, 3D кинофильмы, и View-Master катушки.Эти форматы по-прежнему доступны и используются, поскольку картина на 3D изображении порой лучше понимается, чем на 2D изображении. Система «Стерео Реалист», представленная в 1947 году, помогла разработать миллионы 3D изображений [2]. Frederic Eugene Ives запатентовал свою стерео камеру, имеющую две линзы, разделенные 4.45 сантиметрами в 1900 году. Камера 1915 года Edwin S. Porter и William E. Waddell была продемонстрирована с использованием красно-зеленого анаглифа аудитории в Театре Astor в Нью-Йорке [3]. Показ 3D фильмов должен производиться с помощью любой из техник, таких, как, например, анаглиф, системы поляризации, метод Затмения, технология интерференционного фильтра и авто-стереоскопии.

Рисунок 1 демонстрирует разницу между 2D и 3D виденьем. 2D картина снята с использованием single view линз. Система человеческого зрения – естественная совершенная система 3D с двумя глазами, разделенными фиксированным расстоянии. 3D картины снимаются с использованием двух линз, держащихся отдельно на фиксированном расстоянии. Расстояние между линзами вычисляется по формуле:

    Стерео = 1/30 * расстояние до объекта

Стереоскопия создает иллюзию трехмерной глубины, полученной из двух изображений.

Существует несколько исследовательских работ, построенных на конвертации изображений из 2D в 3D, которые могут быть использованы в фильмах [4] и [5]. 3D система включается в современные телевидзоры, камеры и т.п. В оздоровительной системе 3D сканеры тела помогают хирургам, чтобы определить точный статус различных болезней. 3D аппаратное обеспечение очень дорогое по сравнению с 2D аппаратным обеспечением. Поэтому, необходимо разработать быстрый и точный алгоритм для конвертации 2D изображения в 3D изображение. В этой исследовательской статье предлагается новый простой алгоритм для конвертации 2D изображения в 3D изображение, пользуясь слиянием изображений.

Стереоскопическое отображение

Xiaoyang Mao, lbsiyasu L. Kunii предложили иерархическую модель g-октодерево как продолжение g-квадродерева для 3D черно-белых изображений. Они реализовали программу на C на Vax 11/750. Приложение с использованием кодирования цвета изображений макро-авто рентгенографии мозга продемонстрировало преимущества подхода [6]. Chin-Tung Lin, Chiun-Li Chin, Kan-Wei Fan и Chun-Yeon Lin продемонстрировали конвертацию 2D изображения в 3D и архитектуру системы интегрированной сегментации изображений и оценки глубины. Они проверили много 640*480 RGB цветых изображений. Они сгенерировали левый и правый ракурсы и вывели 3D стерео изображение [7].

H. Murata, X Mori, S. Yamashita, A. Maenaka, S. Okada, K. Oyamada и S. Kishimoto предложили систему превращения всех видов 2D изображений в 3D изображения. В данном методе адаптивно вычислялась глубина каждой отделенной области 2D изображений на основе их контраста, четкости и хроматических данных [8]. Wa James Tam и Liang Zhang сделали краткий обзор основного принципа конвертации 2D в 3D, отметив, что для извлечения глубины используется единственное изображение и изображение глубины, базированное на рендеринге [9].

Chao-Chung Cheng, Chung-Te Li и Liang-Gee Chen продемонстрировали автоматическую систему для превращения 2D видео в 3D видео. Они группировали регионы в блоках, пользуясь крайней информацией и применили двусторонний фильтр, чтобы сгенерировать карту дальностей [10]. Zhebin Zhang, Yizhou Wang, Tingting Jiang и Wen Gao описали подход, который предпологал использование 2.5D карты дальностей, используя сигналы движения и фотометрические сигналы в видеокадрах [11].

Ching-Lung Su, Kang-Ning Pang, Tse-Min Chen, Guo-Syuan Wu, Chia-Ling Chiang, Hang-Rnei Wen, Lung-Sheng Huang, Ya-Hsin Hsueh и Shau-Yin Tseng продемонстрировали алгоритм конвертации 2D в 3D в реальном времени. 2D видео сопровождалось хранящимся изображением глубины, чтобы создать 3D видео [12].

Yeong-kang Lai, Yu-fan Lai и Ying-chang Chen предложили гибридный алгоритм конвертации из 2D в 3D. Они пользовались информацией движения, линейной перспективой и текстурной характеристикой для оценки глубины. Они пользовались двусторонним фильтром для сглаживания карты глубины и удаления шума [13].

Предлагаемый алгоритм

Последние модели телевизоров и цифровых камер поддерживают 3D съемку и отображение. Некоторые модели телевизоров снабжены средствами для преобразования 2D фильма в 3D фильм. Но конвертированный в 3D 2D фильм не обладает высоким качеством. 3D фильмы – это коллекция 2D изображений или кадров. Поэтому, конвертация 2D изображений в 3D изображения может использоваться для превращения 2D фильмов в 3D фильмы. Конвертационный процесс должен быть быстрее и точнее, чтобы техника могла использовать адаптивную конверсионную процедуру. Есть необходимость в более быстром алгоритме конвертации 2D в 3D, чтобы можно было преобразовать 2D видео в 3D видео.

Рассматривая время как главный фактор, был предлжен простой алгоритм конвертации 2D изображений в 3D изображения.

Шаги конвертации 2D изображений в 3D показаны на рисунке 2.

2D изображение и глубина берутся как входные данные пользователя. Образец 2D изображения, используемого в эксперименте, продемонстрирован на рисунке 3.

Ракурсы для правого и левого глаз были получены из входного 2D изображения, пользуясь значением глубины, вводимым пользователем. На рисунке 4 демонстрируются обрезанные изображения для левого и правого ракурсов.

Далее, слияние изображения применяется для правого ракурса и для левого ракурса, пользуясь средним значением. Глубина 3D изображения должна быть указана пользователем. Наконец, изображение для левого и правого ракурсов сохраняются в MPO, PNS или JPS формате. Следующие изображения, показанные на рисунке 5 – это 3D изображения, полученные из 2D изображений с помощью предлагаемого нового алгоритма.

Рисунок показывает изображения с различной глубиной 5, 10, 15 и 20. Пользователь должен исправить глубину согласно требованию изображения и на основе особенностей изображения.

Заключение

Предложенный алгоритм берет 2D изображение и конвертирует его в 3D изображение, используя левый и правый ракурсы. Левый и правый ракурсы изображения создаются с использованием значения глубины, задаваемого пользователем. Предложенный алгоритм использует слияние изображений. Слияние изображений использует среднее значение, чтобы слить левый и правый ракурсы изображения. Предложенный алгоритм простой и быстрый. Новый алгоритм работает с полутоновыми изображениями также как и с цветными изображениями. Качество 3D изображений приемлемо.

Список источников

1. Wikipedia the Free Encyclopedia: Stereoscopy [Электронный ресурс]. – Режим доступа: http://en.wikipedia.org/wiki/Stereoscopy .
2. Getting Started in Stereo Photography. [Электронный ресурс]. – Режим доступа: http://home.comcast.net/~dssweb/intro_to_stereo.htm.
3. Wikipedia the Free Encyclopedia: 3D film. [Электронный ресурс]. – Режим доступа: http://en.wikipedia.org/wiki/3D_film .
4. J. Caviedes, J. Villegas, “Real time 2D to 3D conversion:Technical and visual quality requirements,” IEEE International Conference on Consumer Electronics, pp. 897-898, 2011.
5. T.N. Lu and S.Z. Tan, “An algorithm based on bilinear nterpolation of converting 2D video to 3D video,” IEEE, pp. 4813-4815, 2011.
6. X.Y. Mao and L.K. lbsiyasu, “Hierarchical representations of 2D/3D Gray-Scale Images and their 2D/3D two way conversion,”IEEE, pp. 37-44, 1987.
7. T.L. Chin, C.L. Chin, K.W. Fan, C.Y. Lin, “A novel architecture for converting single 2D image into 3D effect image,” IEEE, pp. 52-55.
8. H. Murata, X. Mori, S. Yamashita, A. Maenaka, S. Okada, K. Oyamada, S. Kishimoto, “A real-time 2-D to 3-D image conversion technique using computed image depth,” SID Symposium Digest of Technical Papers, vol. 29, no. 1, pp. 919- 923, 1998.
9. W.J. Tam, L. Zhang, “3D-TV content generation: 2D-TO-3D Conversion,” ICME, pp.1869-1872, 2006.
10. C.C. Cheng, C.T. Li, L.G. Chen, “A 2D-to-3D conversion system using edge information,” in Proc. Digest of Technical Papers International Conference on Consumer Electronics, 2010, pp. 377-378.
11. Z.B. Zhang, Y.Z. Wang, T.T. Jiang, G. Wen, “Visual pertinent 2D-TO-3D video conversion by multi-cue fusion,” in Proc. 18th IEEE International Conference on Image Processing, 2011, pp. 909-912.
12. C.L. Su, K.N. Pang, T.M. Chen, G.S. Wu, et al., “A real-time Full-HD 2D-to-3D conversion system using multicore technology,” in Proc. fifth FTRA International Conference on Multimedia and Ubiquitous Engineering, IEEE, 2011, pp. 273-276.
13. Y.K. Lai, Y.F. Lai, and Y.C. Chen, “An effective hybrid depth-generation algorithm for 2D-to-3D conversion in 3D displays,” Journal of Display Technology, vol. 9 no. 3, pp. 154-161, March 2013.