Организация компьютерной системы 3D- псевдо стерео визуализации графического и видео контента
С. А. Зори
Донецкий национальный технический университет
ik.ivt.rec@mail.ru
Аннотация
В статье рассмотрены результаты практических исследований предложенного автором метода получения 3D- стереокадров из 2D- изображений и организации параллельной компьютерной системы 3D- псевдо стерео визуализации графического и видео контента. Эксперименты подтвердили работоспособность предложенных средств и возможность реализации процесса в реальном времени при использовании современных GPU. Отмечена возможность дополнительной оптимизации реализации на CUDA приведенных этапов.
Введение
Организация зарождающихся в последнее время компьютерных систем реалистичной 3D пространственной визуализации предусматривает принципиально новую организацию вычислительного процесса, отличную от «классического» 3D графического конвейера, и применения сложных методов синтеза и визуализации (таких, как объемная трассировка лучей, воксельный рендеринг и пр.). В связи с этим, современные компьютерные системы синтеза изображений и визуализации требуют качественного и эффективного применения и совмещения методов реалистичной трехмерной графики как с традиционным механизмом визуализации, так и пока еще нетрадиционными методами объемной 3D- визуализации. Недостаточный уровень практической реализации таких систем – их сложность, дороговизна, отсутствие стандартизированной аппаратной поддержки, слабая реалистичность создаваемых образов и большое время синтеза (за счет применения в них усложненных трудоемких вычислительных процедур модельной 3D- генерации и 3D- пространственной обработки) обусловливает то, что в настоящее время подавляющее большинство систем объемного 3D- синтеза и визуализации изображений используют способ стереоскопической 3D- визуализации, как дающий «разумный компромисс» между качеством, скоростью и ценой объемной 3D- визуализации [1 - 4]. При этом одним из подклассов таких систем являются системы «псевдо-3D визуализации» или 3D- синтеза «на основе изображений» (image based 3D- synthesis), которые широко применяются для получения псевдо-объемных изображений, когда 3D модель сцены отсутствует, либо не используется для непосредственного получения 3D изображения, а имеется лишь одно или несколько (набор) 2D- изображений.
Актуальными областями практического применения и потенциального использования таких систем являются интерактивные системы виртуальной реальности с 3DOF (360VR Technology), графические системы псевдо- 3D визуализации объектов (научная визуализация, дизайн, архитектура и пр.), синематография и индустрия развлечений, и другие [1 - 4].
Суть процесса генерации псевдо- 3D состоит в получении (воссоздании, «реставрации») комплекса проекционных 2D- изображений сцены (стереопары) в экранном пространстве 3D-монитора из полученных заранее (на предыдущем этапе синтеза 2D- изображений по 3D- модели, как в «классической» компьютерной 3D-графике), либо другим способом (фото или видео съемка) единичных, плоских «видовых» изображений методами их анализа, преобразования и морфинга (view morphing) с дальнейшей 3D- визуализацией на 3D- стерео мониторе [1 - 4].
В работе рассмотрены результаты практических исследований предложенного автором метода получения 3D- стереокадров из 2D- изображения и организации компьютерной системы 3D псевдо стерео визуализации графического и видео контента.
Структура системы 3D псевдо стерео визуализации и основные этапы формирования псевдо 3D- изображений
Структура системы 3D визуализации при организации «псевдо 3D» путем воссоздания комплекса стерео изображений на экране 3D-монитора из готовых 2D- изображений показана на рис. 1. Работа системы фактически не предполагает никаких процедур 3D- расчета (рендеринга) сцены, а базируется на принципах синтеза на основе готовых изображений (image based synthesis).
Работа системы заключается в организации синтеза (воссоздания, «реставрации») 3D- изображения (обычно 3D-стерео) из имеющегося плоского 2D- изображения. Методы, применяемые при организации «псевдо 3D» синтеза не требуют явных геометрических моделей - термин «неявная геометрия» означает, что 3D положения точек не восстанавливаются, а целевое изображение (или некоторый их набор) преобразуется с помощью некоторых «манипуляций» (view morphing) в 3D- стерео изображение. Для этого используются технологии компьютерного зрения - специфические алгоритмы анализа изображений и создания карт глубины изображения, на основе которых происходит трансформация исходного изображения в стереопару [1, 2].
Основные этапы синтеза представлены на рис. 2.
Крайне важным является вопрос аппаратной поддержки генерации псевдо 3D- изображений для организации синтеза в реальном времени.
Исследование предложенных средств организации системы 3D псевдо стерео визуализации
Автором в [1, 2, 4] предложен обобщенный метод получения 3D- стереокадра из 2D изображения для организации 3D- псевдо стерео визуализации графического и видео контента. Разработаны детальные алгоритмы этапов преобразования 2D- изображений в 3D- псевдо стерео на основе современных подходов к процессу и их частичного упрощения для ускорения генерации [1, 2, 4].
Выполнено экспериментальное исследование преобразования 2D- изображений в 3D- псевдо стерео с визуализацией на стандартных устройствах 3D стерео отображения (анаморфный SBS 3D- стерео формат) и 2D мониторе (анаглифный 3D- стерео формат), показавшее работоспособность предложенного метода, алгоритмов и выполненных упрощений [1, 2, 4].
Исследование производились на двух тестовых стендах (табл. 1), на рис. 3 представлены результаты экспериментальных исследований времени полной генерации стандартных 3D- стерео кадров (анаглиф и горизонтальный SBS анаморф) из 2D изображений, заданных с разрешением 320x480, 800х600 и 1920х1080 пикселей соответственно (результаты показаны без учета времени обращения к диску для чтения/записи исходного и выходного файлов).
Как видно из рис. 3, генерация псевдо 3D стерео изображений для кадров высокого разрешения в реальном времени без применения средств параллельной аппаратной поддержки не представляется возможной [1, 4, 5].
Результаты моделирования показывают:
- достигнутое ускорение вычислительных процедур 3D- псевдо- стерео синтеза для анаглифного и анаморфного форматов 3D- стереокадра без выполнения оптимизационных процедур в среднем составляют 11 и 54 раза для тестовых GPU;
- возможна дополнительная оптимизация реализации на CUDA приведенных реализаций этапов (вариация размеров блоков сети CUDA дает среднее дополнительное ускорение до 1,25 раза), что актуализирует проведение правильного выбора конфигурации вычислительной сети и других оптимизационных процедур;
- реализация системы на современных GPU (более 2000 ядер) делает возможным реализацию процесса в реальном времени.
Выводы
В статье рассмотрены результаты практических исследований предложенного автором метода получения 3D- стереокадров из 2D-изображения и организации системы 3D- псевдо стерео визуализации графического и видео контента.
Результаты проведенных экспериментов показывают, что:
1. Предложенный общий метод генерации 3D- псевдо стерео изображений из 2D изображений является дееспособным.
2. Предложенные алгоритмы реализации этапов, базирующиеся на известных рассмотренных методах, показывают практические результаты приемлемого качества, при этом выполненные упрощения делают их менее вычислительно затратными и относительно универсальными.
3. Генерация псевдо 3D- стерео изображений для кадров высокого разрешения в реальном времени без применения средств параллельной аппаратной поддержки не представляется возможной.
4. Применение средств параллельной аппаратной поддержки для предложенного алгоритмического обеспечения псевдо 3D- визуализации показало, что:
- достигнутое ускорение вычислительных процедур 3D- псевдо- стерео синтеза для анаглифного и анаморфного SBS форматов 3D-стереокадра без выполнения оптимизационных процедур в среднем составляют 11 и 54 раза для тестовых GPU;
- возможна дополнительная оптимизация реализации на CUDA приведенных реализаций этапов (вариация размеров блоков сети CUDA показывает среднее дополнительное ускорение до 1,25 раза);
- реализация системы на современных GPU (более 2000 ядер) делает возможным реализацию процесса в реальном времени.
Литература
1. Zori, S. A. Spatial Visualization via Real Time 3D Volumetric Display Technologies / S.A. Zori, E.A. Bashkov, Al Oraiqat. Anas-M - Lambert Academic Publishing (LAP). - 2018-01-25 | book. ISBN: 978-620-2-09398-9
2. Zori, S.A. Specialized Computer Systems for Environment Visualization / S.A. Zori, E.A. Bashkov, Al Oraiqat. Anas-M // Springer 3D Research, 2018. - Vol. 9, No 2. - 13 P. | DOI: 10.1007/s13319-018-0168-9
3. Зори, С.А. Реалистичная пространственная визуализация с использованием технологий объемного отображения: Монография / Е.А. Башков, С.А. Зори. – Донецк: ГВУЗ "ДонНТУ", 2014. – 150 с.
4. Башков, Е. А. Высокопроизводительные средства организации реалистичной объемной визуализации в системах трехмерной компьютерной графики: Монография / Е.А. Башков, С.А. Зори. – Покровск: ГВУЗ "ДонНТУ", 2017. - 215 с.: ил. ISBN 978-966-377-215-8
5. Зори, С. А. Использование средств аппаратной поддержки для повышения производительности систем 3D- пространственной визуализации / С. А. Зори, А. Я. Аноприенко, Р. В. Мальчева, О. А. Авксентьева // Информатика и кибернетика, № 1 (15), 2019. – Донецк: ДонНТУ. – С. 5–12.
6. Зори, С. А. Физически-корректный рендеринг стерео изображений в параллельной вычислительной системе 3D- визуализации / С.А. Зори, С. Н. Судаков // Программная инженерия: методы и технологии разработки информационно вычислительных систем (ПИИВС-2020): сборник научных трудов III Международной научно-практической конференции, Том. 1. 25-26 ноября 2020 г. – Донецк: ГОУВПО «Донецкий национальный технический университет», 2020. – С. 61-65.
7. Борискин, Д.В. Исследование возможности билатеральной фильтрации для решения задач распознавание объектов на изображениях и Depth Image Based Rendering / Д.В.Борискин, С.А. Зори // Материалы VI Международной научно-технической конференции «Современные информационные технологии в образовании и научных исследованиях» (СИТОНИ- 2019). – Донецк: ДонНТУ, 2019. – С. 262–266.
8. Параллельная реализация генерации карты глубины изображения для повышения эффективности DEPTH IMAGE BASED RENDERING / С. В. Коваль, С. А. Зори // Информатика, управляющие системы, математическое и компьютерное моделирование (ИУСМКМ-2020) : Сборник материалов XI Международной научно-технической конференции в рамках VI Международного Научного форума Донецкой Народной Республики. - Донецк: ДОННТУ, 2020. - С. 65-69.
9. A 3D pseudo-stereo visualization with gpgpu support /Anas M. Al-Oraiqat, Sergii A. Zori // Journal of King Abdulaziz University: Computing and Information Technology Sciences, 2020. - Vol. 9., No. 2. – PР. 99-111. (ISSN 1658-6336)