Современные технологии дисплеев объёмного изображения

В последние 40 лет интенсивно проводились разработки дисплеев трёхмерного изображения. Объём прилагаемых усилий быстро увеличивался по мере экспоненциального увеличения вычислительных ресурсов современных компьютеров, а также расширения сфер применения 3D%приложений. Анализ динамики жидкостей, анализ конечных элементов, изучение динамики погоды или звездных объектов, – все эти и многие другие приложения нуждаются в визуализации трёхмерных изображений.

Для реализации дисплеев трёхмерного изображения требуются большие вычислительные ресурсы, быстродействующие память, процессоры, скоростные интерфейсы. Для трёхмерной развёртки необходимы также и быстродействующие оптические модуляторы. По причине отсутствия соответствующих электронных и оптических компонентов большая часть проводимых ранних разработок так и остановилась на уровне громоздких и безумно дорогих экспериментальных установок. К настоящему времени созрела аппаратная, технологическая и программная база. Появились быстродействующие микрозеркальные DLP модуляторы Texas Instruments, акустооптические модуляторы, быстродействующие ЖК затворы, лазерные источники красного, зелёного и синего излучения и мощные источники света. Стали доступны быстродействующая память большого объёма, скоростные ПЛИС, сигнальные процессоры, специализированные графические процессоры и трансиверы для скоростных дисплейных интерфейсов. Разработаны новые алгоритмы цифровой обработки видеоизображений. Появилась реальная возможность создавать коммерческие 3D дисплейные системы. Настоящий обзор посвящён рассмотрению так называемых True 3D Displays или Real 3D Displays дисплейных систем. Название настоящий трёхмерный, или объёмный (volumetric) дисплей выбрано для того, чтобы подчеркнуть их отличие от недорогих дисплейных 3D систем, основанных на стереоскопическом эффекте.

Физиология восприятия объемного изображения

Мы видим мир, комбинируя изображения, полученные левым и правым глазом, таким образом получая восприятие глубины наблюдаемыхобъектов из двух точек, разнесённых всего на несколько сантиметров. Наш мозг выполняет все остальные операции. Человек оценивает расстояние до объекта и его габариты по расстоянию между проекциями его изображения на сетчатках правого и левого глаза. Выделение нужного объекта из окружающего пространства обеспечивается посредством фокусирования по глубине зрения. Фокусировка производится за счёт изменения формы хрусталика глаза – аккомодации. Операция сравнения расположения проекций возможна лишь до тех пор, пока дистанция между ними находится в определённых пределах. Расширить диапазон различаемых расстояний удаётся с помощью функции конвергенции (поворота глазных яблок на необ ходимый угол). Аккомодация и конвергенция связаны между собой. Использование стреоскопических эффектов основано на искусственном нарушении согласования аккомодации и конвергенции. Мозг интерпретирует появление объёмности, но это достигается на фоне чувства дискомфорта, напряжения и неестественности у пользователей большинства современных стереоскопических трёхмерных дисплеев. Чтобы воссоздать реальную глубину и объём, нужно проектировать дисплейное устройство, сопоставимое по размерам с отображаемыми объектами.

Дисплейные 3D-технологии, в которых используется стереоэффект, могут быть двух типов. В первом пара стереоскопических изображений для левого и правого глаза синтезируется на экране последовательно во времени. Для разделения изображений зрительной системой используются очки с ЖК-затворами, которые синхронно и попеременно блокируют или пропускают световой поток. Дисплейная система, в которой необходимо применение специальных очков, называется стереоскопической. В автостереоскопических дисплеях очки не нужны, а разделение производится за счёт пространственной селекции. Недостаток – требуется подбирать угол наблюдения.

Одним из примеров дисплейнойсистемы автостереоскопическоготипа является дисплей, состоящийиз двух последовательных ЖК-экранов, один из которых является динамическим фильтром для обеспечения управляемого параллакса.Изображение синтезируется синхронно с изменением характеристики фильтра параллакса. Первые образцы таких дисплеев демонстрировались ещё в 1991 году.

Эти псевдо-3D-дисплеи требуют применения специальных очков или же оптических элементов на фронтальной поверхности ЖК-экрана, для того чтобы создать немного разные перспективы для наблюдения каждым глазом. К сожалению, эти изображения не обеспечивают правильную фокусировку глаз и конвергенцию и, следовательно, способствуют сильному напряжению и утомлению глаз в процессе наблюдения кривого изображения. Вследствие быстрого утомления глаз работать со стереоскопическими изображениями можно не более 30 минут. Автостероскопические ЖК-технологии также имеют определённые ограничения для зон наблюдения. При неправильно выбранном положении глаз наблюдатель увидит мутное отвратительное изображение.

Синтез трёхмерного изображения

Каждой точке объёмного изображения соответствует трёхмерная координата, яркость и цвет. Трёхмерное изображение может быть синтезировано из множества двухмерных изображений – слайсов. Построение трёхмерных изображений в пространстве выполняется методом синтеза и суперпозиции двухмерных изображений в пространственном объёме. Развёртка по глубине может производиться двумя способами. В первом используется электромеханическая развёртка. Двухмерные изображения поочерёдно проецируются на сканирующую по глубине плоскость диффузного экрана. Наблюдатель видит последовательность отражённых от рассеивающей поверхности экрана изображений, которые за счёт интегрирования зрительной системы создают трёхмерный образ объекта. Во втором способе сама модулирующая среда неподвижна, а сканирование производится за счёт изменяемых оптических свойств среды. Изменение свойств среды управляется электронным блоком синхронно с синтезом двухмерных слайсов. Среда развёртки по третьей координате называется объёмным оптическим элементом.

Реальную коммерческую реализацию имеют только два типа устройств True 3D display system – Actuality Systems и DepthCube, которые представляют два направления 3Dтехнологии – с механической развёрткой объёма и электронной твердотельной развёрткой объёма. На выставках периодически демонстрируется также 3D-дисплейная система Felix, разработанная специалистами из Германии. В ней применяется электромеханическая развёртка объёма изображения и лазерные источники.

Конструкция 3D-диплея actuality Systems

Данный тип дисплея является одной из разновидностей проекционных дисплеев. Первый образец дисплея, позволяющего визуализировать действительно объёмное изображение, был продемонстрирован молодой американской фирмой Actuality Systems ещё на симпозиуме SID в 2001 году. Устройство представляет собой сферу диаметром около 500 мм. Размер формируемого внутри купола изображения имеет диаметр 250 мм. Объёмное изображение может наблюдаться в зоне 360 градусов вокруг сферы купола. Для наблюдателей нет необходимости применять специальные очки. Изображение формируется на вращающемся диффузном экране внутри прозрачного купола. Экран закреплён на вращающемся диске-платформе. На рис. 1 показан внешний вид 3D-дисплея Actuality Systems.

Рисунок 1 – Прототип 3D-дисплея Actuality Systems

Частота вращения платформы с экраном – около 24 оборотов в секунду. Синхронно с вращением платформы со стороны неподвижно закреплённого проекционного устройства производится засветка экрана последовательностью кадров объёмного изображения. В качестве модуляторов, формирующих вспышки цветного изображения, используются три микрозеркальных DLP-модулятора Texas Instruments. Объёмный кадр изображения состоит из 198 слайсов, последовательных двухмерных кадров изображения. Каждый слайс (двухмерный фрагмент изображения) имеет формат 768 ? 768 пиксел. Изображение имеет восемь цветовых оттенков. Общее число элементов объёмного изображения – 117 млн. вокселов (voxel – volume pixel). Объём двойного буферного дисплейного ОЗУ (для входных и выходных данных трёх плоскостей основных цветов RGB) составляет 6 Гбит. Модуляторы установлены равномерно вдоль окружности вращающейся платформы. Синхронно с частотой вращения платформы с диффузным экраном производится формирование изображений тремя пушками модуляторов. Следует учесть, что при движении экрана картинки сплющиваются. Задача сигнального процессора – синтезировать проекции изображений в полярных координатах для всех трёх модуляторов с учётом угла поворота экрана относительно неподвижных световых пушек.

Глаз наблюдателя интегрирует импульсные двухмерные проекции объёмного изображения во времени. В итоге формируется объёмная непрерывная цветная панорама.

Источником изображения является графический контроллер персонального компьютера IBM PC. В качестве дисплейного интерфейса используется SCSI. Для обработки изображения в самом дисплее используются 32-разрядные сигнальные процессоры с фиксированной точкой TMS320C6201 Texas Instruments с производительностью 1600 MIPS. Сигнальные процессоры обеспечивают преобразование в реальном масштабе времени декартовых координат исходного изображения, получаемого из компьютера, в полярные координаты, необходимые для управления проекционными модуляторами. Вся остальная логика управления памятью и интерфейса с графическим контроллером реализована в структуре ПЛИС. Потребляемая мощность дисплея 250 Вт, вес около 25 кг. Серийное производство объёмных дисплеев началось в 2003 году. Цена одной дисплейной системы составляет около $40 000.

3D-мониторы Felix

Мониторы Felix относятся к объёмным дисплеям с электромеханической развёрткой по глубине. Представленный 3D-дисплей Felix основан на применении вращающегося полупрозрачного экрана. Плоскость экрана имеет форму архимедовой спирали. При вращении спирали вокруг оси и проецировании слоев изображения на плоскость спирали обеспечивается полная развёртка объёма. Двухмерное изображение проецируется на лопасти спирали с помощью лазерных лучей. Экран вращается со скоростью около 1200 оборотов/мин и становится невидимым для наблюдателя. Лазерные лучи сканируют поверхность спирали в процессе вращения. Наблюдатель видит отражённое от диффузной поверхности изображение. На рис. 2 показан внешний вид дисплея Felix, а на рис. 3 – его устройство. Новая улучшенная 3D-дисплейная система Felix состоит из нескольких отдельных блоков, поэтому может быть легко разобрана для транспортировки. Дисплейная система состоит из следующих основных компонентов:

• полусферического объёма, содержащего спиралевидный проекционный экран;
• проекционных блоков с интегрированными лазерами;
• блока управления проекторами и блока питания и управления электродвигателем;
• блока управления от PC через контроллер 3D-интерфейса.

Экран представляет собой спираль диаметром 30 см, вращающуюся со скоростью 1200 об/мин. В процессе разработки тестировались два типа экранов: один экран в виде двухоборотной спирали, другой – в виде однооборотной спирали. Источники света выполнены на основе маленьких диодных лазеров. Вместо зеркал в новом дисплее применяется более надёжный высокоскоростной блок 2D-акустооптического сканера. Быстродействие сканера обеспечивает развёртку 10 000 воксел с кадровой частотой 20 Гц. Эффективное разрешение получается немного меньше. Программное обеспечение имеет свой графический пользовательский интерфейс, который даёт возможность пользователю выполнять анимацию с функциями поворота, перемещения и увеличения изображения выделенных трёхмерных объектов.

Рисунок 2 – Внешний вид объемного дисплея

Рисунок 3 – Структура портативной 3D-дисплейной системы Felix

Экран представляет собой спираль диаметром 30 см, вращающуюся со скоростью 1200 об/мин. В процессе разработки тестировались два типа экранов: один экран в виде двухоборотной спирали, другой – в виде однооборотной спирали. Источники света выполнены на основе маленьких диодных лазеров. Вместо зеркал в новом дисплее применяется более надёжный высокоскоростной блок 2D-акустооптического сканера. Быстродействие сканера обеспечивает развёртку 10 000 воксел с кадровой частотой 20 Гц. Эффективное разрешение получается немного меньше. Программное обеспечение имеет свой графический пользовательский интерфейс, который даёт возможность пользователю выполнять анимацию с функциями поворота, перемещения и увеличения изображения выделенных трёхмерных объектов.

Технология DepthCube – дисплей реального трехмерного изображения

Технология DepthCube является первой реальной дисплейной технологией трёхмерного изображения. Она обеспечивает высококачественное полноцветное объёмное изображение объектов. Дисплейная система не имеет ограничений положения для наблюдения изображений. Наблюдение трёхмерных изображений на экране DepthCube не приводит к утомлению глаз, как это происходит при наблюдении изображений, синтезированных стреоскопической дисплейной технологией. DepthCube просто создаёт прекрасное трёхмерное изображение.

По своей сути DepthCube-дисплей представляет собой компьютерный проекционный 3D-монитор задней проекции, в котором обычная проекционная плоскость заменена трёхмерным проекционным объёмом. Проекционный объём представляет собой стопку планарных оптических элементов, управляемых электронным блоком. Компьютерная программа синтезирует битовые графические карты для плоскостей, составляющих объёмное изображение. В результате получается изображение, имеющее реальный объём и возможность наблюдения из разных точек вокруг дисплея. Разработка данной технологии является прорывом в компьютерном синтезе трёхмерных объектов, особенно по сравнению с обычными двухмерными дисплеями. Структура дисплейной системы DepthCube показана на рис. 4.

Рисунок 4 – Структура дисплейной системы DepthCube

Монитор DepthCube состоит из двух основных компонентов: высокоскоростного видеопроектора и проекционного объёма или мультипланарного оптического элемента (multiplanar optical element – MOE). Высокоскоростной видеопроектор выполнен на базе DLP (Digital Light Processing) технологии фирмы Texas Instruments. Проектор обеспечивает развёртку со скоростью 1500 кадров в секунду. Он проецирует последовательные полноцветные 3D-слайсы (срезы) изображения в объём мультипланарного оптического элемента, где каждый слайс фиксируется на соответствующей глубине.

В результате послойной развёртки образуется гладкий непрерывный в пространстве ортогональный трёхмерный массив вокселов. Каждому вокселу соответствует 15-разрядный код яркости и цвета.

Дисплейная система является полностью твердотельная системой задней проекции. Она состоит из двух основных компонентов: высокоскоростного видеопроектора и мультипланарного оптического элемента (multi-planar optical element, MOE). Видеопроектор синтезирует последовательные во времени двухмерные изображения. Оптический элемент состоит из стопки разделённых воздушным зазором жидкокристаллических затворов светорассеивающего типа. Скоростной видеопроектор проецирует последовательность слайсов трёхмерного изображения в мультипланарный оптический элемент, где каждый слайс фиксируется на заданной глубине объёма. Для получения непрерывного трёхмерного изображения применяется патентованный алгоритм обработки изображения, который сглаживает границы дискретных изображений, зафиксированных плоскостями дискретных модуляторов.

Система управления состоит из четырёх модулей. На основной плате размещается генератор изображения (image generator – IG), а на трёх остальных – процессоры управления DMD-модуляторами трёх основных цветов изображения. Исходная видеоинформация поступает на плату генератора изображения из высокоскоростного графического контроллера персонального компьютера. Скорость передачи данных 20 Mпиксел/с. Декодер, стоящий на плате генератора изображения, преобразует входной поток видеоинтерфейса во внутренний формат сигналов и направляет их на три платы управления цветовыми пушками. На основной плате может быть установлена дочерняя плата дополнительного интерфейса, например, Gigabit Ethernet или оптоволоконного канала.

Схема реализована на ПЛИС, паре микросхем памяти DDR SDRAM объёмом 16 Mб, сконфигурированных как двухпортовые ОЗУ и память объёмом двойного кадрового буфера для развёртки слайсов мультислойного изображения

Мультислойный оптический элемент (MOE) представляет собой стопку из 20 разделённых воздушным зазором жидкокристаллических затворов. MOE действует как управляемый электроникой твердотельный проекционный объем, который совместно с высокоскоростным DMD-проектором формирует трехмерное изображение. В качестве жидкокристаллического материала в затворах применяется стабилизированный холестерический полимер. Затвор имеет коэффициент пропускания в открытом (прозрачном) состоянии около 88% и 2-% коэффициент пропускания в рассеивающем состоянии (рабочий угол 10°). Скорость переключения ЖК-затвора из прозрачного состояния в рассеивающее 0,39 мс, а из рассеивающего состояния в прозрачное – 0,08 мс.

Применение просветляющих покрытий помогло увеличить коэффициент пропускания в прозрачном состоянии до 96%, что дало суммарный коэффициент пропускания всей системы затворов 44%.

Благодаря своей мультислойной структуре 3D-изображение на DepthCube-дисплее имеет ту же глубину, что и реальные объекты. Поэтому есть все основания использовать для него определение дисплей реального 3D-изображения. В отличие от стереоскопических и автостереоскопических дисплеев, DepthCube поддерживает нормальное соотношение между фокусным глазным расстоянием и конвергенцией, для того чтобы обеспечить очень комфортабельное и реалистичное наблюдение 3D-изображений без утомления глаз. DepthCubeдисплей обеспечивает реальный параллакс при смещениях как по вертикали, так и по горизонтали, позволяя наблюдателю видеть объекты на заднем плане, которые при обычном двухмерном представлении скрыты объектами переднего плана. Наблюдение трёхмерных изображений на экране DepthCube может производиться под любыми углами наблюдения и несколькими наблюдателями одновременно. Каждый из них будет наблюдать свою перспективу изображения. В отличие от многих других дисплеев объёмного изображения, DepthCube использует ортогональную декартовую систему координат без нарушения пропорций изображения. Конструкция дисплея DepthCube не имеет движущихся частей, поэтому никогда не может быть оптически разбалансирована или сломана. К тому же декартовая геометрия вокселов в DepthCube полностью соответствует геометрии, используемой в компьютерной графике. Поэтому построение трёхмерных изображений может производиться в реальном масштабе времени с использованием стандартных графических контроллеров. Программное обеспечение позволяет синтезировать трёхмерные изображения объектов как со сплошной, так и с текстурированной поверхностью, а также подсвечивать объект перемещаемым источником подсветки с синтезом реальных теней объектов. Программа позволяет также строить контурные и каркасные модели объектов.

Если не проводить специальной цифровой обработки, то изображение, образуемое стопкой двухмерных слайсов, будет иметь явную дискретную структуру за счёт конечной толщины двухмерного модулятора и ограниченного числа двухмерных массивов изображения. Для того чтобы скрыть дискретность структуры и сгладить разрывы изображения, применяется патентованный алгоритм, который реализован аппаратно в структуре ПЛИС. За счёт применения сложных вычислений, в основе которых лежат зрительные модели, происходит сглаживание границ между изображениями соседних слайсов, и можно наблюдать гладкое непрерывное трёхмерное изображение. В результате число эффективных слоёв увеличивается в 32 раза и соответственно увеличивается разрешение по глубине изображения.

Первым коммерческим продуктом технологии DepthCube стал монитор DepthCube Z1024 3D. Дисплей был впервые продемонстрирован в четвёртом квартале 2002 года на выставке Super Computer 2002. Серийное производство монитора началось в третьем квартале 2003 года. Фотография монитора DepthCube Z1024 показана на рис. 5.

Рисунок 5 – Фотография 3D-монитора DepthCube Z1024e

Монитор Z1024 обеспечивает воспроизведение 15-разрядного цветного изображения с 3D-разрешением 15,3 млн. физических вокселов (1024 ? 748 ? 20). Фронтальная диагональ экрана соответствует размеру обычного 20-дюймового компьютерного монитора. По занимаемой на столе площади монитор Z1024 аналогичен обычному 21-дюймовому ЭЛТ-монитору. Применение 5-разрядного мультипланарного цифрового сглаживания изображения позволило увеличить число воспринимаемых воксел в 32 раза и тем самым увеличить общее число воксел до 465 млн.

3D-дисплей со светодиодной развёрткой изображения

Выше были рассмотрены дорогие и сложные дисплейные 3D-системы с высоким разрешением. Есть немало приложений, в которых главным фактором является цена. Для реализации недорогой 3D-дисплейной системы могут использоваться светодиоды и электромеханическая развертка объемного пространства.

На рис. 6 показана структура 3Dсветодиодного дисплея с широким углом обзора. Дисплей состоит из поворотной платформы, схемы управления и линеек светодиодов

Рисунок 6 – Конструкция 3D-светодиодного дисплея с электромеханической развёрткой

Вертикальная сканирующая линейка содержит 16 светодиодов. При движении линейки светодиодов по кругу можно наблюдать двухмерное изображение за счёт интегрирования зрительной системой. Если расположить двенадцать светодиодных линеек со сдвигом по глубине, то можно получить дисплейную систему для развёртки трёхмерного изображения. Линейки для этого должны располагаться близко друг к другу, чтобы получать непрерывное изображение в процессе развертки.

Механическая часть состоит из электродвигателя, шестерёнок передачи, вращающегося соединителя, датчика угла поворота и поворотной платформы. Максимальная скорость вращения двигателя 3000 об/мин. Редуктор снижает скорость вращения до 1000 об/мин и соответственно увеличивает момент вращения. Вращающийся соединитель предназначен для передачи напряжения питания, а также синхросигналов на схему управления массивами светодиодов. Синхросигнал нужен для точной синхронизации светодиодной развёртки в соответствии с углом поворота платформы. Датчик угла поворота используется для генерации синхросигналов

В прототипе дисплея использовались светодиоды Toyoda Gosei. Светодиоды имеют высокую яркость и широкий рабочий угол излучения. На рис. 7 показан порядок расположения светодиодных линеек на подвижной платформе. Двенадцать светодиодных линеек светодиодов расположены на платформе в виде двух дуг с интервалом по глубине 7 мм и на угловом расстоянии 8 градусов. Каждая светодиодная линейка состоит из 16 светодиодов, расположенных по вертикали с интервалом 5 мм.

Рисунок 7 – Светодиодная линейка и зоны расположения линеек на платформе

Данные трёхмерного изображения синтезируются программой персонального компьютера. Видеоданные по последовательному интерфейсу передаются в двенадцать микроконтроллеров, которые размещаются на вращающейся платформе. Каждый микроконтроллер управляет одной светодиодной линейкой с каждой стороны платформы. Контроллеры работают синхронно и управляют через свои порты светодиодными массивами. Синхронность работы микроконтроллеров по времени и по углу поворота обеспечивает сигнал датчика угла поворота. Система синтезирует трёхмерное изображение, разделённое на двенадцать плоскостей по глубине. Каждая плоскость имеет разрешение по вертикали 16 элементов, а по горизонтали 48 элементов. На рис. 8 показан пример изображения зонтика, синтезированного развёрткой светодиодного дисплея.

Рисунок 8 – Синтезированное изображение зонтика

Потенциал светодиодных дисплеев не исчерпывается возможностями рассмотренного прототипа. Характеристики систем со светодиодной развёрткой объёмного изображения могут быть значительно улучшены при увеличении частоты развёртки, увеличении разрешения по глубине и вертикали, а также использовании цветных светодиодов. Рассмотренная конструкция имеет более скромные характеристики по сравнению с рассмотренными выше дисплеями и, конечно же, значительно уступает в разрешении и в качестве трёхмерного изображения. Однако цена такой системы на два порядка меньше. Такие системы отображения также найдут свои области эффективного применения, например, они могут быть использованы в качестве рекламных стендов в фойе гостиниц, на вокзалах, в аэропортах или же выставочных залах.

Литература

1. The DepthCube™ Solid-state Multi-planar Volumetric Display. Alan Sullivan Dimensional Media Associates, Norwalk, CT, USA.
2. DepthCube™ Technology. White Paper. LightSpace Technologies.
3. Takada H., Suyama S., Hiruma K., Nakazawa K. A Compact Depth-Fused 3-D LCD NTT Cyber Space Laboratories, Nippon Telegraph and Telephone Corporation, SID'02.
4. Sakamoto Y., Miyamoto K., Fukuda I. A Wide-Field-of-View 3-D Display Optoelectronic Device System R&D Center, Kanazawa Institute of Technology, SID'03.
5. Kakeya H. FLOATS V: Real-Image-Based Autostereoscopic Display with TFT-LC Filter. Inst. Engineering Mechanics and Systems, University of Tsukuba, SID'04.
6. Митилино С. Трёхмерные дисплеи: обзор технологий. Компьютерное обозрение. № 35, 12 – 18 сентября 2001.
7. Василевский Ю.А. Новые автостереоскопические экраны. ТКТ. 2001. № 11
8. http://www.stereoscopy.com/news/arc72000.html
9. http://www.stereovision.net/toxicx/viewers.htm