Автор: С.В. Грищенко, Карабчевский В.В.
Источник: Інформаційні управляючі системи та комп’ютерний моніторинг (ІУС КМ – 2013) : IV Всеукраїнська науково-технічна конференція студентів,аспірантів та молодих вчених, 24-25 квітня 2013 р., м.Донецьк :зб. доп. / Донец. націонал. техн. ун-т; редкол. В.А. Світлична. – Донецьк: ДонНТУ, 2013. – В 2 тт. – Т.1. 765 с.
Грищенко С.В., Карабчевский В.В. Исследование методов интеграции трехмерных объектов в видеоизображения в реальном времени. Выполнен анализ методов предобработки изображений. Выбрана их оптимальная последовательность для улучшения качества выделения маркеров. Выделены основные проблемы рендеринга и пути дальнейших исследований. Ключевые слова: методы обработки изображений, выделение границ объектов, расширенная реальность, встраивание объектов в изображение.
Дополненная реальность (augmented reality) – это технологии, позволяющие дополнять изображение реальных объектов различными объектами компьютерной графики, а также совмещать изображения, полученные от разных источников: видеокамер, тепловизоров, спектрометров и т.д. В отличие от «виртуальной реальности», которая предполагает полностью искусственный синтезированный мир (видеоряд), дополненная реальность предполагает внедрение синтезированных объектов в естественные видеосцены. [1]
Чаще всего, дополненная реальность – это визуальное дополнение реального мира, путем проецирования и введения каких-либо виртуальных, мнимых объектов на настоящее пространство (на экране компьютера, телефона и подобных устройств). Основная технология сегодня – это получать изображение с камеры, обрабатывать его алгоритмами распознания образов, с дальнейшим наложением изображения.
Провести анализ решений задачи построения дополненной реальности в реальном времени для мобильных устройств, отобрать наиболее эффективные из них, определить дальнейшие способы улучшения результатов получаемого изображения.
Задачей является сделать так, чтобы вычислительное устройство могло встраивать трехмерное изображение в видеоизображение в реальном времени. Один из самых простых способов – расположить на видеоизображении маркеры, по которым ВР могло бы произвести нужные вычисления и выдать новое изображение, дополненное требуемым объектом. Для этих целей можно использовать баркоды – двухмерные штрих-коды.
Баркоды будут основываться на шифровании алгоритмом Рида-Соломона (недвоичные циклические коды, позволяющие исправлять ошибки в блоках данных, элементами кодового вектора являются не биты, а группы битов (блоки)).
Видеоизображение будет рассматриваться как набор статических изображений, каждое из которых будет обрабатываться отдельно. Обработка изображения происходит поэтапно:
Рисунок 1 – Поэтапная обработка изображения
Ниже приведены оптимальные методы решения каждого из этапов задачи.
Перевод цветного изображения производится по такому критерию, как светимость, определяемому по формуле:
GS = 0.21 x R + 0.72 x G + 0.07 x B,
Где GS – это результирующий пиксель в оттенках серого, а R,G,B – цветовые составляющие исходного изображения.
Бинаризация может производится либо по методу локальной адаптации либо по методу Оцу. [2] Учитывая особенности выбранных маркеров, а также то, что по производительности оба подхода достаточно близки, в данной случае метод Оцу целесообразнее.
Необходимо определить замкнутые области на белом фоне. Как правило здесь идет комбинация алгоритмов, но как правило применяют алгоритмы “заливки” белых областей и выделяют замкнутые области. Однако изменения порядка этих действий может работать быстрее.
Для выделения контуров изображения оптимальным является алгоритм Собеля [3], далее на полученном изображении производится выделение углов маркера алгоритмом Дугласа-Пекера (алгоритм итеративной ближайшей точки). [4]
Координаты углов маркера могут быть расположены не перпендикулярно. Стороны образуемого ими квадрата являются осями координат. Таким образом можно определить положение «камеры» относительно маркера и, соответственно, встраиваемого объекта, и точку отсчета начала координат. [5]
Преобразование координат выполнимо преобразованием Хафа. [6]
Обоснование выбора данных методов и алгоритмов можно подробнее изучить в статье. [7]
В данной работе было проведено исследование временных затрат каждого из этапов решения задачи дополненной реальности. Тестирование проводилось на следующих устройствах:
Таблица 1 – Стенд тестирования
| Milestone | NexusOne | |
| CPU (MHz) | 550 | 998 |
| RAM (MB) | 256 | 512 |
| Camera (MP) | 5.02 | 4.92 |
Результаты исследования временных затрат на каждом этапе:
Таблица 2 – Результаты тестирования
| Получение изображения | Распознавание маркера | Проецирование объекта | Общее время | |
| Milestone | 249 | 289 | 30 | 684 |
| NexusOne | 40 | 78 | 13 | 162 |
Можно заметить, что наибольшие затраты уходят на непосредственное распознавание маркера. Таким образом необходимо снизить количество операций распознавания до минимума. Для этого необходимо ввести дополнительный этап решения задачи расширенной реальности – отслеживание распознанного маркера. Данная задача потребует значительно меньших временных затрат, так как все начальные этапы, вплоть до проецирования, упрощаются.
Такое упрощение требует дополнительного внимания к этапу проецирования объекта и его совмещения с исходным изображением. На тех же устройствах было проведено исследование временных затрат в зависимости от сложности проецируемой сцены, результаты ниже.
Рисунок 2 – Затраты на проецирование и встраивание объектов
Можно заметить, что несмотря на значительное увеличение реально затрачиваемого на обработку времени, количество кадров в секунду (FPS), показывающее производительность приложения, практически не изменяется.
Проведен анализ методов решения задачи расширенной реальности. Выбраны методы предобработки изображения. Произведена оценка временных затрат по решению различных этапов поставленной задачи. Результаты показали, что затратами на проецирование и встраивание объектов можно пренебречь. Предложены возможные методы улучшения обработки
1. Дополненная реальность: состояние, проблемы и пути решения [Электронный ресурс]. – Электрон. дан.: 2010 – Режим доступа: http://www.tusur.ru/filearchive/reports-magazine/2010-1-2/161-165.pdf – Загл. с экрана. – Яз. рус.
2. Otsu's method [Электронный ресурс]. – Электрон. дан.: 2010 – Режим доступа: http://en.wikipedia.org/wiki/Otsu's method – Загл. с экрана. – Яз. англ.
3. Sobel Edge Detector [Электронный ресурс]. – Электрон. дан.: 2010 – Режим доступа: http://homepages.inf.ed.ac.uk/rbf/HIPR2/sobel.htm – Загл. с экрана. – Яз. англ.
4. Алгоритм Рамера-Дугласа-Пекера [Электронный ресурс]. – Электрон. дан.: 2010 – Режим доступа: http://en.wikipedia.org/wiki/Ramer–Douglas–Peucker algorithm – Загл. с экрана. – Яз. рус.
5. Hirokazu Kato, Mark Billinghurst. Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System
6. http://ru.wikipedia.org/wiki/Преобразование Хафа
7. Распознавание маркера дополненной реальности [Электронный ресурс]. Режим доступа: http://habrahabr.ru/post/135659/ – Загл. с экрана. – Яз. рус.