Снижение LOD на основе скорости в виртуальной реальности: Психофизический подход

Рендеринг в реальном времени в виртуальной реальности глава виртуальной реальности (ВР НБО) требует больших вычислительных ресурсов. Один из подходов к улучшению этой ситуации фокусируется на использовании характеристик и ограничений Зрительной системы человека (HVS). Здесь мы фокусируемся на изменениях чувствительности, которые связаны с самоиндуцируемым движением наблюдателя и приводят к глобальным паттернам движения на сетчатке.

Большинство HMD позволяют отслеживать движения пользователя с 6 степенями свободы (6DOF) и представляют визуальные стимулы, которые будут сопровождать такое движение. Пользователи часто совершают быстрые движения головой при взаимодействии с окружающей средой, которые создают движение на сетчатке. Взаимосвязь между движением и чувствительностью к визуальным последствиям этого движения сложна и зависит от визуальных особенностей дисплея, а также от типов движений и выполняемых задач.

Однако есть свидетельства снижения временной и пространственной чувствительности во время движения [Mur78] и того, что чувствительность HVS изменяется при глобальном движении сетчатки в результате движений глаз / головы наблюдателя [BSG17]. Степень, до которой может быть уменьшена сложность сцены, основанная непосредственно на скорости самоиндуцируемого движения, а также методы восприятия, необходимые для решения этого вопроса, ранее не исследовались.

В этой статье мы предлагаем метод и экспериментальную основу для изучения возможности применения алгоритма уменьшения сложности сцены, зависящего от скорости, в коммерческом VR HMD. Чтобы достичь этого, мы ухудшаем геометрический LOD стимула как прямую функцию самоиндуцированной скорости, независимую от любых других свойств HVS.

Вклад этой статьи:

• Мы тестируем осуществимость облегченного метода, который использует только скорость в качестве показателя для определения степени деградации LOD (т.е. не зависит от других свойств HVS). Таким образом, предварительно сгенерированные уровни LOD, прикрепленные к большинству виртуальных объектов, могут использоваться не только в зависимости от расстояния до плоскости просмотра.
• Используя психофизические методы, мы наглядно демонстрируем, что самоиндуцируемые горизонтальные повороты головы допускают значительное (примерно в четыре раза) ухудшение LOD для модели с хорошим освещением.
• Мы приводим доказательства того, что уровень деградации, переносимый пользователями, еще больше возрастает при более быстрых движениях, предполагая, что эти эффекты зависят от скорости.

В предыдущих исследованиях изучалось, как ограничения HVS могут быть использованы для управления алгоритмами путем обнаружения потенциальных артефактов рендеринга. Йи и др. предложили модель, использующую свойства функции пространственно-временной чувствительности человека с использованием оценки движения [YPG01]. Также были реализованы модели, которые предсказывают качество движения в зависимости от скорости, учитывают артефакты движения [DJMM20], и другие, которые используют переменное затенение для моделирования маскировки артефактов ухудшения качества из-за движения [YZK*19].

Скоростным методам LOD в последние годы уделяется меньше внимания. Редди и др. [Red01] изучали чувствительность к деградации LOD, принимая во внимание эксцентриситет и скорость объекта при простых стимулах. Аналогичные модели с алгоритмами выбора LOD, основанными на кинетическом зрении, были изучены Осимой и др. ранее [OYT96]. Паркхерст и Нибур [PN04] также исследовали влияние деградации LOD на поисковую задачу при наличии вращательного движения. Хотя эти методы изучают влияние скорости объектов, они не исследуют независимый эффект скорости, порождаемый движением эго.

В нашем эксперименте участников попросили отследить точку фиксации, выполняя рыскающие повороты головы, одновременно оценивая качество двух моделей, представленных последовательно с разными интервалами. Один из интервалов всегда содержал эталонную (максимальную модель LOD) на протяжении всего интервала, а другой содержал ту же модель, но с ухудшением LOD (разной степени выраженности от испытания к испытанию), применяемым всякий раз, когда скорость вращения головки превышает фиксированный порог. Задача участника состояла в том, чтобы определить интервал, содержащий деградированную модель. Это называется процедурой "принудительного выбора с двумя интервалами" (2-IFC), которая используется для исследования характеристик восприятия [KP16].

Мы использовали HTC Vive HMD с беспроводным приемником для отображения привязанного контента с ПК (процессор Intel i7-7700K и графический процессор NVIDIA RTX 3080 Ti). HMD и ресивер имеют частоту обновления 90 Гц. Разрешение составляет 1080 x 1200 пикселей, а эксперимент проходил со скоростью 90 кадров в секунду.

Дизайн и стимулы

Чтобы измерить влияние скорости вращения головы на способность участника воспринимать изменения LOD, мы использовали максимальную скорость вращения головы пользователя как независимую переменную с двумя уровнями (Быстрый и Медленный). Мы использовали полностью индивидуальный дизайн, что означает, что все участники участвовали в обоих условиях.

Для каждого из двух скоростных условий участники провели 280 испытаний, для которых степень применяемого снижения LOD (здесь называемого 'агрессивностью') варьировалась в диапазоне из семи заранее определенных значений. Для каждого уровня агрессивности участники повторили одинаковое количество испытаний. Этот подход обычно называют Методом постоянных стимулов [KP16].

Движущийся фиксирующий крест, за которым участников просили следить, был представлен в каждом испытании. Крест занимал примерно 2х2 градуса поля зрения. Точка фиксации перемещалась в виртуальной среде по круговой траектории фиксированного радиуса с центром в голове участника и в диапазоне 100° (т.е. на 50° влево и вправо от прямой). Радиус был задан расстоянием между участником и статуей, которое составляло 5 метров в виртуальном пространстве. Угловая скорость фиксирующего креста (относительно головы) была синусоидальной.

В быстром режиме скорость достигала максимума примерно в 157°/сек, а в медленном режиме - около 52 °/сек. Скорость в медленном состоянии была выбрана так, чтобы она находилась в диапазоне, используемом Джиндалом и др. [JWMM21]. Мы выбрали значительно более высокую скорость быстрого состояния, потому что в других исследованиях сообщается о скоростях вращения до 300 ° / сек [HCZX10].

Основным стимулом была неподвижная модель статуи в окружающей среде. Модель была представлена в стандартной сцене Unity в хорошо освещенной среде (рисунок 1).

Процесс деградации LOD, примененный к модели statue, был скорректированной версией упрощения квадричной метрической сетки. Алгоритм действует для уменьшения количества полигонов сетки и был адаптирован для включения приложения, зависящего от скорости, таким образом, что ухудшение LOD реализуется после превышения минимального порога скорости головы пользователя (50% от максимальной скорости для фиксации). Деградация применялась на одном из семи уровней агрессивности (50%, 25%, 20%, 15%, 12.5%, 10%, 5%) подробно показано на рисунке 1. Они представляют собой процентное соотношение от начального количества полигонов.

Эталонная модель состояла из 12074 полигонов, и в наиболее агрессивных условиях LOD это количество было уменьшено в 20 раз примерно до 600 полигонов. Когда скорость вращения головки достигала 50% от пиковой скорости точки фиксации, качество ухудшалось. Это означало, что качество статуи снижалось примерно на половине количества кадров, когда участник двигал головой.

Следовательно, участники видели стимул в обоих интервалах (уменьшенном и эталонном) периферическим и фовеальным зрением. Поскольку движение было одинаковым в обоих интервалах, оценка качества могла быть произведена на основе любого входного сигнала. Это также свело к минимуму влияние эксцентричности на суждения.

Как видно на рисунке 2, при построении графика горизонтального углового смещения участника во время испытания был согласован синусоидальный тренд скорости точки фиксации, что дало нам уверенность в том, что в ходе испытаний была достигнута заданная скорость вращения головы.

Процедура

Было набрано семнадцать участников; 15 были наивны в отношении цели исследования, тогда как 2 имели опыт использования виртуальной реальности. Исследование было одобрено институциональной этикой и получено письменное согласие. Участникам было предоставлено время на акклиматизацию к виртуальной среде и наблюдение на предмет головокружения или тошноты. Перед началом эксперимента были проведены практические испытания для максимального повышения качества данных. Затем положение участтеля было выровнено по средней сагиттальной плоскости статуи. Два участника были исключены, поскольку их данные оказались случайными по уровням агрессивности и не могли надежно соответствовать психофизической модели.

Каждое испытание состояло из двух интервалов (каждые 2,5 с), в течение которых участник отслеживал точку фиксации, поворачивая голову. Интервалы содержали либо эталон, либо условие уменьшения LOD, и порядок был случайным. Их задачей было определить, относится ли эталон к первому или второму интервалу.

В ходе эксперимента каждый участник предоставил 40 ответов для каждой из 7 возможных пар эталонных моделей и LOD. Кроме того, мы чередовали испытания для условий быстрой и медленной максимальной скорости движения головы. Всего участники дали 280 ответов. Чтобы предотвратить переутомление и тошноту, сбор данных был разделен на два блока в разные дни, и участникам было разрешено делать перерывы, когда им это было необходимо.

Подгонка под психометрическую функцию

Для анализа данных мы использовали психометрический функциональный подход (PF) [KP16] для каждого участника и состояния (рисунок 3). Мы сопоставили значения LOD с долей правильно определенных интервалов (из 40 повторных испытаний). Полученные пропорции должны варьироваться примерно от 50% правильных (chance performance) для небольшого ухудшения LOD до 100% правильных для больших уровней ухудшения и соответствовать возрастающей форме, отражающей накопление большего количества доказательств по мере увеличения серьезности ухудшения LOD.

PF представляет собой модель того, как изменяется восприятие наблюдателя в зависимости от некоторого физического параметра (здесь манипуляция LOD). В качестве модели психометрической функции мы использовали кумулятивный гауссовский метод с двумя свободными параметрами (среднее значение и стандартное отклонение). Соответствия данным, использующим эту модель, были получены с использованием пакета [LL16]. Из этих соответствий (рисунок 3) мы восстановили пороговое значение LOD, которое привело к 75% производительности [KP16]. Этот пороговый параметр отражает значение LOD, при котором участники могут надежно отличить эталонный стимул от ухудшенного. Наши гипотезы подтвердились бы, если бы наблюдаемые пороговые значения были высокими и увеличивались в зависимости от максимальной скорости напора.

На основе подгонки функции мы восстановили статистику PF для каждого участника в каждом условии. Встроенный график на рисунке 3 (слева) иллюстрирует средние пороговые значения, рассчитанные для 15 участников этого эксперимента для медленных и быстрых условий максимальной скорости движения напора.

Обратите внимание, что даже в Медленном состоянии допустимое участниками ухудшение LOD до того, как они смогут достоверно идентифицировать интервал, содержащий ухудшенную модель, составляет 74,6% (примерно 14,8). Это соответствует почти 4-кратному сокращению количества полигонов (обратите внимание, что показатель LOD% имеет тенденцию быть качественным). Важно отметить, что этот порог, по-видимому, выше для условия высокой максимальной скорости напора. Пороговое значение в состоянии Голодания составило 82,2%.

Мы провели парный t-тест с 1 хвостом на этих данных и обнаружили, что пороговое значение, полученное в быстром режиме, было значительно выше, чем в медленном режиме (t = 2,71, p = 0,008), что согласуется с нашей гипотезой о том, что наблюдаемые эффекты зависят от скорости пользователя.

Взятые вместе, эти данные согласуются с нашими гипотезами, предполагающими, что:

• люди заметно нечувствительны к значительному ухудшению геометрических деталей (например, количества полигонов в наших экспериментах) при движениях головы;
• они становятся более нечувствительными по мере увеличения скорости движения головы.

Эти результаты показывают, что существует потенциал для простого подхода к оптимизации, если качество рендеринга будет зависеть от скорости движения головы (и / или глаз).

Наш метод обеспечивает другой подход к переключению между уровнями LOD, который не использует расстояние от камеры (стандартный подход в большинстве коммерческих игровых движков). Мы показали, что даже при очень агрессивном снижении качества участники не могут достоверно воспринять эти изменения.

Очевидно, что существует возможность добиться еще большего ухудшения LOD без последствий для восприятия, если мы рассмотрим дополнительные когнитивные процессы более высокого уровня (например, внимание, принятие решений и т.д.). Эти результаты согласуются с выводами Паркхерста и Нибура [PN04], в которых модель была ухудшена более чем в 3 раза без влияния на выполнение задачи поиска. Это говорит о том, что ухудшение восприятия LOD еще предстоит изучить, и что это имеет место даже тогда, когда участники активно ищут ухудшение.

В соответствующей работе Джиндал и др. [JWMM21] исследовали влияние различных скоростей в виртуальной реальности, но не обнаружили существенного эффекта. Обратите внимание, однако, что они смоделировали два жидкокристаллических экрана в виртуальной реальности, чтобы имитировать свой реальный эксперимент, и не учитывали движения, генерируемые пользователем.

Возможно, что различные причины движения сетчатки могут изменить характер наблюдаемых здесь результатов. Мы исследовали случай, когда движение головы вызывает движение сетчатки, но тот же эффект может возникнуть у неподвижного наблюдателя и движущегося объекта в окружающей среде. Однако Мерфи [Mur78] предположил, что движение сетчатки, независимо от его причины, является основной причиной снижения зрительной работоспособности. Точно так же мы ожидаем, что одни и те же эффекты будут возникать независимо от причины движения, и это ляжет в основу нашей будущей работы.

Это исследование указывает на необходимость более глубокого анализа различных причин движения наблюдателя и, возможно, в более широком диапазоне скоростей. Показатели, полученные в результате таких анализов, могут быть полезны для включения в модели vision, такие как представленные в [MAC22].

Ограничения и будущая работа

Мы использовали метод дискретного изменения LOD, приводящий к иногда заметному мерцанию стимула, которое участники могли использовать для обозначения ухудшения. Мы смягчили это, показав модель только после того, как участник инициировал движение. Обратите внимание, однако, что это должно было повысить производительность и предполагает, что ухудшение LOD, допускаемое пользователями, могло быть еще более серьезным при использовании технологии прогрессивной сетки.

Вторая проблема заключается в том, что мы не отслеживали движения глаз и поэтому не могли быть уверены, что участники в точности следовали инструкциям. Хотя отслеживание глаз становится все более распространенным в коммерческих гарнитурах, в большинстве из них его нет, поэтому в этих случаях полезно использовать такие сигналы, как скорость движения головы. Тем не менее, наблюдаемое движение головы в целом было близко к предписанному движению (см. Рисунок 2). Независимо от этого, даже если участники не могли точно отслеживать цель, наблюдаемые эффекты были значительными и соответствовали нашим гипотезам.

В-третьих, мы исследовали только один тип движения наблюдателя. Очевидно, что мы могли бы обнаружить слегка отличающиеся эффекты для разных направлений движения, различных комбинаций движений глаз, головы и модели или других факторов, таких как эксцентричность, расстояние или тип преследования, которые могут влиять на остроту зрения. Протестировать все это в нашем исследовании было невозможно, но представляет собой интересное направление для будущих исследований.

В этой статье мы исследуем идею рендеринга на основе скорости с использованием психофизического подхода для точного измерения степени, в которой пользователи могут достоверно обнаружить ухудшение качества модели в сцене при наличии движения сетчатки.

Наш метод отличается от предыдущих подходов, потому что:

• ухудшение качества модели напрямую зависит от информации о самоиндуцированной скорости движения (и игнорирует расстояние в сцене или информацию о скоростях объектов в сцене);
• он проверяет чувствительность к ухудшению качества, когда пользователям напрямую дается указание обнаруживать такие изменения;
• он использует хорошо зарекомендовавшие себя психофизические методы для предоставления точных оценок рассматриваемых параметров.

Наши данные показывают, что даже при медленных поворотах головы участники соглашаются с ухудшением до 75% по сравнению с исходной моделью, даже когда их просят обратить на это внимание напрямую, и эти эффекты усиливаются при более высоких скоростях.