СОВЕРШЕНСТВОВАНИЕ АЛГОРИТМА ГЕНЕРАТИВНЫХ СОСТЯЗАТЕЛЬНЫХ СЕТЕЙ ДЛЯ СИНТЕЗА ВИДЕО

1.1. Нестабильность обучения и коллапс.

Базовый алгоритм, основанный на минимизации бинарной кросс-энтропии, подвержен проблеме нестабильности обучения. Процесс часто характеризуется дисбалансом между генератором и дискриминатором, при котором одна из моделей значительно превосходит другую. В частности, типичным сценарием является «коллапс моды», при котором генератор начинает производить ограниченное разнообразие выходных образцов, игнорируя часть пространства исходных данных. Это проявляется в генерации однотипных кадров, лишённых смыслового разнообразия, что существенно ограничивает применимость модели.

Для решения данной проблемы целесообразен переход к более совершенной функции потерь, основанной на метрике Wasserstein distance [2] с градиентным штрафом (WGAN-GP). Данный подход обеспечивает более плавные и информативные градиенты для обучения генератора, что способствует повышению стабильности и предотвращает коллапс моды.

1.2. Отсутствие временной согласованности кадров.

Исходная архитектура была спроектирована для генерации изолированных статических изображений. Обработка видео осуществлялась путём независимой генерации каждого кадра. Такой подход не учитывает временные зависимости между последовательными кадрами, что является главным свойством видео. В результате сгенерированные видео демонстрируют недостаточную плавность переходов, мерцание и артефакты, что негативно сказывается на восприятии и визуальном качестве.

Для учёта временных взаимосвязей необходима модификация архитектур генератора и дискриминатора. Ключевой идеей является использование трёхмерных свёрточных слоёв, которые способны одновременно анализировать пространственные и временные измерения данных.

1.3. Недостаточная адекватность метрик оценки.

Использование метрик PSNR и SSIM [3], хотя и является стандартным для оценки качества изображений, не в полной мере отражает воспринимаемое качество видеопоследовательностей. Эти метрики оценивают попарное сходство кадров, игнорируя такие важные аспекты, как плавность движения и временная согласованность.

Для комплексной оценки качества сгенерированного видео нужно внедрение специализированной метрики Frechet Video Distance (FVD) [4]. FVD оценивает распределение сгенерированных и реальных видеопоследовательностей в пространстве признаков, извлечённых предобученной нейронной сетью, и является более релевантным показателем для задач синтеза видео.

Реализация FVD включает следующие этапы:

- загрузка предобученной I3D модели, которая служит для извлечения значимых признаков из видеопоследовательностей;

- видеопоследовательности приводятся к формату, ожидаемому I3D моделью;

- для каждой видеопоследовательности (реальной и сгенерированной) с помощью I3D модели извлекаются признаки – выходные активации последнего слоя перед классификацией;

- для наборов признаков реальных и сгенерированных последовательностей вычисляются выборочное среднее (μ) и ковариационная матрица (Σ);

- FVD рассчитывается как расстояние Фреше между двумя многомерными гауссовскими распределениями (см. формулу 1), где μ₁,Σ₁ – статистики реальных последовательностей, μ₂,Σ₂ – статистики сгенерированных последовательностей.

Таким образом, для преодоления выявленных ограничений предлагается комплексный подход, включающий модификацию функции потерь, усовершенствование архитектуры нейронных сетей и введение более адекватной метрики оценки. Реализация данных направлений составляет основу дальнейшего исследования.

2.1. Усовершенствованная архитектура системы

Архитектура системы требует кардинальной переработки для работы с видеопоследовательностями, а не с отдельными кадрами. Система состоит из следующих ключевых модулей:

Модуль подготовки данных – осуществляет загрузку видеофайлов, извлечение последовательностей кадров фиксированной длины (например, 16 кадров), их предобработку (изменение размера, нормализация) и организацию в батчи в форме тензора.

Усовершенствованный генератор – принимает на вход не просто случайный шум, а последовательность латентных векторов (или один вектор, который затем тиражируется и трансформируется).

3D-дискриминатор – заменяет собой исходный 2D-дискриминатор. Представляет собой сверточную нейронную сеть, использующую слои Conv3D [5]. Он принимает на вход видеопоследовательность (реальную или сгенерированную) и выносит вердикт о ее реалистичности, анализируя не только содержание каждого кадра, но и плавность переходов между ними. На выходе дискриминатора – не скаляр, а тензор оценок, что используется в функции потерь WGAN-GP.

Модуль обучения с WGAN-GP – реализует усовершенствованный цикл обучения, в котором используется функция потерь на основе Wasserstein distance и добавляется градиентный штраф для обеспечения выполнения условия Липшица. Это ключевой элемент для стабилизации обучения.

В отличие от классических GAN, использующих бинарную кросс-энтропию, WGAN-GP основан на метрике Вассерштейна, которая обеспечивает более плавную и информативную функцию потерь. Метрика Вассерштейна между распределением реальных данных P_r и распределением сгенерированных данных P_g определяется как:

Π(P_r,P_g) – множество всех совместных распределений γ(x,y), одномерные распределения которых равны P_r и P_g. Для обеспечения выполнения условия Липшица в WGAN-GP вводится градиентный штраф. Функция потерь для дискриминатора (критика) принимает вид:

В данной формуле:

- P_r – распределение реальных видеопоследовательностей;

- P_g – распределение сгенерированных видеопоследовательностей;

- P_x̂ – равномерное распределение вдоль прямых линий между точками из P_r и P_g;

- λ – коэффициент градиентного штрафа (обычно λ=10).

WGAN-GP позволяет сократить время сходимости модели по сравнению с классическим GAN и повысить стабильность обучения, что особенно важно для сложных задач синтеза видеопоследовательностей с временными зависимостями.

Модуль оценки качества – вычисляет метрики PSNR и SSIM для усредненного кадра, а также метрику FVD для всей сгенерированной последовательности в сравнении с тестовой выборкой.

Общая схема системы представлена на Рисунке 1.

Для оценки эффективности предложенных усовершенствований был проведен сравнительный эксперимент, в котором базовый алгоритм GAN и улучшенная версия были обучены на идентичном наборе данных. Результаты сравнительного анализа представлены в Таблице 1.

Таблица 1. Сравнительные результаты базового и улучшенного алгоритмов

Метрика	Базовый алгоритм	Улучшенный алгоритм	Изменение, %
PSNR	18.57	20.45	+10.1%
SSIM	0.5620	0.6345	+12.9%
FVD	–	287.3	–

Как показывают результаты, улучшенный алгоритм продемонстрировал значительное повышение качества генерации по всем метрикам. PSNR увеличился на 10.1%, что свидетельствует о снижении уровня шума и улучшении четкости сгенерированных изображений. SSIM возрос на 12.9%, что указывает на лучшее сохранение структурной информации и текстуры в сгенерированных кадрах. FVD составил 287.3, что указывает на хорошее соответствие распределения сгенерированных видеопоследовательностей реальным данным.