Источник: http://mast.mat.ucsb.edu/docs/paper_36.pdf
Переводчик: Петрищева Д.М.
Scatter: Инструмент Программного обеспечения для визуализации, преобразования и разложения звукового сигнала
Aaron McLeran, Curtis Roads, Bob Sturm
Резюме
В статье представлен программный инструмент, который позволяет пользователю визуализировать и преобразовывать разложения звука, полученных путем поиска совпадений.
Алгоритм поиска совпадений основывается на использовании словаря. Поступающий сигнал сравнивается с частями сигнала в словаре. Когда алгоритм закончен, на выходе мы получаем модель, или разложение сигнала, которая называется книгой.
Scatter также обеспечивает работу с сигналами в реальном времени с помощью множества методов чистки разложения. Чистка - процесс, который позволяет пользователю синтезировать любую желательную область разложения.
Введение
Методы для получения разложений сигнала, использующие словарь, начали своё развитие в области обработки сигнала для поиска редких способов представления сигналов. DBMы дают пользователю возможность выбрать базовые функции для словаря. Это позволяет словарям приспосабливаться к специфическим сигналам. Эти базовые функции составляют разложение сигнала или книгу, которая воспроизводит оригинальный звук.
Поскольку атомные представления состоят из потенциально сотен тысяч атомов, становится сложным визуализировать и преобразовывать сигналы извесными способами. Также нужно знать какое специфическое преобразование имело место. В связи с этим мы разработали прототип системы Scatter, который обеспечивает интуитивно-понятный интерфейс, который строит, визуализирует, и преобразовывает атомные разложения с возможностью синтеза и работы в реальном времени.
2. АНАЛИЗ
Scatter осуществляет интерфейс GUI, который позволяет пользователю определите словарь и условия окончания для соответствующего алгоритма поиска.
2.1 Алгоритм поиска
Алгоритм поиска совпадений анализирует сигнал используя итерационный подход градиентного спуска. На первом шаге, есть оригинальный сигнал, анализируемое представление (книга), и остаточный сигнал. Оригинальный сигнал - сигнал, с которым мы пытаемся построить книгу. Остаточный сигнал составлен путем вычитания из книги оригинального сигнала. В каждом шаге поиск совпадений строит представление, выбирая функцию, или атом, из данного словаря таким образом чтобы у функции была наибольшая корреляция с остаточным сигнал. Этот выбранный атом будет добавлен к книге и вычтен из остаточного сигнала. Этот процесс повторяется до тех пор, пока не выполнится некоторое условие.
2.2 Определение Словарей
Вообще говоря, любая произвольная функция может быть включена в словарь. Однако, обычно элемент словаря описан параметрически как синусоида, которая может быть измерена, транспонирована и частотно смодулирована. Словари могут быть сделаны из любого количества атомов любого типа. Skatter в настоящее время позволяет пользователю только определять элементы словаря, основанные на определении частей синусоиды. Элементы словаря, которые могут быть параметрически описаны общим способом, легче преобразовать согласно интерфейсу GUI и стохастическому алгоритму.
2.3 Выполнение поиска совпадений
Хотя выполнение алгоритма поиска совпадений является прямым, Skatter выполняет поиск совпадений при использовании библиотеки (MPTK). MPTK может использоваться как консольное приложение, которое читается в словаре как файл XML и позволяет пользователю определять условие окончания для анализа. MPTK - открытый источник, написанный на C ++. Поэтому стало возможным встроить в Skatter инструменты GUI, чтобы выбрать нужный словарь для данного анализа. Когда MPTK работает и выбирает атомы на каждой итерации, атом показывается в Skatter. Также можно вручную принять решение является подходящим ли данный словарь подходящим для сигнала, который будет анализироваться.
3. ВИЗУАЛИЗАЦИЯ
Scatter визуализирует книги таким образом что содержащие энергию атомы представляются при использовании их Wigner-Ville распределения (WVD). Хотя,если функция очень короткая, воспринятая частота сомнительна.
3.1 Раскраска атомов
Scatter красит атомы основанными на их вкладе энергии в книгу. Если атом влияет на другие атомы, атом покрашен синим. Если другие атомы влияют на него, то он покрашен красным. Нейтральные атомы покрашены черным.
3.2 Визуальная специализация
У MPTK есть возможность работать в стерео, поиск совпадений осуществляется более чем два канала. Однако, Scatter использует единственный канал анализа, чтобы упростить анализ и визуализацию выполнения. Однако, книги могут быть преобразованы пространственно. Это представлено визуально при использовании третьего измерения в показе. Ось X - время, ось Y - частота, и ось Z - пространственное положение.
4. ВЗАИМОДЕЙСТВИЕ
Scatter обеспечивает множество инструментов GUI, которые позволяют пользователю взаимодействуйте с атомными представлениями несколькими способами. Есть два метода отбора атомов в представлении: с помощью мыши мыши и параметрический выбор.
4.1 Выбор Мыши
Scatter обеспечивает комплект инструментов различных механизмов выбора включая выбор частотного диапазона, выбор диапазона времени, и выбор частотно-временного диапазона. Scatter также осуществляет инструмент лассо - можно выбрать произвольную область частоты.
4.2 Параметрический Выбор
Атомное разложение может также быть выбрано с помощью диапазона параметра. Это осуществляется с помощью ползунков. Например, все атомы разложения, которые являются в пределах указанного диапазона продолжительности, может быть выбрано и преобразовано независимо от других атомов.
4.3 Преобразования вручную
Scatter обеспечивает комплект инструментов который включают различные способы преобразования. Например, атомы могут быть перемещены по частоте, или протянуты по продолжительности. Кроме того, атомы могут быть скопированы, вставлены и удалены.
4.4 Стохастические преобразования
Scatter также обеспечивает набор стохастических алгоритмов преобразования, которые изменяют указанные параметры выбранного атома согласно определенной пользователем функции.
5. РАБОТА В РЕАЛЬНОМ ВРЕМЕНИ
У scatterа также есть возможность "выполнять" разложение используя инструмент поиск. Пользоватеь выбирает место в книге, где и происходит синтез в реальном времени. Он может дв гаться назад и вперед на любой скорости. В результате мы получаем сигнал как звуковую палитру. В поиске есть два параметра, которые могут быть настроены пользователем. Эти два параметра - частотный диапазон и угол поиска.По умолчанию главный поиск - вертикальная линия, которая показывает точное время и все частоты. Любые атомы, входящие в частотный диапазон книги, которые пересекают вертикальную линию в то время будут синтезированы в их установленной фазе и длительности. Если частотный диапазон изменен, то будут синтезироваться только атомы, входящие в этот диапазон.Если изменен угол поиска, тогда сначала будут синтезироваться атомы, которые имеют более высокие частоты.
6. ЗАКЛЮЧЕНИЯ
Scatter - инструмент, который позволяет пользователю анализировать, визуализировать, преобразовывать, и выполните звуковое разложения. Он еще находится в стадии разработки и есть еще много проблем, например, принятия стандарта формата файла в книге, работая с произвольными функциями, и сделать больше настроек для алгоритма поиска.