УДК 004.934

СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ РАСПОЗНАНИЯ ГОЛОСА

Муравьев М.О.
МИРЭА – Российский технологический университет
119454, Россия, г. Москва, проспект Вернадского, 78
E-mail: maxim_mour@mail.ru

Введение

В современном мире наблюдаются устойчивые тенденции, связанные с развитием и интеграцией в различных бытовых и профессиональных сферах жизнедеятельности технологий распознавания голоса. На основе данных инструментов представляется возможность взаимодействия между человеком и цифровым устройством исключительно на основе использования голоса. Использование методов распознавания голоса является основой работы современных голосовых помощников, способных упростить и качественно улучшить жизнь современного человека. Наиболее распространёнными из примеров использования данных технологий являются индивидуальные голосовые помощники, телефонные роботы и ряд иных задач, при выполнении которых происходит экономия временных ресурсов человека [1].

Помимо этого, в зависимости от используемых методов распознавания голоса, активно разрабатываются интеллектуальные системы обучения, способные принимать экзамен и помогать в изучении иностранных языков. При этом использование голосовых помощников получает свое развитие и в решении наиболее сложных задач из профессиональных сфер человеческой жизнедеятельности. Примерами данного применения являются: идентификация личности, судебная экспертиза, помощь людям с ограниченными возможностями и ряд иных задач.

Основные направления распознавания голоса

Широкое распространение голосовых помощников стало возможным благодаря развитию методов распознавания голоса. На сегодняшний день существует два основных направления развития по распознаванию речи – традиционное направление автоматического распознавания речи и направление комплексного (end-to-end) подхода к распознаванию речи [9]. При этом необходимо отметить, что каждый из данных методов имеет уникальные особенности, преимущества и недостатки.

Традиционный метод автоматического распознавания речи представляет собой совокупность компьютерного оборудования и программных технологий, выполняющих прямую идентификацию и обработку человеческого голоса. Принцип работы данной технологии может быть определён в качестве автоматической транскрипции разговорного языка в читаемый текст. При этом распознавание голоса происходит в режиме реального времени на основе заранее заданных звуковых шаблонов. Таким образом, данный метод ASR представляет компьютеру возможность выявить слова из человеческой речи и перевести их в электронный текст [2].

Основное использование данного метода наблюдается в задачах распознавания слов для идентификации речи человека. Данный метод подразумевает разделение ответственности за распознавание различных компонентов языка – последовательное преобразование звука в фонемы, фонем в слова, слов – в связные предложения. Подобная архитектура определяет, с одной стороны, преимущества данного подхода – модульность и возможность повторного использования некоторых компонентов для разных языков, имеющих похожие фонемы, словоформы или синтаксис. В то же время из этого выходят и недостатки подобного подхода – потеря ряда данных на каждом из преобразований.

Особое внимание заслуживает инновационный метод комплексного подхода к распознаванию речи. Данный метод представляет собой актуальное направление из области машинного обучения, в котором обработка голоса производится на основе интеллектуальных алгоритмов. Данный подход отличается от традиционного тем, что фонемы преобразуются напрямую в текст, минуя промежуточные формы представления. При этом один из вариантов процесса распознавания голоса в данном методе, применённого в голосовом помощнике, может выглядеть следующим образом: запись речи человека; преобразование машиной слов из аудио в электронный текст; разбор текста на основные составляющие для понимания контекста беседы и целей человека; после определения контекста алгоритм может возвратиться к этапу анализа аудио для более точного преобразования в текст и повторить цикл; по результатам работы система определяет команду на выполнение [3].

В таблице 1 сведены основные особенности, сферы использования, преимущества и недостатки рассмотренных методов распознавания голоса.

Проведение тестирования существующих программных продуктов

Для экспериментальной оценки данных методов распознавания речи было проведено тестирование на примере двух программных продуктов, использующих указанные методы распознавания речи.

В рамках данной статьи будут рассмотрены следующие программные продукты, которые применяют данные технологии для конвертации аудиодорожки в текстовый формат:

• Vosk-Browser Demo [5];
• RealSpeaker Transcriber [4].

Vosk-Browser Demo использует технологию традиционного распознавания речи и применяет библиотеку Vosk – практическую библиотеку распознавания речи в реальном времени, которая поставляется с набором точных моделей, сценариев, практик и обеспечивает готовый к использованию сервис распознавания речи для различных платформ. Библиотека поставляется со множеством различных словарей на различных языках.

RealSpeaker Transcriber является результатом российского стартапа «РеалСпикер» и представляет приложение по превращению аудио- и видеофайлов в текстовые документы. RealSpeaker Transcriber основан на технологии распознавания речи на базе интеллектуальной системы, оценивающей не только аудиодорожку, но и видео с человеческой мимикой и контекст распознаваемого текста, что позволяет точнее определять частоту встречаемости слов и их взаимодействия между собой, уточняя в том числе уже распознанные части предложения [4]. Это говорит об использовании комплексного подхода к распознаванию речи.

Оба этих приложения используются для конвертации в текст записи голоса на естественных языках и имеют широкий круг использования, то есть не имеют ярко выраженной специфики речи. В рамках данной статьи рассмотрено применение технологии распознавания голоса на примере этих двух приложений. Для тестирования был подготовлен аудиофайл на основании судебного заседания, представленного в открытой сети Интернет – заседание арбитражного суда по делу А12-6556/2020 [6].

По результатам работы приложений были получены следующие результаты (таблица 2).

Примечание. При сравнении использовалась ограниченная версия RealSpeaker Transcriber, что ограничило фрагмент аудиодорожки.

Технологии подлежали оценке по следующим метрикам:

• точность;
• полнота.

Коэффициент полноты – это доля полученных релевантных документов по сравнению с их общим количеством в поисковом массиве. Коэффициент точности – это доля релевантных документов среди документов, выданных в результате [7]. Полнота и точность результатов приложений представлена в таблице 3.

Для RealSpeaker Transcriber были некорректно выделены 23 слова, из которых:

• 1 сложносоставное числовое выражение;
• 2 имени собственных;
• 5 слов сильно зашумлены или сказаны заметно тише на записи.

Также частично неверными (неправильная словоформа, окончание, приставка) оказались 9 слов. В номере дела допущена только одна ошибка в связи с опущением цифры «шесть». Прослеживается работа не только над выделением слов, но и над пунктуацией, что помогает передать смысловую нагрузку. Приложение различает предложения, включая сложные, а также абзацы, заданные явными паузами в диалоге. В то же время орфография не соответствует предметной области (что затрудняет сравнение с оригинальным текстом), а также не различаются дикторы.

Для Vosk-Browser Demo были некорректно выделены 32 слова, среди которых:

• 6 имён собственных;
• 4 сильно зашумлены или сказаны заметно тише на записи.

Также частично неверными (неправильная словоформа, окончание, приставка) оказались 8 слов. При этом пунктуация и выделение предложений не производились.

Таким образом, можно наблюдать, что задачу обработки аудио, насыщенного профессиональной терминологией, оба подхода решают на сравнимом уровне. Но так как основная задача состоит в составлении юридически верного, точного, грамматически и орфографически корректного документа – протокола судебного заседания, возможность выделения речевых оборотов и расстановка пунктуационных знаков является неоспоримым преимуществом. Как было отмечено в исследовании, современный подход позволяет распознавать и выделять пунктуацию.

Заключение

В заключение необходимо отметить, что каждый из рассмотренных методов имеет индивидуальные особенности, а также ряд преимуществ и недостатков своего использования в голосовых помощниках. Было определено, что оба подхода имеют недостатки в распознавании специфической информации, такой как номера, шифры и специфические термины, традиционно записываемые на иных языках. При этом подход на основе понимания естественного языка содержит возможность распознавания пунктуационных знаков по стилю и темпу речи.

Таким образом, можно сделать вывод, что развитие подхода с использованием систем понимания естественного языка позволяет расширить спектр задач, где применяются методы распознавания речи, на задачи, имеющие существенную профессиональную специфику с точки зрения оформления и терминологии, к примеру на задачи протоколирования судебных заседаний. Однако текущие реализации технологии ASR всё ещё обеспечивают недостаточную точность распознавания речи для автоматизации многих чувствительных к специфике процессов, что открывает возможности для реализации более специфичных систем на основе представленных методов, которые смогут заполнить данную нишу.