Назад в библиотеку

Исследование способов синхронизации текстовой и аудио информации для мобильных приложений

Автор: Мишустин В. А., Иваница С. В.
Источник: Информатика и кибернетика Донецк, ДонНТУ – 2021 – № 3(25) – С.32–35.

Аннотация

Мишустин В. А., Иваница С. В. Исследование автоколебаний при моделировании гармонического осциллятора с использованием комплексов моделирования. Рассмотрены особенности мобильных приложений для чтения электронных книг. Отмечаются схожесть и различие таких программ, определен факт отсутствия программного обеспечения на рынке мобильных приложений, способных предоставлять пользователю синхронное прочтение/прослушивание электронной книги. Предложены способы синхронизации текстовой и аудио информации для мобильных приложений. Проведено исследование процентной синхронизации, заключающейся в нахождении процентного отношения текущей позиции к тестируемым в текстовом и аудиофайлах.

Введение

В настоящее время более 60% информации, представленной в Вебе, является текстовой. Еще до глобального перехода к информационным технологиям (до 60-х гг. XX в.), книгоиздание являлось единственным источником текстовой информации. В ходе развития компьютерных технологий появились новые электронные форматы, которые стали дополнять печатные издания книг. Так, печатное издание можно дополнить электронной книгой, или аудиокнигой. Благодаря новым форматам, информацию можно воспринимать не только посредством зрения, но еще и посредством слуха.

По оценкам экспертов, ежегодно количество пользователей электронных книг увеличивается на 80% [1]. Наряду с этим большую популярность приобрели аудиокниги. Только за 2018 год, количество проданных экземпляров аудиокниг увеличилось на 27,3% [2].

К преимуществам электронных книг можно отнести их меньшую стоимость относительно печатных изданий, ведь они стоят на порядок дешевле. Современные карманные персональные компьютеры имеют объем памяти, позволяющий хранить целые библиотеки как электронных, так и аудиокниг. Подобные библиотеки всегда находятся на устройстве пользователя. Возможности современных интернет технологий, позволяют пользователям пополнять библиотеку в любой период времени, в любой точке мира [3].

Большое количество компаний разрабатывают приложения для мобильных устройств способных работать с различными форматами электронных книг. Приложения для смартфонов способны воспроизводить один из самых популярных форматов аудиокниг – mp3.

Обзор программного обеспечения для работы с электронными книгами

Существует большое количество готовых решений, предоставляющих возможность просмотра содержимого электронных книг. Некоторые из приложений позволяют также создавать заметки, оставлять закладки, сохранять цитаты и другое.

Самыми популярными приложениями для чтения электронных книг на мобильных приложениях являются программы - Moon+Reader, Google Play Книги, eBook, DjVuViwer, Adobe Acrobat Reader, ReadEra.

Возможности мобильного приложения Moon+Reader позволяют просматривать содержимое самых популярных форматов - ePub, FB2 и PDF. Также, позволяет читать электронные книги, заархивированные в форматы RAR и ZIP. Имеются разные способы отображения каталога книг – списком, таблицей, или «книжная полка». Также есть возможность менять тему оформления и цветовую палитру интерфейса. На главное меню можно вывести статистику: количеств книг в списке читаемых, количество прочитанных книг, количество часов проведенного за чтением, количество пролистанных страниц. Присутствует функция 3D перелистывания страниц. Параметры отображения текста все настраиваемые: большое количество шрифтов, цвет фона и текста, ширина полей, расстояние между абзацами, строками и буквами. Пометки и выделенные фрагменты содержаться в отдельном разделе.

Преимуществами данного приложения является – дизайн, гибкие настройки, работа с пометками, статистика, имитация перелистывания страниц.

Google Play Книги – предустановленное приложение операционной системы под управлением Android. Поддерживает два формата ePub и PDF. Преимуществом является возможность синхронизации посредством служб компании Google. Список книг делиться на три раздела: не начато, начато и прочитано. Существует дополнительный функционал - встроенный магазин электронных книг. Приложение простое и удобное, в силу ограниченных настроек: можно выбрать несколько шрифтов, указать размер шрифта и интервал между строками. Также имеются функции смены тем, ночной режим, создание пометок и сносок.

Приложение Google Play Книги является простым приложением и в то же время ограниченным в функциональности.

DjVuViwer, DjVu. Существует несколько групп форматов электронных книг – графические и растровые форматы [4]. DjVuViwer – приложение для чтения узкоспециализированного растрового графического формата DjVu. Этот формат отлично подходит для хранения рукописей, текстов с рукописными заметками и т. д. Преимущество формата DjVu над PDF обусловлено более эффективным методом сжатия информации [5]. Список книг можно сортировать по жанрам, дате или алфавиту. Также имеется возможность создания заметок.

Популярность использования данного приложения на современных мобильных телефонах обусловлена популярностью использования формата DjVu.

Ebook Reader. Приложение способное отображать текстовую информацию следующих форматов: FB2, EPUB, MOBI, PDF, CBR, CBZ и TXT. Недостатком является отсутствие возможностей редактирования текстового файла, создания аннотаций к файлу, и копирования текста.

ReadEra читайте файлы в форматах FB2, EPUB, PDF, DOC, TXT, DJVU, из архивов с расширением .rar и .zip. Создание автоматических заголовков к электронным книгам является преимуществом. Настройки чтения позволяют изменять параметры шрифтов, цвета фона и текста, ширину полей, расстояние межсимвольного и межстрочного интервала. На главном меню приложения есть возможность сортировки по времени создания и времени чтения. Каталог имеет разделы: хочу прочитать, прочитанные, избранное. В общем, приложение имеет большое количество функционала поэтому имеет большую популярность, более 700 тысяч официальных скачиваний.

Компания Adobe разработала программу для мобильных приложений – Adobe Acrobat Reader для PDF. Формат PDF является универсальным межплатформенным форматом, разработанным компанией Adobe [6]. Поэтому программа является надежным редактор документов и конвертером PDF. Приложение позволяет просмотр файла формата PDF, добавление комментариев, редактирование файла и реализует возможности общего доступа к хранилищам таких как Microsoft OneDrive, Dropbox и Google Диск.

Рассмотренные выше приложения стараются предоставить рынку пользователей удобный для взаимодействия дизайн (UX-дизайн [7]) и большое количество функционала.

Отличительной чертой большинства подобных приложений – чтение множества форматов электронных книг, от самых популярных до узкоспециализированных форматов.

Отдельная группа приложений предоставляют анимацию взаимодействия со страницами электронных книг, к примеру 3D перелистывание страниц.

Различие между мобильными приложениями составляет их различие в дополнительном функционале, помимо чтения.

Можно заметить, что способы синхронизации текстовой и аудио информации предоставят пользователям в подобных приложениях дополнительную возможность – переключение между способами восприятия: чтение текстовой информации и прослушивание звуковой информации.

Предлагаемые способы синхронизации

Версии аудио и электронной книги могут считаться одинаковыми, когда озвученный текст в аудио файле полностью и однозначно соответствует тексту электронной книги, тогда получаемая человеком информация, воспринимается одинаково [8]. В этом случае, можно считать, что разница заключается только в способе получении информации: посредством слуха или посредством зрения. Синхронизировать можно только одинаковые версии книг.

Позиция синхронизации в текстовом файле является определенное слово, на котором закончилось чтение. Аналогичная позиция в аудио, это секунда, после которой закончилось воспроизведение аудио. Позиции можно считать синхронизированными, когда информация, следующая после данных позиций, воспринимается человеком одинаково.

Позиция в текстовой информации может измеряться количеством слов от начала текстового файла электронной книги. Позицией в аудио является количество пройденных секунд от начала аудиофайла.

Таким образом, имеют место следующие способы синхронизации:

  1. Способ процентной синхронизации, который заключается в нахождении процентного отношения текущей позиции ко всему текстовому и аудиофайлу.
  2. Способ поиска уникальных наборов, который заключается в поиске искомой позиции в электронной книге путем многократной конвертации аудио потока (аудиофайл электронной книги) в текстовый формат.
  3. Способ семплирования. Анализ аудио потока с целью определения (выделения) элементов текста (глава, абзац, предложение и пр.) с последующей синхронизацией с текстовым файлом одной и той же электронной книги.

Синхронизация текстовой и аудио информации с применением способа процентной синхронизации

При проведении исследования был взят отрывок книги «Дорога в будущее» Билл Гейтса [9] – фрагмент «Послесловие». Данный фрагмент книги, имеющий 450 слов, был озвучен мужским и женским голосом. Длительность полученных аудио файлов составило 3 минуты 45 секунд и 3 минуты 52 секунд соответственно для мужского и женского голоса.

Для анализа предложенного способа было использовано программное обеспечение, использующее компьютерные голоса, поддерживающие SAPI 4, SAPI 5 или Microsoft Speech Platform [10]. Подобранное программное обеспечение дало возможность получить третий файл «озвучки», имеющий длительность 4 минуты 24 секунды.

Выбранный отрывок текста состоит из 6 абзацев. В процессе исследования синхронизировались начала каждого абзаца, начиная со второго. Таким образом, было получено пять позиций для синхронизации.

В ходе проведении исследования было выполнено следующее:

  1. Определен объем информации каждого абзаца в словах.
  2. Рассчитано отношение объема информации в абзаце по отношению к выбранному отрывку текста. Таким образом стало известно сколько места занимает каждый абзац в данном тексте.
  3. По исходной длительности аудиофайлов рассчитана длительность озвучки каждого из абзацев (табл. 1).

Результаты исследований

Далее на рисунках отображены – звуковая дорожка, маркер, указывающий на рассчитанное место синхронизации, линия, показывающая реальное место синхронизации. Маркер и линия сопровождаются временными отметками времени. Исследование проведено в программе Adope Premiere [10].

Синхронизация начала второго абзаца изображена на рисунке 1, где соответственно показывается синхронизация аудио мужской и женской озвучки, а также озвучивание программой.

Таблица 1. Данные синхронизации текстовой и аудио информации

№ абзаца Кол-во слов Отношение объема информации в абзаце ко всему тексту, % Рассчитанные данные
Длительность озвучки отрывка мужским голосом, сек Длительность озвучки отрывка женским голосом, сек Длительность озвучки отрывка программой, сек
1 79 17,5 39,375 40,60 46,2
2 155 34,4 77,4 79,808 90,816
3 94 20,8 46,8 48,256 54,912
4 64 14,2 31,95 32,944 37,488
5 51 11,3 25,425 26,216 29,832
6 7 1,5 3,375 3,48 3,96

Рисунок 1 – Синхронизация второго абзаца: а) озвучка мужским голосом, б) озвучка женским голосом, в) озвучка программой

Рассчитаем погрешность синхронизации. Для озвучки мужским голосом она составляет – 2,19 секунд, в процентах – 0,97%. Для озвучки женским голосом погрешность равна 1,16 (0,5%). И озвучивание программой имеет погрешность 11,08 секунды (4,2%).

Синхронизация начала третьего абзаца представлена на рисунке 2. Погрешность синхронизации третьего абзаца для озвучки мужским голосом – 1,10 секунд, или (0,48%); озвучка женским голосом 0,11 секунд, или (0,05%); озвучка программой – 2,2 секунды (0,83%).

Результат синхронизации четвертого абзаца отображен на рисунке 3. Погрешности синхронизации составляют: для озвучки мужским голосом – 0,8 секунд, 0,36%; для озвучки женским голосом – 0,03 секунды (0,013%); озвучка программой – 0.94 секунды (0.36%).

Синхронизация пятого абзаца отображена на рисунке 4. Этот случай имеет наилучший результат синхронизации, мужская озвучка и озвучка программой имеет погрешность в 0 секунд, а женская озвучка – 1,12 секунд (0,48%).

Синхронизации шестого абзаца имеет также не плохие результаты, данные отображены на рисунке 5. В этом случае мужская и программная озвучка имеют погрешность 0%, а женская – 1,11 секунд (также 0,48%).

Рисунок 2 – Синхронизация второго абзаца: а) озвучка мужским голосом, б) озвучка женским голосом, в) озвучка программой

Рисунок 3 – Синхронизация третьего абзаца (а – озвучивание мужским голосом; б – озвучивание женским голосом; в – озвучивание программой)

Рисунок 4 – Синхронизация третьего абзаца (а – озвучивание мужским голосом; б – озвучивание женским голосом; в – озвучивание программой)

Рисунок 5 – Синхронизация третьего абзаца (а – озвучивание мужским голосом; б – озвучивание женским голосом; в – озвучивание программой)

Выводы

В ходе работы были проанализированы мобильные приложения способные работать с разными форматами электронных книг.

Выявлен дополнительный функционал, способный повысить популярность, для подобных приложений.

Предложены три способа синхронизации текстовой и аудио информации. Рассмотрен один из способов синхронизации – способ процентной синхронизации.

В результате (по анализу полученных данных) способ процентной синхронизации является достаточно точным, в среднем погрешность имеет показатель меньше одного процента. При уменьшении расчетной позиции для аудио файла на 18 секунд, данный способ можно использовать в пользовательских приложениях для чтения и прослушивания электронных книг с возможностью переключения режимов (чтение, прослушивание) в произвольном месте аудио и текстового файлов.

Список использованной литературы

  1. Евгениий Милица: Новая эра развития электронных книг началась. [Электронный ресурс]: https://www.cnews.ru/articles/evgenij_militsa_novaya_era_razvitiya.
  2. Электронные книги по продажам обгоняют книги в мягких обложках. 2011-2013 [Электронный ресурс]: http://www.segodnya.ua/world/elektronnyeknihi-po-prodazham-obhonjajut-knihi-vmjahkikh-oblozhkakh.html.
  3. Самбулов, Д. В. Сравнительный анализ форматов файлов электронных книг. // 2016 URL: https://cyberleninka.ru/article/n/sravnitelnyy-analiz-formatov-faylov-elektronnyh-knig.
  4. Куликова, Е. В. Преобразование форматов графических файлов // Вестник Сибирского института бизнеса и информационных технологий. 2014. № 4 (12). URL: https://cyberleninka.ru/article/n/preobrazovanie-formatov-graficheskih-faylov.
  5. Богачева, Е. О. Особенности сжатия формата DjVu для экономии сетевого трафика и исследование методов сегментации изображений / E. O. Богачева, Д. В. Дмитриев, О. Н. Корелин // Труды Нижегородского государственного технического университета им. Р.Е. Алексеева URL: https://cyberleninka.ru/article/n/osobennosti-szhatiya-formata-djvu-dlya-ekonomii-setevogo-trafika-i-issledovanie-metodov-segmentatsii-izobrazheniy.
  6. Веретихина С.В. Оцифровка архивных документов в формате PDF/A // Инновации в науке. 2016. № 2(51). URL: https://cyberleninka.ru/article/n/otsifrovka-arhivnyh-dokumentov-v-formate-pdf-a
  7. Яхонтова, И. М. UX-дизайн как инструмент реинжиниринга бизнес-процессов / И. М. Яхонтова, Л. В. Сорокина // Научный журнал КубГАУ 2003 Том 11, выпуск 4. URL: https://cyberleninka.ru/article/n/ux-dizayn-kak-instrument-reinzhiniringa-biznes-protsesso.
  8. Демиш, В. О. Синхронизация данных на мобильных платформах / В. О. Демиш, Б. Н. Пищик // Вестник Новосибирский государственный университет 2003. Том 11, выпуск 4. URL: https://cyberleninka.ru/article/n/sinhronizatsiya-dannyh-na-mobilnyh-platformah.
  9. Бил Гейтс: Дорога в будущее. 1995 [Электронный ресурс]: https://www.rulit.me/books/doroga-v-budushchee-read-301952-1.html.
  10. Балаболка (2021). Балаболка [программное обеспечение]: http://www.cross-plus-a.ru/balabolka.html.