УДК: 656, 004, 004.8

ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИИ СЛИЯНИЯ ДАННЫХ В ИНТЕЛЛЕКТУАЛЬНЫХ ТРАНСПОРТНЫХ СИСТЕМАХ

Аннотация. В составе интеллектуальных транспортных систем для сбора и анализа информации о транспортном потоке и условиях дорожного движения используются различные типы датчиков: видеокамеры, магнитные петли, акселерометры и другие. Как правило, информация от каждого типа датчика обрабатывается обособленно, а сами датчики решают специфичные для себя задачи. Для решения задач детекции и классификации транспортных средств в потоке используются дорожные видеокамеры с программным инструментарием видеоаналитики. Однако данный вид устройств дорог в установке и обслуживании, а программное сопровождение для анализа транспортного потока требует существенных вычислительных ресурсов. Одновременное использование информации с источников данных различного типа становится популярным направлением для исследований, так как позволяет добиться экономии стоимостных и вычислительных ресурсов за счет использования более простого оборудования и алгоритмов, не требующих больших вычислительных затрат. В данной статье авторы сравнивают профессиональную систему дорожного видеонаблюдения, в которой используются только видеоданные, с системой на основе информации из разных источников. Авторы представляют систему на основе типовой видеокамеры и регистратора шума (диктофона) для анализа дорожного трафика. Анализируются достоинства и недостатки профессиональной системы дорожного видеонаблюдения и разработанной, а также описывается дальнейшее развитие данной системы.

Ключевые слова: интеллектуальные транспортные системы, слияние данных, компьютерное зрение, классификация транспортных потоков, нейронные сети.

Введение

Компьютерное зрение — широко применяемый инструмент для детекции транспортных средств (ТС). Используя видеопоток с камер и вычитание фона, система может распознать движущийся объект. Однако, искажения, вызванные колебанием опоры камеры, солнечными лучами, качающимися ветвями и др., снижают эффективность видеонаблюдения в интеллектуальных транспортных системах (ИТС). Для устранения таких негативных факторов может быть применено многомерное ядерное Гауссово преобразование [1].

Приближающееся (или проезжающее) ТС может быть обнаружено через взрывное увеличение частоты в аудиосигнале. Важно отметить, что окружающая среда содержит много других шумов, помимо шумов ТС. Это делает корректное сегментирование сигнала от ТС затруднительным. Нейронная сеть (НС) может быть обучена отделять паттерны ТС от посторонних звуков [2].

Сравнение интеллектуальных транспортных систем

Интересный метод предложен Хартквистом [3], где вместо анализа звука как волны, преобразование Фурье применено к аудиосигналу. Результат преобразования — спектрограмма (рис. 1). Используя такие спектрограммы для обучения, НС имеет потенциал решать задачи автоматических детекции и классификации ТС.

Рис. 1. Спектрограмма проезжающего ТС

В то время как детекция характеризуется взрывным изменением частоты, классификация требует набор признаков для анализа. Извлечение и выбор признаков довольно трудозатратный процесс, требующий большое количество временных и вычислительных ресурсов. Региональные свёрточные нейронные сети (RCNN) могут быть использованы, чтобы ускорить процесс [4]. Когда кадр попадает в RCNN, сеть разбивает его на регионы интереса (РИ). Внутри каждого РИ сеть кластеризует признаки и относит их к одному из классов.

До сих пор датчики ИТС, в основном, используют один специфичный тип информации (видео, вибрации, магнитные поля и т. д.) для анализа трафика. Однако слияние информации из разных источников — область исследований, которые потенциально могут улучшить эффективность ИТС. Такой подход может использовать несколько источников данных для самостоятельной калибровки и обучения [5]. Такие системы могут стать автономными.

Существующие системы дорожного видеонаблюдения [6], [7] на основе программной видеоаналитики, построенной с использованием фреймворков TensorFlow и RCNN [8], используются для детекции и классификации ТС. Данные системы способны различать проезжие части и направление движения транспортных потоков («out» и «in») (рис. 2). Также эти системы способны осуществлять классификацию транспортных средств, например, на три категории: «small», «medium», «big».

Рис. 2. RCNN детекция и классификация ТС

Однако такой подход очень затратен в человеческих и вычислительных ресурсах. Метод требует размеченных данных. Для ручной разметки 400 кадров требуется около 10 часов работы. Обучение на GeForce GT 740M заняло 40 часов.

Для снижения затрат была разработана система, где видео- и аудиоинформация используются совместно. Используя доступные цифровые устройства (Canon SX620 HS и Xiaomi Redmi 3S), были собраны данные дорожного трафика. Разработанная система способна решать задачу детекции с точностью порядка 90 %.

Рис. 3. Синхронизированные сигналы

Синхронизированные сигналы адресуют недостатки каждой компоненты системы. Вычитание фона может не обнаружить ТС из-за теней, солнечных лучей и т. д. Звуковая компонента может совершить ложно-положительное срабатывание из-за сирен или звуков ТС вне РИ. Используя простые функции из OpenCV к видео и свёрточную НС (CNN) к спектрограммам, система вероятностно оценивает наличие ТС в РИ.

Заключение

Разработанная система не решает задачу классификации. Есть несколько аспектов, которые необходимо принять во внимание. Система использует относительно простые механизмы обработки видео. Это помогает снизить время на обучение. Возможно, используя такой подход, задача классификации может быть решена путем анализа попавшего в РИ ТС. Однако цвет ТС или размытие изображения могут негативно повлиять на качество работы системы. Более того, разные классы ТС могут иметь схожие размеры и формы. Применение более сложных практик машинного обучения (например, RCNN) нецелесообразно, так как не соответствует идее упрощения ИТС.

Классификация при помощи звука имеет несколько осложняющих факторов. ТС может проходить РИ ускоряясь, на холостом ходу или тормозя. Один и тот же тип ТС может использовать разные шины, двигатели, может быть гружёным или порожним — всё это влияет на паттерн спектрограммы. Это исследование может служить основой для будущих работ. Ошибки и достижения метода могут быть использованы для поддержки идеи использования слияния информации в ИТС.

Ресурсы для данного исследования любезно предоставлены Университетом Квинсленда (Брисбен, Австралия). Особую благодарность выражаем Konstanty Bialkowski, без которого данная работа не была бы возможна.

Список литературы

1. Chen Z., Ellis T., Velastin S.A. Vehicle detection, tracking and classification in urban traffic. // 2012 15th International IEEE Conference on Intelligent Transportation Systems, Anchorage, AK. – 2012. – Pp. 951–956. ↑ к тексту
2. George J., Mary L., Riyas K.S. Vehicle detection and classification from acoustic signal using ANN and KNN. // 2013 International Conference on Control Communication and Computing (ICCC), Thiruvananthapuram, 2013. – Pp. 436–439. ↑ к тексту
3. Hartquist J. Audio Classification using FastAI and On-the-Fly Frequency Transforms. // Medium, Nov. 2018. ↑ к тексту
4. Lin M., Zhao X. Application Research of Neural Network in Vehicle Target Recognition and Classification. // 2019 International Conference on Intelligent Transportation, Big Data & Smart City (ICITBS). – Changsha, China, 2019. – Pp. 5-8. ↑ к тексту
5. Bischof H., Godec M., Leistner C., Rinner B., Starzacher A. Autonomous Audio-Supported Learning of Visual Classifiers for Traffic Monitoring. // IEEE Intelligent Systems. – May–June, 2010. – Vol. 25, no. 3. – Pp. 15–23. ↑ к тексту
6. Seliverstov Ya.A., Seliverstov Sv.A., Komashinskiy V.I., Tarantsev A.A., Shatalova N.V., Grigoriev V.A. Intelligent systems preventing road traffic accidents in megalopolises. // Proceedings of 2017 20th IEEE International Conference on Soft Computing and Measurements (SCM 2017). – 2017. – Pp. 489–492. ↑ к тексту
7. Seliverstov S.A., Seliverstov Y.A., Tarantsev A.A., Grigoriev V.A., Elyashevich A.M., Muksimova R.R. Elaboration of intelligent development system of megalopolis transportation. // Proceedings of 2017 IEEE II International Conference on Control in Technical Systems (CTS). – 2017. – Pp. 211–215. ↑ к тексту
8. Juras Evan. Tensor Flow Object Detection API Tutorial Train Multiple Objects Windows 10 [Online]. – URL: github.com/EdjeElectronics (дата обращения: 26.08.2021). ↑ к тексту