УДК: 004.91

Мониторинг сложных объектов инфраструктуры

Аннотация: Своевременный контроль и диагностика состояния являются неотъемлемой частью процесса эксплуатации объектов гражданской инфраструктуры. Особенно актуален этот вопрос для слож- ных инженерных конструкций: мостов, тоннелей, многоуровневых транспортных развязок. В настоящее вре- мя мониторинг таких объектов в основном сводится к их периодическому визуальному и инструментальному обследованию, где большую роль играет человеческий фактор. Кроме того, такой метод наблюдения за со- стоянием вышеуказанных объектов не позволяет быстро обнаружить проблему и принять соответствующие меры по ее устранению и предотвращению возможной дальнейшей поломки всей конструкции. Одним из эф- фективных путей решения данной проблемы является использование технологии компьютерного зрения для постоянного автоматического мониторинга сложных объектов гражданской инфраструктуры. Целью иссле- дования является анализ последних достижений в области компьютерного зрения для поиска наиболее подхо- дящих алгоритмов для создания стационарной автоматизированной системы наблюдения за состоянием объ- ектов инфраструктуры. В результате проведенной работы были рассмотрены и описаны современные дос- тижения зарубежных научных коллективов в области компьютерного зрения. Основные виды алгоритмов об- наружения деформаций инженерных конструкций посредством использования фото и видеоданных структу- рированы и представлены в таблице с описанием их главных достоинств и недостатков. Выведены рекомен- дации по целесообразности использования тех или иных проанализированных алгоритмов в аспекте монито- ринга объектов гражданской инфраструктуры. Приведена блок-схема оптимального варианта стационарной автоматизированной системы наблюдения за состоянием объектов инфраструктуры. Описан процесс рабо- ты такой схемы с уточнением основных функций, выполняемых каждым ее звеном, проанализированы данные, на основе которых предложены рекомендации по соответствующим методикам. Они будут применены в по- следующей разработке системы видеонаблюдения за состоянием объектов инфраструктуры.

Ключевые слова: мониторинг объектов гражданской инфраструктуры; технология компьютерного зрения; цифровизация.

Введение

В многочисленных работах отечественных и зарубежных авторов и научных коллек- тивов описаны различные методики применения компьютерного зрения для целей бескон- тактного мониторинга объектов гражданской инфраструктуры [1-12]. Развитие системы ин- фраструктуры, создание комфортной городской среды, отвечающей требованиям современ- ных городов, является залогом их успешного экономического и социального роста. Однако вместе с ее модернизацией повышается и сложность всей сети в целом: многоуровневые раз- вязки, туннели, мосты требуют своевременного контроля их эксплуатации. Внезапный выход из строя даже одного из таких сооружений может парализовать нормальную жизнедеятель- ность целой части большого города на длительное время. Поэтому качественный и своевре- менный мониторинг инфраструктуры – неотъемлемая часть эффективной и безопасной жиз- недеятельности современного общества. Однако сейчас проведение мониторинга сводится к периодическому визуальному и инструментальному обследованию конкретных объектов инфраструктуры, что не всегда по- зволяет вовремя распознать быстротекущие деформации и предотвратить аварийные разру- шения таких сооружений. Еще одним фактором, замедляющим процедуру такого рода об- следований, является длительная камеральная обработка полученных результатов [2]. Кроме того, обследования чаще всего проводятся с непосредственным участием человека на всех этапах, что повышает влияние человеческого фактора на точность исследований и конечное заключение о техническом состоянии объекта. По итогам анализа путей решения данных проблем, современным рациональным вы- ходом может являться технология компьютерного зрения, которая уже активно используется в других сферах жизни общества не только за рубежом, но и в нашей стране. Она существен- но повысит надежность системы мониторинга, поскольку минимизирует количество спосо- бов измерения параметров объектов, для осуществления которых требуется вмешательство людей, для целей получения необходимой информации о них [1]. Это позволит автоматизи- ровать процесс сбора и первичной обработки данных об исследуемой инфраструктуре, а также цифровизирует весь цикл мониторинга таких объектов. В данной работе проведен анализ методов получения информации о деформациях объектов гражданского строительства посредством технологии компьютерного зрения для целей последующей разработки и создания системы автоматического мониторинга объектов инфраструктуры в рамках обеспечения их безопасности и нормального функционирования.

Описание применяемой технологии

Компьютерное зрение – теория и технология создания машин, которые могут произ- водить обнаружение, отслеживание и классификацию объектов. Они базируются на камерах как основном средстве получения информации о конкретных объектах. Ярким примером применения данной технологии является использование камер фиксации нарушений правил дорожного движения. Они позволяют контролировать соблюдение правил дорожного дви- жения без участия человека, снижая при этом аварийность на отдельных проблемных участ- ках улично-дорожной сети, а также повышая безопасность транспортного и пешеходного движения в целом по всему городу. Поскольку данная технология не требует регулярного присутствия на объектах спе- циалистов в области проведения мониторинга, ее применение наилучшим образом подойдет для целей отслеживания нормального функционирования сложных объектов инфраструкту- ры, требующих постоянного наблюдения за их состоянием, таких как: мосты и тоннели, мно- гоуровневые транспортные развязки. Это позволит получать информацию даже о минималь- ных деформациях таких конструкций в кратчайшее время. Зарубежные публикации последних лет по данной тематике также свидетельствуют о больших перспективах использования этой технологии для нужд гражданской инфраструк- туры [3-5]. Это, в первую очередь, обуславливается большой гибкостью применения систем, в которые входят камеры видео- и фотофиксации как универсальный инструмент получения актуальных данных о наружной обстановке. Ведутся активные работы по созданию и модернизации уже созданных комплексов на основе стационарных и мобильных камер. Конечной целью таких систем является надежное автоматическое преобразование данных изображения или видеопотока в объективную ин- формацию без непосредственного участия человека [3]. Другим немаловажным направлением в развитии данной технологии является созда- ние алгоритмов, позволяющих посредством камер распознавать самые незначительные де- формации объектов гражданского строительства, представляющих собой сложные инфра- структурные сооружения, таких как: железобетонные мосты, сборные железобетонные тун- нели, а также асфальтовые покрытия [4]. В перспективе это позволит уйти от использования дорогостоящих деформационных датчиков, требующих регулярного обслуживания.

Анализ существующих методов определения деформаций на основе компьютерного зрения

Автоматическое обнаружение повреждений является важнейшим компонентом любой автоматизированной или полуавтоматической системы мониторинга сложных объектов ин- фраструктуры. Однако важно понимать, что высокоточное обнаружение визуальных дефек- тов таких конструкций является очень сложной задачей. Также данная проблема дополни- тельно усложняется наличием элементов, подобных повреждениям (затененные края, блики, отражающие поверхности). Поэтому существует целый ряд методов, позволяющих иденти- фицировать различные визуальные дефекты с помощью различных алгоритмов. В число та- ких повреждений входят: трещины в бетоне, откол бетона и его расслоение, усталостные трещины, коррозия стали и трещины в асфальтобетонном покрытии. Ученые и исследователи выделяют преимущественно три основных подхода к обна- ружению повреждений и дефектов, представленные в таблице 1. Проанализированные методы обладают рядом недостатков, однако при их избира- тельном применении можно добиться создания оптимального с точки зрения затрат и эффек- тивности программно-аппаратного комплекса по мониторингу сложных объектов граждан- ской инфраструктуры. Он будет включать в себя камеры видеонаблюдения, которые будут на постоянной основе производить мониторинг таких объектов и при малейших изменениях, выходящих за пределы нормы, сигнализировать оператору. Также с помощью них можно бу- дет удаленно отслеживать возможные деформации, возникающие на таких сооружениях. Оп- тимальная блок-схема такого комплекса представлена на рисунке 1.

Как можно видеть из схемы, информационные процессы в предлагаемой системе по- строены следующим образом.
1) на пунктах видеонаблюдения (состоящих из камер и серверов видеонаблюдения) производится круглосуточный мониторинг объектов наблюдения;
2) информация с камер передается в глобальную сеть, а через нее загружается на фай- ловый сервер;
3) с файлового сервера данные поступают непосредственно в систему анализа видео- потока. Для работы этой системы (так как повреждения в основном появляются на протяже- нии довольно большого промежутка времени) нет необходимости анализировать каждый кадр. Это снижает нагрузку на систему. Кадры для анализа выбираются с настраиваемым временным интервалом;
4) В модуле поиска объектов на изображении из всего изображения отбирается непо- средственно объект мониторинга;
5) В модулях идентификации объектов на изображении и извлечения признаков опре- деляется непосредственно факт наличия повреждений (при этом осуществляется взаимодей- ствие с базой данных, где описываются признаки нормального функционирования объекта). Если повреждений не обнаружено, в базу данных записывается информация об этом.
6) В случае обнаружения повреждения изображение передается в модуль классифика- ции, в котором уже непосредственно определяется его характер. В базе данных хранится таблица возможных повреждений. В базу также заносится результат анализа изображения.
7) Таким образом, в базе данных сохраняются такие результаты мониторинга, как да- та/время, адрес пункта видеонаблюдения, результаты наблюдения, сама фотография и т.д.
Веб-приложение на сервере берет информацию из БД и отправляет ее в ситуационный центр, где принимается необходимое решение. Может осуществляться SMS-рассылка, рассылка по электронной почте, получение информации через доступ к веб-приложению и т.д.

Рис. 15_1 — Блок-схема комплекса стационарного мониторинга

Заключение

В данной работе представлен обширный анализ существующих методов получения информации об объектах строительства на основе технологии компьютерного зрения. В рам- ках поиска способов модернизации действующей системы мониторинга объектов граждан- ской инфраструктуры данные о последних достижениях в этой области из многочисленных источников структурированы и представлены в таблице. Исходя из проведенного исследова- ния, можно сказать о том, что данная технология в достаточной мере исследована, и есть возможность создания программно-аппаратного комплекса для постоянного мониторинга мостов, тоннелей и транспортных развязок путем применения различных методов компью- терного зрения. Конечной задачей данного цикла работ является разработка концепции тако- го комплекса в рамках повышения безопасности объектов гражданской инфраструктуры.

Литература

1. СП 274.1325800.2016 Мосты. Мониторинг технического состояния. М.: Изд-во стандартов, 2016. 52 с.
   Set of rules 274.1325800.2016 Bridges. Monitoring of the technical condition. M.: Publishing House of Standards, 2016. 52 pp. ↑ к тексту
2. Classification and Automatisation of Laser Reflection Points Processing in the Detection of Vegetation / D.A. Gura, M.V. Kuziakina, Yu.V. Dubenko, S.K. Pshidatok, G.G. Shevchenko, N.V. Granik, I.G. Markovskii // Proceedings of the international symposium “Engineering and earth sciences: applied and fundamental research” dedicated to the 85th anniversary of H.I. Ibragimov. 2019. P. 593–596. ↑ к тексту
3. Spencer B., Hoskere V., Narazaki Y. Advances in Computer Vision-Based Civil Infrastructure Inspection and Monitoring. 2019. Vol. 5, No. 2. P. 199–222. ↑ к тексту
4. A review on computer vision based defect detection and condition assessment of concrete and asphalt civil infrastructure / C. Koch, K. Georgieva, V. Kasireddy, B. Akinci, P. Fieguth // Advanced Engineering Informatics. 2015. Vol. 29, No. 2. P. 196–210. ↑ к тексту
5. Feng D., Feng M.Q. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection – A review // Engineering Structures. 2018. Vol. 156. P. 105–117. ↑ к тексту
6. Abdel-Qader I., Abudayyeh O., Kelly M.E. Analysis of edge-detection techniques for crack identification in bridges // Journal of Computing in Civil Engineering. 2003. Vol. 17, No. 4. P. 255–263. ↑ к тексту
7. Jahanshahi M.R., Masri S.F. A new methodology for non-contact accurate crack width measurement through photogrammetry for automated structural safety evaluation // Smart Materials and Structures. 2013. Vol. 22, No. 3. 405 pp. ↑ к тексту
8. Automated assessment of cracks on concrete surfaces using adaptive digital image processing / Y.F. Liu, S.J. Cho, Jr. B.F. Spencer, J.S. Fan // Smart Structure and Systems. 2014. Vol. 14, No. 4. P. 719–741. ↑ к тексту
9. Yeum C.M., Dyke S.J. Vision-based automated crack detection for bridge inspection // Computer-Aided Civil and Infrastructure Engineering. 2015. Vol. 30, No. 10. P. 759–770. ↑ к тексту
10. On the evaluation of texture and color features for nondestructive corrosion detection / F.N.S. Medeiros, G.L.B. Ramalho, M.P. Bento, L.C.L. Medeiros // EURASIP Journal on Advances in Signal Processing. 2010. No. 7. 7 pp. ↑ к тексту
11. Ahuja S.K., Shukla M.K. A survey of computer vision based corrosion detection approaches // Information and Communication Technology for Intelligent Systems. 2018. Vol. 2. P. 55–63. ↑ к тексту
12. Koch C., Brilakis I. Pothole detection in asphalt pavement images // Advanced Engineering Informatics. 2011. Vol. 25, No. 3. P. 507–515. ↑ к тексту
13. Pavement crack detection using the Gabor filter / M. Salman, S. Mathavan, K. Kamal, M. Rahman // Proceedings of the 16th International IEEE Conference on Intelligent Transportation Systems, 6–9 Oct. 2013. The Hague, Netherlands, 2013. P. 2039–2044. ↑ к тексту
14. Road crack detection using deep convolutional neural network / L. Zhang, F. Yang, Y.D. Zhang, Y.J. Zhu // Proceedings of 2016 IEEE International Conference on Image Processing, 25–28 Sept. 2016. Phoenix, USA, 2016. P. 3708–3712. ↑ к тексту
15. Kim B., Cho S. Automated vision-based detection of cracks on concrete surfaces using a deep learning technique // Sensors. 2018. Vol. 18, No. 10. P. 3452. ↑ к тексту
16. Chen F.C., Jahanshahi M.R. NB-CNN: deep learning-based crack detection using convolutional neural network and naïve Bayes data fusion // IEEE Trans Ind Electron. 2018. Vol. 65, No. 5. P. 4392–4400. ↑ к тексту
17. Unmanned aerial vehicle inspection of the Placer River Trail Bridge through image-based 3D modeling / A. Khaloo, D. Lattanzi, K. Cunningham, R. Dell’Andrea, M. Riley // Structure and Infrastructure Engineering. 2018. Vol. 14, No. 1. P. 124–136. ↑ к тексту
18. Lague D., Brodu N., Leroux J. Accurate 3D comparison of complex topography with terrestrial laser scanner: application to the Rangitikei canyon (N-Z) // ISPRS Journal of Photogrammetry and Remote Sensing. 2013. Vol. 82. P. 10–26. ↑ к тексту