УДК: 004.91

Применение нейросетей глубокого обучения для выявления дефектов полировки с применением роботизированной системы видеоаналитики

Аннотация: В данной статье рассматривается подход к выявлению дефектов полировки с применением нейросети глубокого обучения для сегментационного определения объектов на кадре и роботехнической установки для позиционирования камеры и исследуемой заготовки, обеспечивающей повторяемость проводимой дефектоскопии. Основой автоматизируемого процесса является люминесцентный (ЛЮМ) контроль заготовок, при котором дефекты лопатки, после обработки последней специальным составом, начинают подсвечиваться в ультрафиолетовом свете. В настоящий момент проведение ЛЮМ-контроля, визуальный осмотр и классификация дефектов относится к ответственности контролера. Целью работы является разработка автоматизированной системы определения дефектов полировки. Актуальность исследования обусловлена растущей потребностью промышленности в надежных и эффективных методах контроля качества, способных работать в режиме реального времени и обеспечивать высокую точность обнаружения дефектов. Результаты исследования могут быть использованы при разработке автоматизированных систем контроля качества для различных производственных процессов, требующих высокой точности обработки поверхностей. Практическая значимость выполненного проекта выражается в оптимизации и автоматизации производственных процессов полировки заготовок. В работе подробно описана математическая модель процесса автоматизированной дефектоскопии, рассмотрена архитектура программного обеспечения системы, подобраны элементы аппаратного обеспечения, а также описан процесс сбора данных для обучения нейросети и приведены результаты применения для определения дефектов.

Ключевые слова: промышленная полировка лопаток, интеллектуальная видеоаналитика, роботизированная оптическая схема, математическая модель технологического процесса, люминесцентный метод неразрушающего контроля.

Введение

В современных производственных процессах контроль качества продукции является критически важным этапом, определяющим конкурентоспособность предприятия на рынке. Особенно актуальным это становится в отраслях, где требуется высокая точность обработки поверхностей, таких, как автомобильная промышленность, производство электроники и оптики. Традиционные методы контроля качества, основанные на визуальном осмотре, становятся все менее эффективными в условиях растущих требований к производительности и точности. Развитие технологий искусственного интеллекта и компьютерного зрения открывает новые перспективы в области автоматизированного контроля качества. Нейросети глубокого обучения демонстрируют впечатляющие результаты в задачах классификации изображений и сегментации объектов [1], что делает их идеальным инструментом для автоматизации процессов инспекции.

Недавние исследования показали возможность использования нейронных сетей глубокого обучения для обнаружения дефектов полировки в роботизированных системах. Компьютерное зрение в сочетании с искусственными нейронными сетями было применено для классификации дефектов поверхности и управления действиями роботов по полировке [2], [3]. Эти подходы показали себя многообещающими в плане автоматизации процесса полировки и улучшения контроля качества поверхности. Более продвинутые методы глубокого обучения, такие как Faster R-CNN, были использованы для обнаружения дефектов на шлифованных и полированных деталях, что позволило достичь средней точности в 80,26% [4]. Кроме того, системы машинного обнаружения поверхностных дефектов, использующие схемы рассеяния света и сверточные нейронные сети, продемонстрировали возможности быстрого и точного обнаружения дефектов [5]. Хотя эти методы имеют ограничения по точности, они обладают такими преимуществами, как сокращение времени полировки, упрощение контроля качества и более равномерная шероховатость поверхности по сравнению с ручными процессами [2], [3].

В работе [6] авторы предлагают решение подобной задачи, определения размера и положения дефекта полировки путем применения стереоскопического зрения (стереозрения), мехатронной системы поворота лопатки и алгоритмов машинного зрения для идентификации засвеченных дефектов.

В настоящей работе предлагается применение робототехнической системы с шестью степенями свободы для обеспечения обзора камерой всей поверхности детали. Также для определения дефектов будет использоваться нейросетевая модель сегментационного определения объектов [7], которая, в отличие от традиционных методов машинного зрения, обладает высокой точностью и более устойчива к изменяющейся оптической схеме.

1. Описание математической модели описываемого процесса

С точки зрения исследуемого процесса, обрабатываемая деталь представляет собой сложную геометрическую форму, которая может быть рассмотрена с различных проекций. Для эффективной дефектоскопии необходимо учитывать особенности каждой проекции детали. Множество проекций лопатки можно условно разделить на две группы: удобные и неудобные для целей дефектоскопии.

Камера не может наблюдать дефекты, скрытые деталей от наблюдения. Кроме того, дефекты поверхности неодинаково хорошо видны в зависимости от угла наблюдения и угла освещения.

Система интеллектуальной дефектоскопии получает на вход множество возможных векторов наблюдения детали. Эти вектора могут быть соединены векторами перемещения инструмента робота. Однако не все векторы перемещения допустимы в реальности из-за ограничений, связанных с не пересечением камеры и лопатки, а также возможными натяжениями и изгибами кабеля камеры.

С помощью средств управления роботом задаются перемещения, которые возможны и не несут рисков повреждения оборудования. Затем из них формируется обучающий вектор для искусственной нейронной сети (ИНС), управляющей движением робота. В результате обучения получается набор допустимых безопасных перемещений из каждого вектора наблюдения лопатки. Этот результат преобразуется в программу перемещения инструмента робота при помощи параметризованных шаблонов кода.

Модель детали представляет собой совокупность весов ИНС управления перемещением инструмента и уникальна для каждого типоразмера детали. Входом модели детали является ее тип, а выходом — минимальный набор допустимых перемещений робота, достаточных для наблюдения детали под всеми углами, имеющими смысл с точки зрения задачи дефектоскопии. Модель дефектоскопии детали представляет собой предобученную нейронную сеть видеоаналитики, совмещенную с информацией о текущем положении головки робота. После совершения движений видеокадры детали совмещаются с информацией о положении камеры в точках измерений и наличии дефектов в этих точках.

Таким образом удается сформировать вектора положений камеры с приписанными к ним идентификаторами дефектов. Это позволяет создать управляющую программу для полировки детали.

2. Архитектура программного обеспечения

Разработанная архитектура программного обеспечения представлена на рисунке 1.

Рис. 1 — Архитектура программного обеспечения

Работа программного обеспечения автоматизированной системы управления процессом полировки лопаток с использованием интеллектуальной видеоаналитики начинается с модуля обработки входного видеопотока. Данный модуль отвечает за получение видеоданных с камеры по протоколу RTSP, а также за запуск программы управления роботом-манипулятором. Открытие видеопотока и начало работы мехатронной системы начинается после того, как пользователь нажимает на кнопку в интерфейсе.

После того как модуль обработки входного видеопотока сформировал массив данных, описывающий кадр с камеры, данная информация передается модулю обработки кадра системой видеоаналитики. Этот модуль отвечает за обработку кадра нейросетевыми алгоритмами определения дефектов, а также работу алгоритмов эвристики. На выходе этого модуля получаются данные в JSON формате.

После получения JSON данных в работу вступает модуль обработки данных для составления отчета по проведенному анализу. Данный модуль накапливает данные за весь проведенный анализ, в том числе сохраняя геометрическое расположение камеры в ходе анализа. По завершении анализа модуль обработки данных обрабатывает все собранные данные и на их совокупности и математическом модуле автоматизированной системы составляет вывод о выполненном анализе, выводя сообщение пользователю в интерфейс с отчетом о найденных дефектах и их расположении.

3. Подбор и тестирование архитектуры нейросетевой обработки видеоданных

В процессе разработки программного обеспечения для системы автоматизированного управления процессом полировки лопаток с применением интеллектуальной видеоаналитики были последовательно реализованы ключевые этапы создания системы.

Первоочередной задачей стало определение оптимальной архитектуры нейросетевой обработки данных. При выборе архитектуры учитывались следующие критерии: высокая точность сегментации изображений в режиме реального времени, адаптивность к различным условиям освещения и изменениям в процессе полировки, гибкость интеграции с существующими системами управления, а также эффективность использования вычислительных ресурсов.

После проведения сравнительного анализа существующих решений было принято решение использовать модель YOLO11 (You Only Look Once) для сегментации изображений [7]. Данная модель представляет собой современное решение в области компьютерного зрения, специально разработанное для задач реального времени. При выборе YOLO11 учитывались ее преимущества перед классическими моделями поиска объектов, такими как R-CNN [8], Fast R-CNN [9] и SSD [10].

YOLO11 демонстрирует значительные преимущества в сравнении с классическими моделями: существенно более высокую скорость обработки данных, позволяющую работать с видеопотоками без задержек; повышенную точность сегментации объектов, критически важную для контроля качества полировки; улучшенные возможности интеграции благодаря модульной структуре; а также более эффективное использование вычислительных ресурсов, что особенно важно для промышленного применения.

В ходе тестирования модели YOLO11 были последовательно реализованы этапы подготовки и обработки данных, включая аннотацию и разметку, обучение модели с применением методов оптимизации и регуляризации, оценку производительности на основе метрик accuracy, recall, specificity и F1-меры [11], а также анализ полученных результатов.

Данные для обучения модели собирались следующим образом: подготовленную для ЛЮМ-индикации деталь в ультрафиолетовом свете снимала закрепленная на штативе видеокамера, подключенная к переносному рабочему месту, куда и сохранятся видеопоток с деталью. Для обучающей выборки выбирались детали различных форм и размеров с различными видами дефектов.

После проведения очистки собранных данных (убраны фотографии, где деталь или дефект не в фокусе; где отсутствует деталь или дефект; деталь или дефект смазаны) была проведена работа по разметке данных в ПО CVAT [12] (рис. 2). В результате было получено несколько тысяч размеченных данных.

Рис. 2 — Процесс разметки данных в ПО CVAT

Результаты тестирования модели YOLO11 продемонстрировали высокую эффективность решения: точность составила 96%, полнота достигла 94%, специфичность – 95%, а F1-мера составила 95%. Данные показатели свидетельствуют о высокой способности модели корректно классифицировать состояние полировки, выявлять дефекты и идентифицировать нормальные состояния.

Особого внимания заслуживает выбор сегментационной модели вместо классической модели поиска объектов, обусловленный более высокими показателями точности и возможностью получения контура обнаруженного объекта, что критически важно для функционирования системы в целом. Полученные результаты подтверждают соответствие выбранной модели требованиям проекта и ее пригодность для точного и эффективного анализа видеоданных в режиме реального времени.

4. Тестирование работы системы в целом

Помимо обучения нейросетевой модели, были проведены работы по написанию программного обеспечения роботизированной системы видеоаналитики, подсистем передачи данных и обработки, а также разработан интерфейс системы. По окончании всех работ проводилось тестирование интерфейса и работы всей системы в целом (рис. 3).

Рис. 3 — Результат тестирования интерфейса системы и функционала в целом

Для тестирования было использован видеофрагмент, выбрана конфигурация системы и был запущен процесс анализа. Анализ запускается путем нажатия на кнопку «Запустить анализ». По результатам тестирования система обнаружила имеющиеся на изображении дефекты, тем самым все модули системы отработали в штатном режиме.

Заключение

В рамках реализации проекта была проведена комплексная научно-исследовательская работа, направленная на разработку автоматизированной системы видеоаналитики для оптимизации процесса полировки лопаток.

В ходе исследования созданы математические модели, описывающие процесс полировки с учетом геометрических характеристик и физико-механических свойств обрабатываемых материалов. Разработаны архитектура программного обеспечения и аппаратная конфигурация системы видеоаналитики, включающая оптическую схему и мехатронное устройство управления видеокамерами. Особое внимание было уделено созданию адаптивного крепления видеокамер к роботизированному манипулятору, что обеспечило необходимую точность позиционирования при проведении видеосъемки.

В рамках работы исследованы различные архитектуры нейросетевой обработки видеоданных, сформирован и структурирован массив обучающих данных. Разработан и протестирован пользовательский интерфейс системы, обеспечивающий эффективное взаимодействие оператора с комплексом видеоаналитики.

Результатом работы стала комплексная модель технологических процессов полировки с интегрированной системой обратной связи на основе видеоаналитики. Разработанная оптическая система позволяет осуществлять сбор и фиксацию видеоданных в режиме реального времени. Созданные обучающие выборки обеспечивают эффективное функционирование нейросетевых алгоритмов обработки информации.

Перспективные направления развития проекта связаны с расширением базы данных для повышения точности распознавания, интеграцией трехмерных моделей лопаток для формирования детализированных аналитических отчетов и совершенствованием алгоритмов классификации дефектов на основе их геометрических характеристик. В дальнейшем также будет разработан ПАК, включающий в себя автоматическую очистку детали от загрязнений, нанесения химикатов для ЛЮМ-контроля и нанесения красящего вещества на область выявленного дефекта для обозначения проблемной области специалисту по полировке. Разработанная архитектура программного обеспечения и пользовательского интерфейса создает основу для расширения области применения системы и ее интеграции с современными технологическими решениями, что способствует повышению эффективности производственных процессов и укреплению конкурентных позиций на рынке.

Авторы заявляют об отсутствии конфликта интересов. Все авторы сделали эквивалентный вклад в подготовку публикации.

Литература

1. He L., Zhou Y., Liu L. Application of the YOLOv11-seg algorithm for AI-based landslide detection and recognition. Scientific Reports, 2025, Vol. 15. pp. 1-15. ↑ к тексту
2. Besari A., Adnan R. A., Anton S. P., Ruzaidi Z, Dan, Palil. Computer vision approach for robotic polishing application using artificial neural networks. IEEE Student Conference on Research and Development (SCOReD), 2010. pp. 281-286. ↑ к тексту
3. Prabuwono, Anton S., Adnan R. Besari A., Ruzaidi Z., Dan, Palil, Taufik. Surface Defects Classification Using Artificial Neural Networks in Vision Based Polishing Robot. International Conference on Intelligent Robotics and Applications, 2011. pp. 599–608. ↑ к тексту
4. Liu, Ming-Wei, Yu-Heng L., Yuan-Chieh L., Chih-Hsuan S., Pei-Chun L. Defect Detection of Grinded and Polished Workpieces Using Faster R-CNN. IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM), 2021. pp. 1290-1296. ↑ к тексту
5. Liu, Mingyu, Chi F. C., Nicola S., Shixiang W., Rong S., Richard K. L. On-machine surface defect detection using light scattering and deep learning. Journal of the Optical Society of America. A, Optics, image science, and vision, 37(9), 2020. pp. 1409-1418. ↑ к тексту
6. Корнейчук В.С., Котляр Д.И., Ломанов А.Н., Медведев Е.Ю. Применение машинного зрения для вычисления размеров дефектов при люминесцентном проникающем контроле лопаток ГТД. Вестник Череповецкого государственного университета, no. 1 (106), 2022. pp. 31-41. ↑ к тексту
7. Rahima K., Muhammad H. You Only Look Once: Unified, Real-Time Object Detection. arXiv preprint arXiv:2410.17725, 2024. ↑ к тексту
8. Ross, B., Dollár, P. Rich feature hierarchies for accurate object detection and semantic segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2013. pp. 580-587. ↑ к тексту
9. Girshick R. Fast R-CNN. International Journal of Computer Vision, 2015, Vol.119, no. 3, pp. 248–274. ↑ к тексту
10. Liu, W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.Y., Berg A. C. SSD: Single Shot MultiBox Detector. arXiv preprint arXiv:1512.02325 [cs.CV], 2015. ↑ к тексту
11. Powers, D. M. Evaluation: From Precision, Recall and F-Factor to ROC, Informedness, Markedness & Correlation. Journal of Machine Learning Technologies, 2011, 2(1), pp. 37-63. ↑ к тексту
12. CVAT. Центр компьютерного зрения и обработки изображений. URL: cvat.ai (дата обращения: 22.04.2025). ↑ к тексту