Автор: Nikita G. Makagonov, Elena M. Blinova, Igor I. Bezukladnikov
Перевод: Якушев В. В.
Источник: Закрытая научная библиотека ieeexplore.ieee.org
Ежедневно растет популярность 3D-печати. Она используется практически во всех областях современной науки и технике. Применение этой технологии широко распространено: от архитектуры и дизайна, до биомедицины и аэрокосмической промышленности. Несмотря на свою популярность, процесс аддитивной 3D-печати обычно занимает некоторое время. Во время этого процесса необходимо быть уверенным, что печатный объект остается статичным, кроме того, нужно контролировать отсутствие загрязнения на печатающей головки и дефекты печати. В этой статье мы предлагаем решение проблемы обнаружения столкновений в аддитивном процессе 3D-печати путем разработки универсальной системы визуального контроля. Контроль технического процесса осуществляется путем введения визуальной обратной связи. Мы описали два метода, которые используются в компьютерном видении для распознавания: это обучение и отслеживание машин на основе особых точек. Совместное использование этих двух методов обеспечивает улучшенное качество обнаружение столкновений. Актуальность этих разработок подтверждается возможность получения экономических выгод от его интеграции за счет сокращения количества расходных материалов в случае столкновений. Это особенно верно в отраслях, которые использую дорогостоящие материалы для печати.
С каждым днем популярность 3D-печати возрастает, и это можно увидеть практически во всех областях современной науки и технике. Области использования этой технологии разнообразны: от архитектуры и дизайна до биомедицины и аэрокосмической промышленности. При 3D-печати можно создать трехмерную модель объекта на компьютере и на короткое время получить полезную физическую часть, соответствующую указанным параметрам. Если объекты, полученные после 3D-печати, внешне не отличаются от оригиналов. После 3D-печати, объекты могут не отличатся от оригиналов, выпущенных на заводе.
Во время аддитивного процесса трехмерная печать растягивается во времени, во время которой необходимо контролировать статический печатный объект, отсутствие загрязнения на печатающей головке и дефекты печати, такие как:
Все эти дефекты приводят к изменению внешнего вида предметов. Исходя из этого, мы можем создать систему визуального контроля и обнаружения дефектов и контролировать процесс объекта.
Для управления этим процессом запрашивается визуальная обратная связь, то есть необходима камера, которая встраивается в принтер, при помощи которой будет контролироваться процесс печати и передавать необходимую информацию, в виде компьютерного изображения. В случае падения, смещения или наличия дефектов система визуального управления генерирует сигнал, чтобы оставить технологический процесс печати.
В ходе этого исследования возник вопрос о выборе программного продукта, который обеспечивает возможность получать и обрабатывать визуальную информацию. Наиболее известными продуктами, которые обеспечивают желаемую функциональность, являются: программный пакет MatLab и открытая библиотека открытого программного обеспечения OpenCV. MatLab имеет специальный пакет расширения ImageProcessingToolbox, который представляет широкий спектр инструментов для цифровой обработки и анализа изображений. MatLab также является компонентом Neural Network Toolbox. Эти компоненты содержат алгоритмы, функции и приложения для создания, обучения, визуализации и моделирования нейронных сетей. Однако использование этого пакета требует обязательного наличия дорогостоящей лицензии. Библиотека OpenCV является общедоступным программным продуктом и специализируется именно на компьютерном видении. В результате этого в качестве базовой платформы для реализации была выбрана библиотека OpenCV.
Для обнаружения отклонений в процессе печати предлагается использовать технологию компьютерного зрения: Machine Learning and Tracking.
3.1 Машинное обучение для распознавания образов.
Машинное обучение является передовой, развивающейся и дающие отличные результаты технологией.
Машинное обучение – это практически единственный метод, позволяющий распознавать визуальные объекты при изменении внешних условий.
В ходе исследований было обнаружено, что методы обнаружения, разработанные для обнаружения человеческих лиц и, в частности ранее разработанных параметров и испытанных каскадов классификаторов, основанных на каскадах Haapa для человеческих лиц и эмоций. Они были полезны для построения классификаторов, которые распознают детали, напечатанные 3D-принтером или каких-либо специальных меток, отпечатанных на поверхности детали.
При этом с помощью машинного обучения предполагается распознавания изображения детали в целом или при помощи меток, нанесенных специально на поверхность детали во время печати. Однако распознавание целых деталей является достаточно грубой, необходимой, но не достаточной оценкой соответствия напечатанной детали требуемым параметрам. Поскольку каскадный классификатор является адаптивной пороговой функцией, то в результате распознавания, весовая функция может превысить требуемое значение даже при отсутствии некоторых критических элементов детали. В то же время такой подход имеет еще дин недостаток, а именно необходимость предварительной подготовки, которая естественно нивелируется для объемной печати одной и той же моделью, однако, не логично их использовать, когда хочется создать единую модель на 3D-принтере.
Вследствие этого авторы считают, что распознавание специально применяемых меток является приоритетом. Для распознавания образов используется каскадные классификаторы с использованием примитивов Haapa, поэтому наиболее оптимальным видом метки, которая будет применена к объекту, является сами каскады Haapa или их комбинации (рис.1)
Необходимо помнить, что отклонение или поворот детали под любым углом может произойти при печати на 3D-принтере, в том числе кратные 90 градусам. Поэтому для управления статическими элементами необходимо задать асимметричную форму метки. Таким образом, выбор подходящей метки, задача распознавания отклонений или падающих деталей становится решаемой.
Метка автоматически печатается на объекте и постоянно контролируется во время процесса печати. Следует использовать два типа меток: герметичные и поверхностные.
Загерметизированные метки – это метки, которые помогают отслеживать конфликты непосредственно во время печати. Такие метки отпечатываются во внутренней сетчатой структуре модели и используются для контроля точности на этом конкретном слое печати; после контроля метка естественно герметизируется следующим слоем. Преимущество этих меток заключается в том, что они не влияют на конечный продукт и не требуют удаления, поскольку они видны только во время печати.
Каждый слой сетки состоит из прямых углов, пересекающихся под прямым углом. Внутри этих линий вписана фигура, которая содержит примитивы Haapa в своей структуре это и есть отпечатанная метка (рис. 2.).
Для управления полностью напечатанной фигурой предлагается применить аналогичную технологию – распознавания поверхностных меток. Суть этой технологии заключается в применении объемной метки на поверхности детали (рис.3). Обнаружение (для контроля) такой метки может быть выполнено как во время процесса печати, так и после его завершения. Эта метка, в отличие от наклеенных, требует удаления, с поверхности напечатанного объекта механическими средствами после завершения процесса печати.
3.2 Отслеживание по сингулярным точкам
Сингулярные точки (углы) – локальные особенности изображения которые формируются с двух или более сторон, обычно определяя границу между различными объектами или частями одного и того же объекта. В качестве альтернативы можно сказать, что углы – это точки, в которых интенсивность изменяется в окрестности центра относительно (x,y).
Детектор угла – это подход, используемый в системах компьютерного зрения, для извлечения определенных функций изображения. Угловой детектор часто используется в методах обнаружения движения, сравнивая изображения, отслеживания, комбинирования панорамных изображений, трехмерного моделирования и распознавания объектов.
Подходы к определению особых точек можно разделить на две категории:
В этом случае только второй метод, поскольку напечатанная фигура является монотонным объектом.
Для реализации работы предполагается использовать смоделированный образ детали, воссозданный на компьютере и изображение фактически отпечатанной части. В обоих изображениях, необходимо искать специальные точки, а затем сделать их сравнение на два изображения с учетом смоделированных изображений в качестве эталонной. Совпадение расположения особых точек на реальном и эталонном изображениях показывает нормальны ход процесса печати. Отсутствие некоторых точек, обнаруженных на эталонной модели или их смещение на реальном объекте, сообщает о наличии конфликтов в процессе печати (рис.4)
На рисунке 5 показан пример распознавания детали напечатанной 3D-принтером.
Таким образом совместное использование двух различных методов машинного зрения должно привести в созданию системы с качественным характеристиками, превосходящими каждую используемую технологию. То есть эти технологии работаю вместе, чтобы дополнять друг друга.
Актуальность этой технологии подтверждается возможность получения экономических выгод от его интеграции за счет сокращения объема поставок в случае конфликтов, которые особенно востребованы отраслями, использующими дорогие печатные материала.
Дальнейшими областями исследований в этом проекте буду:
Программное обеспечение было разработано в процессе исследования, что позволяет осуществлять визуальный контроль положения статического объекта при печати на 3D-принтере.