Оперативное измерение размеров изделия с использованием компьютерного зрения

Аннотация

Измерение размеров существующих продуктов очень важно во многих областях, особенно в области обратного инжиниринга. Использование традиционных методов для получения размеров изделия считается трудоемким. В последние годы появление высокоскоростных цифровых компьютеров общего назначения и систем визуального контроля делает анализ изображений простым и гибким. Таким образом, с помощью компьютерного зрения изображения для существующих продуктов могут быть получены и обработаны с использованием специальных методов обработки изображений для получения размеров продукта.

В этой работе представлена новая система визуального контроля для измерения размеров существующих изделий. Представленная система состоит из двух основных частей, аппаратной и программной. Аппаратное обеспечение включает в себя IBM-совместимый персональный компьютер с операционной системой Windows 98, frame grabber в качестве платы захвата и CCD-камеру (устройство заряженной пары). Программное обеспечение написано специально для выполнения специальных методов обработки изображений на захваченных изображениях, чтобы можно было получить размеры каждого объекта на изображении. Предлагаемое программное обеспечение написано с использованием Microsoft Visual C++ версии 6.0 и готово к запуску в любой среде Windows. Предлагаемое название этого программного обеспечения - DMVision (Dimensional Metrology by Vision).

Предлагаемая система способна классифицировать различные объекты на захваченных изображениях, т.е. различать линии, дуги и круги. Всю необходимую информацию по этим объектам можно легко получить. Например, извлеченные размеры для дуг включают радиус и координаты начальной, конечной и центральной точек. Кроме того, можно рассчитать начальный и конечный углы дуги. Система откалибрована для получения как метрических, так и имперских размеров. Чтобы проверить точность предлагаемой системы, два продукта были измерены отдельно с использованием датчиков скольжения и предлагаемой системы. Процентные погрешности между фактическими и измеренными размерами не превышали 0,15%.

Ключевые слова: Измерения, Компьютерное зрение, Обработка изображений, Извлечение признаков.

Введение

Компьютерное зрение в конечном счете связано с использованием существующих технологий наиболее эффективным способом для понимания мира, который они видят, в режиме реального времени и без какойлибо человеческой помощи. Компьютерные аспекты системы видения связаны с аппаратными элементами оптических датчиков, архитектурой параллельной обработки, компьютерной графикой и дисплеями, а также программными элементами обработки данных и вычислений. Аспекты зрения отражают зрительную систему человека и охватывают функциональные аспекты глаза, зрительного нерва и мозга, где результатом этой техники являются двумерные изображения, которые являются такими же, как в природе [1].

За последнее десятилетие развитие технологии машинного зрения привело к появлению ряда новых применений этой технологии в производстве. Основные области применения в производстве включают контроль и измерения [2, 3], анализ местоположения [5], распознавание деталей [4-6], анализ поверхности [7] и управление роботом [2]. В последнее время машинное зрение успешно применяется для создания САПР-моделей существующих деталей в виде инженерного чертежа [8].

Возможность проводить онлайн-измерения и оценку поверхности детали в режиме реального времени повысила бы полную автоматизацию широкого спектра производственных процессов и позволила бы оценить текущую производительность. Было показано, что компьютерное зрение имеет большое значение для распознавания компонентов и контроля [10]. В этой работе представлена новая и относительно дешевая система визуального контроля для измерения размеров существующих изделий в качестве приложения компьютерного зрения в области размерной метрологии.

Предлагаемая система зрения

Предлагаемая система зрения состоит из двух основных частей, аппаратной и программной. Оборудование включает в себя следующие элементы:

1. Персональный компьютер, совместимый с IBM, с операционной системой Windows (Windows 9x, 2000 или NT).
2. Активный захват ELF-VGA для обработки изображений (24 бита на пиксель) в качестве платы захвата. Рамка захвата поставляется с программным обеспечением под названием ELF-VGA EVC для управления настройками захвата кадров, а также для захвата изображений и сохранения их в файлах.
3. Камера (цветная видеокамера JVC).
4. Подсветка для освещения объектов, которые будут сняты с использованием техники подсветки.
5. С камерой доступны пять различных объективов (фокусное расстояние 18, 25, 35, 50 и 75 мм). Объектив был выбран для получения четко сфокусированного изображения с минимальным расстоянием между передней частью объектива и объектом съемки (обычно 35 мм).

Программное обеспечение написано специально для выполнения специальных методов обработки изображений на захваченных изображениях, чтобы можно было получить размеры каждого объекта на изображении. Предлагаемое программное обеспечение написано с использованием Microsoft Visual C++ версии 6.0 и готово к запуску в любой среде Windows - DMVision (Dimensional Metrology by Vision). На рисунке (1) показана схема компоновки предлагаемой системы визуального контроля.

Работа с системой

Работа с предлагаемой системой видения выглядит следующим образом:

1. Включение всех элементов системы и размещение устройства на столе с подсветкой.
2. Запустите программное обеспечение ELF-VGA и настройте его для получения более качественного изображения, затем сделайте снимок и сохраните его в файле в формате BMP (доступны другие форматы).
3. Редактирование захваченного изображения, при необходимости, с помощью любого программного обеспечения для обработки растровых изображений (например, Paint Shop Pro) для улучшения фона.
4. Откройте захваченное изображение с помощью программного обеспечения DM Vision и преобразуйте его в изображение в оттенках серого.
5. Применение различных алгоритмов из программного обеспечения DMVision для обработки изображения и получения его размеров.

Алгоритм DMVision

При создании программного обеспечения DMVision было использовано множество алгоритмов, рис. (2). Наиболее важными алгоритмами, используемыми для обработки захваченных изображений, являются алгоритмы сегментации, обнаружения краев, извлечения объектов и калибровки.

Алгоритмы сегментации. Как только изображение было открыто программным обеспечением DMVision, к изображению были применены алгоритмы сегментации. Эти алгоритмы преобразуют цифровое изображение уровня серого в двоичное изображение, что помогает отделить передний план (объект) от фона. Алгоритм сегментации состоит из двух алгоритмов следующим образом:

• Для вычисления порогового значения можно использовать множество методов. Выбор подходящего порогового алгоритма зависит от используемого приложения. В этой работе был использован алгоритм среднего значения. Этот алгоритм зависит от вычисления двух уровней серого, которые имеют максимальные частоты в сером изображении, а затем определения среднего значения уровня серого между ними. Это среднее значение рассматривается как пороговое значение.
• Этот алгоритм создает двумерный массив с тем же размером серого изображения для хранения двоичного изображения. Массив двоичных изображений заполняется либо 1, либо 0 в соответствии со значением порога следующим образом:
  if g(x,y) >= T then b(x,y) = 1 (для переднего плана);
  if g(x,y) < T then b(x,y) = 0 (для фона).

Где: T – пороговое значение, g(x,y) - значение уровня серого пикселя в местоположении (x,y) и b(x,y) это двоичное значение, которое будет сохранено в двоичном массиве в том же месте (x,y).

Алгоритмы обнаружения границ. Края обычно возникают на границе между двумя разными областями изображения. Граничная точка может быть определена на основе четырех или восьми соседей. Некоторые алгоритмы обнаружения краев обнаруживают края в два этапа: по горизонтали и вертикали. Такие алгоритмы было трудно применить в нашей работе, потому что им необходимо переставить обнаруженные граничные точки в полезную форму.

В этой работе используется метод восьми связанных граничных точек для определения граничных ребер. A была написана специальная методика обнаружения краев для обнаружения краевых точек в последовательном порядке для каждой границы изображения. Этот метод гарантирует последовательное обнаружение всех объектов на каждой границе, что помогает на этапе извлечения объектов. Если обработанное изображение содержит более одной границы, например отверстия или другие границы внутри основной границы, все края каждой границы помечаются специальным кодом, чтобы различать их. Для каждого обнаруженного пикселя три элемента сохраняются в двумерном массиве с именем EdgePixel. Первые два элемента – это X и Y координаты точки и третий элемент – это специальный код для каждой границы. На рисунке (3-А) показана блок-схема используемого алгоритма обнаружения границ. На рисунке (3-B) показан алгоритм функции с именем GetNextPixel, вызываемой алгоритмом обнаружения границ.

Алгоритмы извлечения признаков. Для извлечения основных объектов (линий, дуг и окружностей) были использованы два алгоритма извлечения объектов из изображения. Эти алгоритмы являются первичным извлечением признаков (PFE) и конечным выделением признаков (FFE).

Алгоритм PFE имеет дело с массивом EdgePixel, в котором хранятся граничные точки, полученные с помощью алгоритма обнаружения краев. Алгоритм PFE сканирует массив EdgePixel, начиная с первого элемента. Все последующие точки, имеющие одну и ту же координату X, были объединены для построения вертикальной линии. Таким же образом все последующие точки, имеющие одну и ту же координату Y, были объединены для построения горизонтальной линии. Алгоритм PFE вычисляет всю необходимую информацию для каждой строки в процессе извлечения. Извлеченная информация включает координаты X и Y для начальная и конечная точки каждой линии, длина линии и направление линии (горизонтальное/вертикальное). Результатом этого алгоритма является двумерный массив, обычно называемый PrimaryFeatures, содержащий необходимую информацию для списка последующих горизонтальных и вертикальных линий.

Алгоритм FFE обрабатывает массив PrimaryFeatures, полученный с помощью алгоритма PFE, для извлечения конечных объектов и сохранения их информации в двумерном массиве, называемом FinalFeatures array. Этот алгоритм имеет дело только с последующими короткими строками в массиве PrimaryFeatures, чтобы различайте наклонные линии, дуги и окружности. Длинные горизонтальные и вертикальные линии не обрабатываются этим алгоритмом и рассматриваются как конечные объекты. Максимальная длина коротких строк, которые могут быть обработаны этим алгоритмом, была принята равной 10 пикселям, однако это значение может контролироваться пользователем. Результатом этого алгоритма является двумерный массив, содержащий список объектов, расположенных последовательно в направлении против часовой стрелки. Вся необходимая информация для извлеченных объектов (линий, дуг и окружностей) была сохранена в массиве FinalFeatures.

Для текущей работы программное обеспечение DMVision извлекает только наклонные линии или дуги, которые лежат между двумя горизонтальными и вертикальными линиями. Этот алгоритм будет обновлен в будущем, чтобы он мог извлекать последовательные наклонные линии и дуги.

Алгоритм калибровки. Извлеченные размеры, полученные с помощью алгоритма FFE, были сохранены в виде пикселей. Был разработан алгоритм калибровки для преобразования этих измерений в фактические размеры. Процедуры процесса калибровки заключаются в следующем:

1. Расположите 100-мм датчик горизонтально, используя прямоугольный блок, на столе с подстветкой системы видения, затем измерьте расстояние между поверхностью датчика и поверхностью объектива камеры.
2. Захват изображения и обработка его программным обеспечением DMVision, затем вычисление длины датчика в горизонтальном направлении (в пикселях) по изображению.
3. Вычисление калибровочного коэффициента с именем XFactor путем деления вычисленной длины (в пикселях) на фактическую длину датчика(100).
4. Поверните датчик скольжения на 90^o, расположите его вертикально на столе.
5. Захват другого изображения и обработка его программным обеспечением DMVision для расчета длины в вертикальном направлении.
6. Вычисление другого калибровочного коэффициента, названного YFactor, путем деления рассчитанной длины на фактическую длину.
7. Расстояние между датчиком и лицевой стороной объектива камеры необходимо измененить на другое известное расстояние, и фокус объектива отрегулировать, затем повторить шаги 1-6 для вычисления другого коэффициента X и Y для нового расстояния
8. Шаг 7 был повторен 10 раз для вычисления XFactor и YFactor для 10 различных расстояний.
9. Связь между расстоянием и XFactor была построена с использованием MS Excel и получено уравнение для XFactor. Таким же образом было выведено уравнение для YFactor. Два уравнения были введены в программное обеспечение DMVision таким образом, чтобы пользователь мог ввести только расстояние между измеряемым объектом и лицевой стороной объектива камеры. Как XFactor, так и YFactor вычисляются автоматически из двух уравнений.

Проверка предлагаемой системы

Для проверки предложенной системы зрения были использованы два различных теста. Первый тест был использован для проверки способности программного обеспечения DM Vision извлекать объекты из захваченных изображений. Второй тест был использован для проверки точности всей системы.

Чтобы проверить способность программного обеспечения DM Vision извлекать объекты, тридцать изображений различной формы, от простых до сложных, были нарисованы с использованием программного обеспечения Paint Shop Pro. Все объекты были успешно извлечены для всех изображений с одинаковыми размерами.

Чтобы проверить точность всей системы, в мастерской Университета Мансуры были изготовлены два изделия разных размеров, затем были получены два изображения для двух изделий с использованием предлагаемой системы. Система была откалибрована для каждого продукта отдельно, и два изображения были обработаны с помощью программного обеспечения DMVision. Размеры каждого изделия были извлечены и сравнены с измеренными размерами. На рисунках (4 и 5) показано захваченное изображение и извлеченные элементы для одного из двух продуктов. Процентные погрешности между измеренными и извлеченными размерами указаны в таблице. Каждое значение вычислялось путем вычитания извлеченного измерения из соответствующего измеренного измерения, деления результата на измеренный размер, а затем умножения результата на 100.

Размеры этого изделия были измерены с помощью Measurescope-10 и блока датчиков. Точность измерения для обоих измерительных инструментов составила 0,001 мм.

Все объекты были извлечены правильно. Процентные погрешности между измеренными и извлеченными размерами составили менее 0,15 %. Это значение относительно считается недостаточным для производства высокоточных изделий. Эта проблема возникла по двум причинам. Первой причиной были большие размеры изделия, использованного в этом тесте. Вторая причина заключалась в ограниченном размере захваченных изображений (640 × 480), полученных с помощью устройства захвата кадров.

Точность системы может быть повышена либо за счет использования расширенного захвата кадров для получения изображений большого размера (например, 1024 × 1024 или более), либо за счет использования предлагаемой системы видения с небольшими продуктами.

Выводы

В этой работе представлена новая и менее дорогостоящая система визуального контроля для использования методов компьютерного зрения в области размерной метрологии. Система способна измерять размеры простых и относительно сложных форм путем захвата изображения измеряемого изделия и обработки этого изображения программным обеспечением DMVision.

Для обнаружения краев всех объектов на изображении был использован специальный алгоритм обнаружения краев. Алгоритм обнаружения краев способен обнаруживать края для любого количества объектов на одном изображении. Это также способен различать граничные пиксели как для внутреннего, так и для внешнего контурирования в одном и том же изображении. Для классификации объектов по обнаруженным краям были использованы два алгоритма извлечения признаков. Два алгоритма были способны различать наклонные линии, дуги и окружности.

Система оказалась точной, особенно для небольших изделий. Большей точности можно добиться, используя усовершенствованный захват кадров для получения изображений большого размера или используя предлагаемую систему визуального контроля для небольших продуктов. Некоторыми преимуществами предлагаемой системы видения являются:

1. Программное обеспечение DM Vision — это 32-разрядное приложение для Windows, поэтому многие файлы изображений можно легко и быстро открыть. Кроме того, результаты отображаются с помощью удобного и простого в использовании интерфейса.
2. Раздел способен открывать многие типы форматов файлов изображений, таких как BMP, TIFF, GIF и WMF.
3. Система способна обрабатывать простые и сложные формы, содержащие линии, дуги и круги.
4. Вся информация об извлеченных объектах вычисляется автоматически. Для линий вычисляемая информация включает длину, наклон и координаты двух конечных точек. Для дуг вычисленная информация включает в себя радиус, центральную точку и координаты двух конечных точек. Для окружностей вычисляемая информация включает радиус и центральную точку.
5. Извлеченные размеры можно сохранить в файл, распечатать на принтере или отобразить в окне на экране.

Литература

1. G. J. Awcock and R. Thomas, Applied Image Processing, MacMillan Press Ltd., Houndmills, Basingstoke, Hampshire RG21 2XS and London (1995)
2. David Vernon, Machine Vision, Automated Visual Inspection and Robot Vision, Prentice Hall International (UK) Ltd., New Work, London, Toronto, Sydney, Tokyo and Singapore (1991)
3. Abdallah A. Alshennawy, Computer Aided Dimensional Inspection by Using a Vision System, M. Sc. thesis, Mansoura University (1995)
4. J. H. Vanden Brande and A. G. Requicha Aristides, Spatial Reasoning for Automatic Recognition of Interacting from Features, Computers in Engineering, Proceedings of the ASME International computers in Engineering Conference and Exposition. Published by ASCE, Boston Society of Civil Engineering Sect, Boston, MA, USA (1990) 251-256
5. Y. I. Wang Zhong; Wang Xiang Jun and Y. E. Shenghua, Study on Vision Recognition, Position, and Orientation in a Flexible Automatic Coordinate Measuring System, Proceedings of SPIE the International society for optical engineering (28) (99) (1996) 517-526
6. Jhon Canny, A Computational Approach to Edge Detection, IEEE Transactions on pattern analysis and machine intelligence (PAMI-8) (6) (Nov. 1986) 679-698
7. E. S. Gadelmawla, I. M. Elewa, H. H. Soliman, M. M. Koura and T. M. A. Maksoud, Assessment of Surface Texture Using a Uniquely Featured Computer Vision Technique, Society of Manufacturing Engineering, 4th International Machining & Grinding, Troy, Michigan (MR01-233) (May 2001)
8. Huang Chien Nan and Motavalli Saeid, Reverse Engineering of Planar Parts Using Machine Vision, Computer and Industrial Engineering (26) (2) (Apr. 1994) 369-379
9. Idem, A Technique for Facilitating Threshold Selection for Object Extraction from Digital Pictures, Univ. of Maryland computer science center-Tech. Rep. 243, (1973)
10. G. A. H. Al-Kinidi, R. M. Baul and K. F. Gill, Experimental Evaluation of Shape from Shading for Engineering Component Profile Measurement, Proceedings of the Institution of Mechanical Engineers Part B-Journal of Engineers (203) (4) (1989) 211-216