Автореферат магистерской работы
Тема магистерской работы - "Исследование эффективности алгоритмов распознавания
цветной маркировки объектов для систем технического зрения"
Содержание
Введение
Проблемы обработки изображений, расшифровки, анализа и распознавания - одни из основных
проблем решаемых в различных областях научных и прикладных исследований, а также
при разработке систем диагностики, тестирования и управления в промышленности. Автоматизация
решения этих проблем - одна из основных задач.
Актуальность задачи
Среди проблем, возникающих при разработке прикладных и научно-исследовательских
автоматизированных комплексов, выделяется круг задач, связанных с обработкой зрительной
информации в реальном времени. Подобные задачи возникают в автоматизации контроля,
управлении промышленными установками, информационных системах мобильных роботов.
Необходимость функционирования систем технического зрения (СТЗ) в режиме реального
времени оказывает существенное влияние на выбор аппаратного и программного обеспечения
для реализации этих систем. В ряде СТЗ используются рабочие станции с операционными
системами (ОС) реального времени, а также специализированные вычислительные машины
и процессоры для обработки зрительной информации. Высокая стоимость СТЗ на базе
подобного аппаратного обеспечения не позволяет использовать их в небольших прикладных
и исследовательских комплексах.
В данной работе будет разработана система учета покрышек, использующая стандартные
программные и аппаратные средства.
Цели и задачи работы
Целью магистерской работы является разработка системы технического зрения для определения
типов покрышек по цветовой маркировке.
В ходе работы необходимо решить следующие задачи:
- Выполнить обзор методов распознавания изображений;
- Проанализировать существующие алгоритмы обработки и распознавания изображения и выбрать
оптимальный для данной задачи метод решения;
- Разработать систему распознавания цветовой маркировки сырых автопокрышек.
Предполагаемая научная новизна
В ходе работы будут разработаны и получены новые результаты:
- Выполнен обзор существующих алгоритмов;
- Разработана методика анализа и тестирования алгоритмов;
- Выполнен анализ и выбор алгоритма распознавания изображения.
Практическое значение полученных результатов
Результаты проводимых исследований позволят создать систему распознавания и учёта
сырых автопокрышек, которая позволит в автоматическом режиме осуществлять учет сырых
автопокрышек, проходящих по транспортной линии.
Обзор выполненных исследований и разработок
Задачам обработки изображений посвящено огромное количество работ. К наиболее известным
трудам в этой области относятся следующие книги: У. Прэтт «Цифровая обработка изображений»,
Сойфер В.А. «Компьютерная обработка изображений». Существует возможность обработки
изображений в пакете MatLab.
Имеются различные научные и прикладные компьютерные программы, а также промышленные
программные пакеты, которые решают эти задачи. Невозможно описать все из них. Поэтому
здесь мы можем отметить только, что они часто имеют узкоспециализированное назначение
и не могут использоваться (перенастраиваться) для решения широкого круга задач. Кроме
того, многие из них являются только полуавтоматическими и многие действия должен
выполнять оператор. Это не позволяет использовать их в автоматических системах диагностики
и управления. В целом, можно отметить, что имеется очень много научных и прикладных
задач связанных с задачами автоматического анализа изображений, которые не решены
еще в полной мере.
Описание системы учета покрышек
Программная часть системы учёта покрышек состоит из трёх модулей. Сервер баз данных
позволяет хранить всю полученную информацию о покрышках. Служба распознавания сырых
покрышек, получает информацию от видеокамер и передаёт её серверу баз данных. Клиентская
программа позволяет оператору контролировать процесс учёта, просматривать базу
данных прошедших покрышек и генерировать отчёты. На рисунке 1 изображена полная
схема системы учёта сырых покрышек.
1. Схема системы учёта сырых покрышек
Сервер баз данных и служба распознавания сырых покрышек работают постоянно, но их
работа скрыта от пользователя. Оператор может получать информацию о работе системы
при помощи клиентской программы. Но даже если клиентская программа не запущена,
учёт покрышек всё равно ведётся. Оператор может в любой момент закрыть клиентскую
программу, не опасаясь потерь данных. Сервер баз данных и служба распознавания запускаются
автоматически после включения компьютера.
Вся информация о прошедших по транспортной системе покрышках хранится в базе данных.
База данных – это несколько таблиц, в которых упорядоченно хранятся данные. База
данных зашифрована, и доступ к ней можно получить только при помощи клиентской программы.
Анимация 1 - Съемка маркировки на камеры.
Требования к системе
Система должна выполнять такие функции:
- Передача изображений с камер в компьютер.
- Распознавание маркировки покрышек.
- Определение остановки транспортной линии.
- Возможность изменения параметров системы распознавания.
- возможность выбора типа покрышек в ручном режиме.
- вести базу данных о прошедших по транспортной системе покрышках.
Теоретический анализ методов распознавания
Распознавание изображения делится на несколько этапов:
- Восприятие изображения;
- Предобработка;
- Сегментация;
- Фильтрация;
- Распознавание.
Шумоподавляющая фильтрация изображений
Изображения, введенные в компьютер, редко бывают идеального качества. Чаще всего,
кроме собственно изображения они содержат так называемый "шум". Это может быть искажение
цвета или яркости некоторых групп пикселов, или же совершенно неправильные значения
отдельных пикселов никак не связанные с их истинным цветом.
Шум может вносится в изображение многими путями, начиная от условий его формирования
и заканчивая преобразованием захваченного изображения в цифровую форму. По способу
искажения изображения шум можно разделить на несколько разновидностей:
- Аддитивный шум - к значению цвета или яркости каждого пиксела добавляется
некоторая случайная величина, значения которой в каждой точке различны.
- Мультипликативный шум - значение цвета или яркости каждого пиксела умножается
на некоторую случайную величину, значения которой близки к единице и в каждой точке
различны. Частным случаем мультипликативного шума является спекл-шум, присутствующих
на изображениях, полученных в результате отражения когерентного излучения. Спекл-шум
присутствует на радиолокационных изображениях и изображениях ультразвуковой диагностики.
- Импульсный шум - значения цвета или яркости некоторых отдельных пикселов
искажаются настолько, что теряют всякую информацию о их неискаженных значениях.
Уменьшение шума без снижения качества исходного изображения всегда привлекало внимание
многих исследователей. Методов шумоподавления разработанно очень много, и постоянно
появляются новые. Связанно такое многообразие с тем, что существует множество источников
и, соответственно, видов шума. Кроме того, различные задачи налагают свои требования
и ограничения на качество необходимых им изображений.
Для подавления шума используются следующие методы:
- Линейные алгоритмы
Наиболее простые алгоритмы подавления шума на изображении. Это значит, что каждый
пиксел обработанного изображения получается линейной комбинацией нескольких пикселов
исходного изображения.
- Ранговые алгоритмы
Очень много нелинейных фильтров относятся к категории операторов ранговой или порядковой
статистики соседей. Это означает, что ближайшие соседи сортируются в порядке возрастания
их значений, и яркость пиксела отфильтрованного изображения получается на основе
анализа этого упорядоченного списка.
- Локально-адаптивные алгоритмы
Общим недостатком многих фильтров является то, что структура обработки в них не
зависит от свойств изображения. Следствие этого - сглаживание полезных деталей (границ,
тонких линий и т.п.). Поэтому исследования, проводимые в последние годы, во многом
были связаны с синтезом локально-адаптивных алгоритмов фильтрации и анализом их
работоспособности при воздействии шумов различной природы (аддитивных, импульсных,
зависящих от сигнала).
- "Экспертные" алгоритмы
Дальнейшее развитие локально-адаптивных алгоритмов связано с использованием нескольких
параметров адаптации одновременно и применением экспертной системы для предварительного
распознавания принадлежности точки к одному из заданных типов объектов. Затем, в
соответствии с принятым решением используется тот или иной тип фильтра.
- Эволюционные алгоритмы
Методы фильтрации изображения, основанные на представлении его изменения, как эволюции
в искусственном времени.
- Алгоритмы, основанные на группировке пикселей по яркости
Методы сглаживания изображения, основанные на группировке пикселов в зависимости
от их близости по яркости к центральному.
- Другие алгоритмы
Если известно, что должно представлять собой изображение, и можно сформировать некую
модель, которой оно должно соответствовать, то можно построить учитывающие это обстоятельство
фильтры. Успешность такого подхода ограничивается используемой моделью изображения:
структура изображения не соответствующая модели не будет хорошо сохранена.
Сегментация изображения
Под сегментацией изображения понимается процесс его разбиения на составные части, имеющие содержательный смысл: объекты, их границы или другие информативные фрагменты, характерные геометрические особенности и др. В случае автоматизации методов получения изображений сегментацию необходимо рассматривать как основной начальный этап анализа, заключающийся в построении формального описания изображения, качество выполнения которого во многом определяет успех решения задачи распознавания и интерпретации объектов.
Пороговая сегментация
Наиболее простой метод сегментации - разделение по порогу. При этом значение яркости
каждого пиксела сравнивается с некоторым порогом, и в в зависимости от результата
сравнения этот пиксел относится к одной из двух групп. Определение порога в таких
алгоритмах является ключевой задачей.
Наращивание областей
Методы выделения областей путем наращивания основаны на поиске групп пикселов с
близкими значениями яркости. В простейшем варианте такой метод заключается в выборе
пиксела, просмотре его соседей на предмет близости значений яркости и включении
близких по яркости пикселов в формирующуюся область. Наиболее простой критерий однородности
области основывается на оценке максимальной разности значения яркости отдельного
пиксела и средней яркости формируемой области. Такой критерий будет надежно работать
только тогда, когда размер области уже достаточно большой, чтобы оценка средней
яркости была достоверной.
К методам наращивания областей относятся:
- Центроидное связывание
В алгоритмах центроидного связывания априорная информация об объектах учитывается
на этапе выбора стартовых точек. На каждом последующем шаге рассматриваются соседние
с размеченными точки, и если разность их яркостей меньше порога то они присоединяются
к области.
- Слияние-расщепление
Алгоритмы слияния-расщепления направлены на выделение в поле зрения D однородных
областей как можно больших размеров. Предварительно выделенные однородные области
интерпретируются как один элемент изображения.
- Водоразделов
Этот подход предусматривает предварительное вычисление градиента яркости изображения.
Если представить его, как рельеф, то низменности (малые значения градиента) будут
соответствовать однородным участкам исходного изображения, а хребты (большие значения
градиента) соответствуют областям сильного изменения яркости, т.е. границам на исходном
изображении. Такая аналогия позволяет рассматривать однородные области как водосборные
бассейны, а границы как водоразделы. Причем водоразделы, по определению, обязательно
представляют собой замкнутые линии, т.к. они ограничивают водосборные бассейны.
- Деформируемые шаблоны
Часто для моделирования всего лица или его элементов (глаз, губ и т.п.) в задачах
распознавания лиц и визуального распознавания речи используются деформируемые шаблоны
[y8]. Эти шаблоны имеют определенные структурные характеристики. Например голова
представляется эллипсом, а губы четырьмя параболами. Для шаблона записывается функция
энергии, которая часто является просто суммой энергии, связанной с изображением,
и внутренней энергии шаблона:
E = EI + Eш.
Связанная с изображением энергия EI обычно представляется функцией границ, областей
максимумов и минимумов изображения. Внутренняя энергия Eш обеспечивает сохранение
параметров шаблона в приемлемых диапазонах. Она моделирует сопротивление шаблона
изгибу и растяжению. Минимизация функции энергии дает шаблон, который лучше всего
соответствует изображению. Основной недостаток подхода с деформируемыми шаблонами
та, что функции энергии разрабатываются заранее исходя из общих соображений и могут
плохо соответствовать конкретному изображению.
Сегментация на основе обнаружения границ
Многие методы сегментации изображений основаны на обнаружении границ. Существует
множество различных подходов к обнаружению границ на изображениях и постоянно разрабатываются
новые.
К этим методам относятся:
Более детально алгоритмы сегментация на основе обнаружения границ рассмотрены в
работе
[18].
Распознавание с помощью нейронных сетей
Искусственные нейронные сети (НС) — совокупность моделей биологических нейронных
сетей.
Представляют собой сеть элементов — искусственных нейронов — связанных между собой
синаптическими соединениями. Сеть обрабатывает входную информацию и в процессе изменения
своего состояния во времени формирует совокупность выходных сигналов.
Работа сети состоит в преобразовании входных сигналов во времени, в результате чего
меняется внутреннее состояние сети и формируются выходные воздействия. Обычно НС
оперирует цифровыми, а не символьными величинами.
Большинство моделей НС требуют обучения. В общем случае, обучение — такой выбор
параметров сети, при котором сеть лучше всего справляется с поставленной проблемой.
Обучение — это задача многомерной оптимизации, и для ее решения существует множество
алгоритмов.
Рисунок 2 – Формальный нейрон
Многослойный перцептрон
Формальные нейроны могут объединяться в сети различным образом. Самым распространенным
видом сети стал многослойный перцептрон (рис. 3).
Рисунок 3 – Многослойный перцептрон
Сеть состоит из произвольного количества слоев нейронов. Нейроны каждого слоя соединяются
с нейронами предыдущего и последующего слоев по принципу "каждый с каждым". Первый
слой(слева) называется сенсорным или входным, внутренние слои называются скрытыми
или ассоциативными, последний (самый правый, на рисунке состоит из одного нейрона)
— выходным или результативным. Количество нейронов в слоях может быть произвольным.
Обычно во всех скрытых слоях одинаковое количество нейронов. Обозначим количество
слоев и нейронов в слое. Входной слой: NI нейронов; NH нейронов в каждом скрытом
слое; NO выходных нейронов. x — вектор входных сигналы сети, y - вектор выходных
сигналов. Работа многослойного перцептрона (МСП) описывается формулами:
где индексом i всегда будем обозначать номер входа, j — номер нейрона в слое, l
— номер слоя.
xijl — i-й входной сигнал j-го нейрона в слое l;
wijl — весовой коэффициент i-го входа нейрона номер j в слое l;
NETjl — сигнал NET j-го нейрона в слое l;
OUTjl — выходной сигнал нейрона;
— пороговый уровень нейрона j в слое l;
Методы обучения
Алгоритмы обучения бывают с учителем и без. Алгоритм называется алгоритмом с учителем,
если при обучении известны и входные, и выходные вектора сети. Имеются пары вход
+ выход — известные условия задачи и решение. В процессе обучения сеть меняет свои
параметры и учится давать нужное отображение X-> Y. Сеть учится давать результаты,
которые нам уже известны. За счет способности к обобщению сетью могут быть получены
новые результаты, если подать на вход вектор, который не встречался при обучении.
Алгоритм относится к обучению без учителя, если известны только входные вектора,
и на их основе сеть учится давать наилучшие значения выходов. Что понимается под
“наилучшими” — определяется алгоритмом обучения.
Обучение многослойного перцептрона
Алгоритм обратного распространения ошибки
Для однослойного перцептрона алгоритм обучения очевиден. Как обобщить этот простой
алгоритм на случай многослойной сети? Эту задачу решает алгоритм Румельхарта-Хинтона-Вильямся
(алгоритм обратного распространения ошибки). Он был предложен в различных вариациях
в нескольких научных работах, существует также множество улучшенных версий алгоритма.
Сеть Кохонена
Если для классификации применять нейронные сети, необходимо формализовать задачу.
Самый очевидный способ: выберем в качестве входных данных вектор параметров единственного
объекта.
Результатом работы сети будет код класса, к которому принадлежит предъявленный на
входе объект.
Рисунок 4 - Сеть Кохонена
Обучение сети
Если число входных векторов равно числу ядер (т.е. нейронов), то обучение не нужно.
Достаточно присвоить ядрам значения входных векторов, и каждый вектор будет активировать
свой нейрон Кохонена. Но чаще всего количество классов меньше числа входных векторов.
В этом случае веса сети настраиваются итеративным алгоритмом.
Сеть встречного расспространения
Слой Гроссберга
Сеть встречного распространения (СВР) была предложена Робертом Хехт-Нильсеном в
1987 г.
Она состоит из двух слоев нейронов: слоя Кохонена и слоя Гроссберга (рис. ). Слой
Кохонена работает в режиме интерполяции или аккредитации. Все слои полносвязны.
Рисунок 5 - Сеть встречного распространения.
Слой Гроссберга предназначен для совместной работы со слоем, дающим единственную
единицу на выходе (как у слоя Кохонена в режиме аккредитации) или такой набор выходов,
что их сумма равна единице (как слой Кохонена с функцией SOFTMAX в режиме интерполяции).
Нейроны слоя Гроссберга вычисляют взвешенную сумму своих входов. Функция активации
не используется (линейная). Слой Гроссберга дает на выходе линейную комбинацию своих
векторов весов, коэффициенты комбинации задаются входами слоя Гроссберга.
Обучение сети встречного распространения
Сеть обучается с учителем, хотя и включает в себя слой Кохонена. Для обучения необходимо
обучающее множество, содержащее пары векторов (xp,yp)(рис.
5). Особенность СВР в том, что оба вектора xp,yp подаются
и на вход, и снимаются с выхода сети.
Цветовые модели
Для реализации алгоритма распознавания необходимо выбрать модель представления данных.
Рассмотрим основные цветовые модели:
Модель RGB
Модель RGB (Red Green Blue ) описывает излучаемые цвета и образована на трех базовых цветах: красном (red), зеленом (green) и синем (blue). Обычно ее называют моделью аддитивных основных цветов. Все цвета образуются смешиванием этих трех основных в разных пропорциях (т. е. с разными яркостями). При смешении двух лучей основных цветов, результирующий цвет будет светлее составляющих. Модель является аппаратно-зависимой, так как значения базовых цветов (а также точка белого) определяются качеством примененного в вашем мониторе люминофора. В результате на разных мониторах одно и то же изображение выглядит неодинаково.
Рисунок 6 - Модель RGB
Модель CMY
Модель CMY (Cyan Magenta Yellow). В этой модели основные цвета образуются путем вычитания из белого цветов основных аддитивных цветов модели RGB.
Рисунок 7 - Получение модели CMY из RGB
Цвета, использующие белый свет, вычитая из него определенные участки спектра называются субтрактивными. Основные цвета этой модели: голубой (белый минус красный), фуксин (в некоторых книгах его называют пурпурным) (белый минус зеленый) и желтый (белый минус синий). Эти цвета являются полиграфической триадой и могут быть легко воспроизведены полиграфическими машинами. При смешение двух субтрактивных цветов результат затемняется (в модели RGB было наоборот). При нулевом значении всех компонент образуется белый цвет (белая бумага). Эта модель представляет отраженный цвет, и ее называют моделью субтрактивных основных цветов. Данная модель является основной для полиграфии и также является аппаратно-зависимой.
Рисунок 8 - Модель CMY
Модель HSB
Модель HSB (Hue Saturation Brightness = Тон Насыщенность Яркость) построена на основе субъективного восприятия цвета человеком. Предложена в 1978 году. Эта модель тоже основана на цветах модели RGB, но любой цвет в ней определяется своим цветом (тоном), насыщенностью (то есть добавлением к нему белой краски) и яркостью ( то есть добавлением к нему черной краски). Фактически любой цвет получается из спектрального добавлением серой краски. Эта модель аппаратно-зависимая и не соответствует восприятию человеческого глаза, так как глаз воспринимает спектральные цвета как цвета с разной яркостью (синий кажется более темным, чем красный), а в модели HSB им всем приписывается яркость 100%. Модель является аппаратно-зависимой.
Рисунок 9 - Модели HSB и HSV
H определяет частоту света и принимает значение от 0 до 360 градусов.
V или B: V - значение (принимает значения от 0 до 1) или B - яркость, определяющая уровень белого света (принимает значения от 0 до 100%). Являются высотой конуса.
S - определяет насыщенность цвета. Значение ее является радиусом конуса.
Рисунок 10 - Цветовой круг при S=1 и V=1 (B=100%)
Перевод из RGB в HSV
Перевести из HSL в RGB
Заключение
В ходе работы, в соответствии с определенными целями будут разработаны и получены:
- Обзор методов распознавания изображений;
- Методика анализа алгоритмов;
- Анализ алгоритмов распознавания изображения.
На основании проведенного исследования будет разработана система распознавания автопокрышек
по цветовой маркировке.
При написании данного автореферата магистерская работа еще не завершена.
Окончательное завершение: январь 2007 г. Полный текст работы и все материалы по теме могут быть получены
у автора, или его руководителя после указанной даты.
Спсок источников
- Handbook of pattern recognition and computer vision / Chen C.H., Rau L.F. and Wang
P.S.P.(eds.). – Singapore-New Jersey-London-Hong Kong: World Scientific Publishing
Co. Pte. Ltd., 1995. - 984 p.
- Shalkoff R.J. Digital image processing and computer vision. – New York-Chichester-Brisbane-Toronto-Singapore:
John Wiley & Sons, Inc., 1989. - 489 p.
- Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. М: Машиностроение,
1990. 320 с.
- Гиренко А.В., Ляшенко В.В., Машталир В.П., Путятин Е.П. Методы корреляционного обнаружения
объектов. Харьков: АО “БизнесИнформ”, 1996. 112 с.
- Р. Вудс, Р. Гонсалес Цифровая обработка изображений Издательство: Техносфера. ISBN
5-94836-028-8, 2005 г. 1072 стр.
- Дэвид А. Форсайт, Джин Понс Компьютерное зрение. Современный подход 2004, 1 кв.;
Вильямс. 928 стр.
- Адаптивные методы обработки изображений. Сб. науч. тр. под ред. В.И. Сифорова, Л.П.
Ярославского – М.: Наука,1988.– 244с.
-
1. L.Gupta and M.R.Sayeh. Neural networks for planar shape classification. IEEE.
1998. P.936.
- А.П. Горелик, В.А. Скрипкин. Методы распознавания. М. "Высшая школа". 1989. С.216.
- Прэтт У. Цифровая обработка изображений. В 2-х книгах. Пер. с англ. -М.: Мир, 1982
- Павлидис Т. Алгоритмы машинной графики и обработки изображений. Пер с англ. -М.:
Радио и Связь, 1986
- В. Яншин, Г. Калинин, Обработка изображений на языке СИ для IBM PC. Алгоритмы и
программы. -М.: Мир, 1994
- В.И. Васильев, А.И. Шевченко, Формирование и опознавание образов ДонГИИИ 2000 359с.
- Абакумов В.Г., Крылов В.Н., Антощук С.Г. Обнаружение и распознавание признаков объектов
с помощью сферической модели зрительного анализатора // Электроника и связь. – 2000.
№8. т. 2. – С. 211-212.
- Белявцев В. Г., Воскобойников Ю. Е. Локальные адаптивные алгоритмы фильтрации цифровых
изображений // Научный вестник НГТУ. – 1997. №3. – С. 21-32.
- Быстрые алгоритмы в цифровой обработке изображений / Т. С. Хуанг, Дж.-О. Эклунд,
Г. Дж. Нуссбаумер и др. / Под ред. Хуанга Т. С. – М.: Радио и связь, 1984.
- Обзор методов распознавания http://sumschool.sumdu.edu.ua/is-02/rus/lectures/pytyatin/pytyatin.htm
- Обзор методов сегментации
http://www.uran.donetsk.ua/~masters/2005/kita/tribrat/diss/index.htm
- Учебник - нейронные сети. Методы обучения http://www.neuroproject.ru/neuro.php
- Морфологический анализ формы изображений http://www.butovo.com/~zss/bw_morf.html
- Сравнительный анализ алгоритмов обучения нейронных сетей http://cache.rcom.ru/~dap/nneng/nnlinks/nbdoc/compare2.htm
- Общая характеристика задач распознавания образов и их типы http://www.intuit.ru/department/human/isrob/4/
- Распознавание человека по изображению лица и нейросетевые методы http://daily.sec.ru/
- Параллельный перепрограммируемый вычислитель. Возможность применения для обработки изображений и программное обеспечение. http://www.niisi.ru/old/pap2.htm
Наверх
|