ВВЕДЕНИЕ
Нахождение соответствий на изображениях является актуальной задачей в таких областях, как реконструкция трехмерных сцен, автономная навигация, визуальный контроль. Для этого часто используются стереоизображения. Два изображения одной области пространства, полученные с двух различных точек зрения, называются стереоскопической парой снимков (стереопарой). На основе вычисленных соответствий по стереопаре можно определить трехмерные координаты сцены. Для вычислений используется понятие эпиполярной конфигурации. В простейшем случае две одинаковые плоскости изображений параллельны базе стереосистемы (рисунок 1).
Рисунок 1 – Эпиполярная конфигурация нормальной пары изображений
Эпиполярной плоскостью называется плоскость, которой принадлежит трехмерная точка P, оптические центры двух камер C1 и C2, две проекции P1 и P2 точки P на плоскости изображений. Эпиполярными прямыми называются две прямые е1 и е2, которые являются прямыми пересечения эпиполярной плоскости с двумя плоскостями изображений I1 и I2. Расстояние между оптическими центрами камер называется базой b.
Диспаритет (диспаратность) – угловая невязка положений изображения некоторого объекта для двух снимков. Процесс измерения стереоскопического диспаритета состоит в выборе некоторой позиции на первом изображении, нахождении этой же позиции на втором изображении, измерении расстояния между этими позициями. Диспаритет определяется только для ректифицированных изображений.
Ректификация изображений является важной проблемой для нахождений плотных стереосоответствий и трехмерной реконструкции. Изображения считаются ректифицированными, если точки, между которыми существует соответствие, находятся на строках изображений с одинаковыми номерами. Изображения могут быть сделаны на разных высотах, под различными углами и с различных позиций. При обработке двух изображений такие различия могут быть исправлены путем ректификации.
Целью исследования является разработка устойчивого алгоритма нахождения соответствий для выполнения ректификации изображений и последующей трехмерной реконструкции. Для ректификации обычно используется сопоставление на основе точечных особенностей. При таком подходе на основе сопоставленных точечных особенностей вычисляется соответствующая модель преобразования. Для нахождения соответствий с целью увеличения устойчивости алгоритма предлагается использовать информацию о структуре сцены на основе построения графа по изображениям. Для получения дескрипторов изображения предлагается использовать алгоритм MSER.
НАХОЖДЕНИЕ СООТВЕТСТВИЙ ДЛЯ ЗАДАЧ РЕКТИФИКАЦИИ ИЗОБРАЖЕНИЙ
Недостатком существующих подходов ректификации является то, что приходится сопоставлять отдельные точки на двух изображениях, что приводит к ошибкам при нахождении соответствий и вычислении функции преобразования. Для повышения точности сопоставления предлагается использовать информацию о взаимном расположении точек на стереоизображениях. При этом происходит сопоставление не отдельных точек, а структур, представленных в виде графов. Сравнение графов состоит в поиске соответствий на основе более или менее строгих ограничений. По точности методы сравнения графов выделяют в две группы: методы точного сравнения, которые требуют нахождения строгого соответствия графов между вершинами и ребрами; методы приближенного сравнения, которые допускают существование некоторых различий в структуре графов.
Следует отметить, что в задачах распознавания образов точное сравнение графов проблематично использовать из-за наличия шумов и перекрытий, смены ракурса, деформаций объектов и т.д. Поэтому при построении графов могут появляться и исчезать дополнительные узлы и ребра. Атрибуты элементов графа также могут в этом случае изменяться. Строгие ограничения практически невозможно использовать в задачах распознавания изображений. В этом случае процесс сравнения графов необходимо свести к выполнению менее точных условий. Например, может быть снято ограничение на существование ребра между двумя вершинами графа.
При использовании графов для анализа структурных свойств используется представление, основанное на разложении матриц в спектр. Спектр графа представляет собой упорядоченный по возрастанию или убыванию вектор собственных чисел матрицы смежности графа. Спектральные методы основаны на следующем свойстве: собственные значения и собственные векторы матрицы смежности графа инвариантны относительно перестановок вершин графа. Следовательно, если два графа изоморфны, их матрицы смежности будут иметь одинаковые собственные значения и векторы. Однако обратное утверждение не является верным: существуют графы с различными структурами, но с одинаковым спектром. Спектральное представление графов обладает следующими достоинствами: является инвариантным к порядку вершин; содержит информацию о структуре графа; описывает структуру графа в виде числовых значений, что удобно для вычислений.
Алгоритм ректификации состоит из следующих шагов:
Шаг 1. Предварительная обработка. На этом шаге выполняется регулировка масштаба, удаление шума, нормализация контраста.
Шаг 2. Выбор особенностей. Чтобы сопоставить два изображения выбираются особенности. В качестве особенностей, предлагается использовать алгоритм MSER.
Шаг 3. Нахождение соответствий с использованием спектральной теории графов.
Шаг 4. Определение функции преобразования. Зная координаты множества соответствующих особенностей на изображениях, определяется функция преобразования второго изображения по отношению к первому.
Для нахождения особенностей используется алгоритм MSER (Maximally Stable Extremal Region). Алгоритм находит площадные особенности изображения, устойчивые к изменению ракурса (рисунок 2). Достоинством алгоритма является то, что можно задавать порог бинаризации и размер выделяемых областей. Тем самым можно значительно уменьшить количество выделенных особенностей при нахождении соответствий.
Рисунок 2 – Выделенные особенности MSER
ВЫВОДЫ
В работе был предложен подход нахождения соответствий для ректификации стереоизображений. Для нахождения соответствий между точечными особенностями используется спектр графа. Предложена модель описания образа с использованием особенностей MSER, объединенных в граф. Предложенный подход позволяет повысить точность нахождения соответствий.