Рис. 1 — Линии ПЗ и их проекции: Показаны две камеры и области их покрытия. Проекции границ областей покрытия, которые будут наблюдаться в обеих камерах, также показаны на изображении.
Источник: IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2003, VOL 25; PART 10, pages 1355-1360
Скачать работу
Аннотация: В данной работе мы рассматриваем вопрос об отслеживании движущихся объектов в среде, которую обозревают несколько некалиброванных камер с перекрытием области видимости, что является характерным условием для большинства систем наблюдения. В таком случае, необходимо установить соответствие между траекториями одного и того же объекта, наблюдаемым с разных камер, чтобы восстановить полную информацию об объекте. Мы называем это проблемой единообразной маркировки объектов, видимых в нескольких камерах. Мы используем новый подход к поиску пределов поля зрения (ПЗ) от каждой камеры. Мы показываем, что если линии области зрения известны, то можно устранить неоднозначность между несколькими возможностями для соотношения наблюдаемых объектов. Мы представляем метод для автоматического восстановления этих линий, наблюдая движения в окружающей среде. Кроме того, раз эти строки инициализируются, гомография между видами может быть восстановлена. Мы представляем результаты работы на видеопотоках в помещении и снаружи, содержащие людей и транспортные средства.
Ключевые слова: слежение, несколько камер, мульти-перспективное видео, охрана, некалиброванная камера, слияния данных датчиков.
Отслеживание движущихся объектов является ключевой проблемой в компьютерном зрении. Оно играет важную роль в широком спектре приложений, таких как наблюдение, анализ движения человека, мониторинг дорожного движения и интерфейсов человек-машина. Отслеживание, по сути, является проблемой соответствия; соответствие должно быть установлено между субъектами (объектами, признаками) обозреваемыми в текущем изображении, с теми, которые были в предыдущем изображении. Проблема отслеживания множества объектов с помощью одной камеры [13], [15] получила значительное внимание в литературе о компьютерном зрении. Для решения неоднозначностей, которые возникают в случаях, когда объекты находятся в непосредственной близости друг от друга, добавляются некоторые условия. Такие условия используют некоторые свойства объектов до и после неоднозначных событий, предполагая, что это свойство будет инвариантно; например, предположения о постоянстве скорости, условия однообразности движений, формы объекта модели и цветовые особенности.
Сфера применения систем с одной камерой ограничена. Хотя подходит для некоторых приложений, таких как стойки, телефонные будки. Однако, даже простые задачи наблюдения требуют использования нескольких камер. Отслеживание множества объектов с использованием нескольких камер используется в помещении и наружном наблюдении. Типичные случаи использования включают банки, магазины, аэропорты и автостоянки. Даже самый простой из этих установок требует нескольких камер, по двум причинам: во-первых, невозможно одной камерой обеспечить достаточный охват окружающей среды из-за ограниченного поля зрения (ПЗ). Во-вторых, желательно иметь несколько камер наблюдения в критических областях, чтобы обеспечить устойчивость к перекрытиям объектов. Системы с несколькими камерами для отслеживания нескольких объектов [8], [5] не получали должного внимания в литературе о компьютерном зрении до недавнего времени. Большинство современных систем видеонаблюдения все еще относятся к набору камер, как к множеству одиночных камер; т.е., нет никакой дополнительной информации, полученной с нескольких камер. Однако несколько взаимосвязанных камер предоставляют нам более полную историю действий человека в окружающей среде. Чтобы воспользоваться преимуществами наличия дополнительных камер, необходимо установить соответствие между различными обзорами.
Таким образом, мы видим параллель между традиционными проблемами отслеживания одной камерой и тем же с несколькими камерами: Отслеживание одной камерой в сущности является проблемой установки соответствия от кадра к кадру с течением времени. Отслеживание с нескольких камер, с другой стороны, проблема соответствия между траекториями объектов, наблюдаемых с различных точек зрения в один и тот же момент времени. Мы называем это проблемой единообразной маркировки на нескольких камерах, т.е. все обзоры одного объекта должны иметь одну метку.
Слежение c помощью нескольких камер является относительно новой проблемой в компьютерном зрении, но она привлекает большое внимание со стороны исследователей в последнее время. Работы на эту тему могут быть организованы по типу используемых характеристик, стратегии определения соответствия и по тому, являются ли камеры калиброванными. Последние работы, посвященные этой проблеме могут быть обьеденены в три общих категориях.
Простейший метод создания единообразной маркировки может быть основан на соответствии по цвету или другим особенностям объектов, отслеживаемых каждой камерой, для проведения соответствия установленным условиям. Это соответствие может быть выполнено статистически с помощью Фильтра Калмана [16] или с использованием Сети Байеса, как в [4]. В обоих случаях, авторы не ограничиваются одним типом функций, но используют различные особенности по тому же принципу. Они также используют информацию калибровки камеры, чтобы узнать больше о геометрии камеры и получить дополнительные условия. Например, в [4], используемые характеристики сгруппированы на основе геометрических особенностей В работе [2], используется только относительная калибровка между камерами и соответствие устанавливается с помощью набора характерных точек в рамках байесовской вероятности. Интенсивность используемых характеристик берется из средней линии верхней части тела в каждой проекции для сокращения разницы между перспективами. Геометрические особенности, такие как высота человека также используются. Цветовая характеристика для проведения соответствия с нескольких камер весьма ненадежна. Исследователи пытались сделать ее более надежной с помощью метода статистических испытаний и через увеличение других функций, таких как вероятные высоты. Однако, когда разница велика, как в расположение так и в ориентации, соотношения характеристик является ненадежными. В конце концов, человек может носить рубашку, которая имеет различные цвета спереди и сзади.
Надежность согласования характеристик снижается с увеличением различия и это не является редкостью. На самом деле, желательно, иметь камеры наблюдения обозревающие пространство с противоположных сторон. Кроме того, различные камеры могут иметь различные внутренние параметры, а также фотометрические свойства, такие как контрастность, цветовой баланс и т.д. Разница освещения также способствует увеличению различия цвета одного и того же объекта, рассматриваемого различными камерами.
Если калибровки камер и 3D модель среды известна, единообразная маркировка может быть установлена путем проецирования местоположения каждого 3D-объекта в мировой системе координат, и определения эквивалентности между объектами, которые проецируются в одну позицию. Этот подход, принятый в [9], где каждая камера откалибрована и мир принят за плоскость земли. Таким образом, местоположение любого ограничивающего прямоугольника объекта в любой камере можно найти в 3D-координатах мира. Эквивалентность между обзором камеры устанавливается посредством связи обзоров, которые имеют аналогичные прогнозируемые 3D координаты. Гомография плоскости земли, восстанавливаемая от калибровки камеры используется также в [1], [14].
Хотя такой подход может оказаться полезным в контролируемых областях обзора таких как и футбольные стадионы, на которые она была разработана, получить калиброванные камеры и точные карты окружающей среды в общем случае достаточно сложно. Кроме того, желательно иметь систему, которая может быть создана без привлечения специалиста. Мы утверждаем, что калибровки камеры не являются необходимыми, и на самом деле даже излишни для решения проблемы единообразной маркировки. Большинство необходимой информации, может быть извлечено путем наблюдения движения объектов за некий период времени.
Методы выравнивания рассчитаны на восстановление геометрических преобразований между камерами. Здесь, взаимосвязь между траекториями прямо не решена, но, если преобразование восстанавливается точно, траектория одного объекта будет накладываться друг на друга с помощью выравнивания по вычисленным преобразованиям. Недавно авторы работы [3] рассматривали проблему с точки зрения расположения кадра, расширяя пространственные методы выравнивания изображения информацией о времени. Результатом явилась полностью выравненная последовательность изображений и во времени и в пространстве, так что объект в различных камерах был отображен на том же месте. Конечно, как и в случае пространственного выравнивания, это может быть сделано только когда разница между камерами мала. В нашем случае, где предпочтительнее расположение камеры с большим различием, такая схема не будет работать.
Другой подход, использующий для выравнивания информацию о траекториях, описан в [11]. Траектории движения в различных камерах случайным образом приводятся в соответствием друг другу, и плоскости гомографии вычисляются для каждого совпадения. Правильной гомографией принимается та, что статистически получается наиболее часто. Лучшее выравнивание достигается за счет глобального выравнивания кадра. Однако, метод выравнивания траекторий, вычислительно дорогой, так как должны быть расчитаны большое число возможных выравниваний. Тем не менее, этот подход наиболее близок относительно ввода/вывода к нашей работе. С другой стороны, [10], [12], [17] описывают методы, которые пытаются установить временные соответствия между неперекрывающимися ПЗ. Идея состоит в том, чтобы не полностью покрывать интересующую область, а использовать движение объекта, а так же время, необходимое объекту для перемещения из одной камеры в другую, для установки соответствия.
Типичными областями применения являются камеры, установленные вдоль коридора [10] или на автостраде [12]. Джавед [17] использует наблюдение людей или транспортных средств, движущихся в поле зрения неперекрывающихся камер. Время перемещения между камерами и местоположения объектов, в рамках метода окон Парзена для автоматического определения вероятности межкамерных взаимосвязей. Метод MAP используется для установления соответствия.
Возможность откалибровать камеры или модель окружающей среды недоступна в большинстве ситуаций. Поэтому мы предпочитаем методы, которые могут обнаружить достаточное количество информации о среде для решения проблемы единообразной маркировки. Подход, описанный в этой статье не требуется калибровки камер. Поскольку отслеживание объектов доступно для каждой отдельной камеры через низкоуровневые функции отслеживания, необходимо лишь установить однозначное соответствие между следами одного объекта. Идеальное место, для установки этого соответствия будет момент, когда появляется новый вид, потому что, все последующие точки в этой траектории автоматически связываются относительно начала. Наша система вычисляет то, что мы называем линии поля зрения (линии ПЗ). Они, по существу, являются краями зоны покрытия камеры, как их видно в других камерах. Вычисление этих линий помогает нам установить соответствие между траекториями. Она также позволяет вычислить для каждой новой точки зрения множество камер, в которых этот объект будет виден.
Рис. 1 — Линии ПЗ и их проекции: Показаны две камеры и области их покрытия. Проекции границ областей покрытия, которые будут наблюдаться в обеих камерах, также показаны на изображении.
Для решения проблемы отслеживания несколькими камерами, проблема отслеживания одной камерой должна быть решена в первую очередь. Для целей данной работы, мы считаем, что результаты отслеживания одной камерой достаточно достоверны, независимо от метода, который был выбран пользователем для решения этой задачи. Действительно, наши результаты основаны на низкоуровневом отслеживании, с использованием по крайней мере двух различными методов, чтобы подчеркнуть независимость нашего подхода к отслеживанию одной камерой. Если есть существенные ошибки в отслеживании одной камерой, например, из-за перекрытия, они будут отражены в отслеживании несколькими камерами. Однако многие из этих ошибок могут быть исправлены путем интеграции информации из дополнительных камер. Это случается потому, что ошибки (скажем, перекрытие объектов) не могут произойти одновременно во всех камерах просмотра объекта. Остальная статья организована следующим образом: сначала описать понятие линии FOV в следующем разделе, и описать, как они могут быть использованы для решения единообразной маркировки проблемы. В разделе 3, основной вопрос о поиске автоматически FOV линий решается. Мы показываем, что эти линии могут быть инициализированы просто наблюдая движение людей в окружающей среде. Наконец, мы представляем результаты наших экспериментов для различных наборов данных в Разделе 4. Наши наборы тестовых данных состоят из наблюдения внутри и снаружи помещения, содержащих до трех камер и нескольких человек, а также транспортных средств.
Мы провели серию экспериментов на стандартных, а также собственных видеопоследовательностях для тестирования нашего подхода. Наши эксперименты состоят из внутренних и наружных сцен, содержащих несколько лиц и транспортных средств и покрытых камерами в количестве до трех. 4.1 В помещении с тремя камерами В этой серии экспериментов, мы показываем, что единообразная маркировка может быть установлена, если линии ПЗ восстановлены. В этих экспериментах задействованы три камеры, расположенные в комнате и покрывающие большую часть площади. Для отслеживания людей, мы использовали простой метод отслеживания разницы фона. Каждое изображение было вычтено из фонового изображения и к результату был применен порог, для создания бинарной маски объектов переднего плана. Мы провели эвристическую очистку шума, расширив и ослабив маску, исключая малые компоненты и сливая компоненты вероятно принадлежащие к тем же наблюдаемым объектам. Чтобы справиться со случаями перекрытия, мы включили предположение о постоянстве скорости отслеживаемых объектов.
Рис. 2. — Использование преобразования Хью для поиска линий поля зрения: Два соответствия отмечаются в показанный момент времени (белым), только одно из них правильное. В сочетании с предыдущими соответствиями (серым), вычисляется лучшая линия.
Линии ПЗ были обнаружены путем наблюдения движения человека в окружающей среде. Метод преобразования Хью для определения линий ПЗ хорошо работает в такой неплотной среде, поскольку не случается ложных сопоставлений объектов. Все значительные краю линии поля зрения были извлечены из короткой последовательности лишь около 40 секунд. Чтобы показать, что линии поля зрения могут быть использованы для нескольких камер слежения, два человека вошли в комнату, ходили в поле зрения камеры, и вышли. Модуль отслеживания на камере отследил каждого человека отдельно и назначил уникальную метку для каждого обьекта в каждой камере. Всего было отслежено 10 различных траекторий наблюдаемых объектов. Рис. 5а, показывает все отслеживаемые пути. Это четыре трека в C1, четыре в C2, и два в С3. Наш алгоритм определил восемь зрительных событий, когда появлялся новый обьект (наблюдаемый человек). В каждой из этих ситуаций, человек вступал в поле зрении новой камеры. Расстояние всех людей от линии ПЗ до камеры используется для поиска предыдущего человека. Стрелками на рис. 5 показаны отношения эквивалентности, определенные нашей системой. Когда эквивалентность помечена, вся история отслеживаемого человека восстанавливается, связывая все следы обьекта вместе. Два различных оттенка серого на рис. 5а показывают глобальную единообразную метку этих двух человек. Видно, что все зрительные события было обработаны правильно и общие результаты отслеживания были единообразны все время.
Мы описали метод для решения проблемы единообразной маркировки проблемы с помощью некалиброванных камер. Мы представили систему, основанную на линии поля зрения камеры, чтобы установить соответствия между видами одного объекта, обозреваемого на различных камерах. Был описан процесс автоматического поиска линий ПЗ. Эти линии используются для устранения неоднозначностей между несколькими путями объектов. Этот подход не требует сопоставления характеристик, что трудно сделать для камер с различными областями обзора. В целом подход является простым и быстрым. Были представлены результаты экспериментов видеоряда в помещении и снаружи.
Рис. 7. — Данные двух камер, с большой разницей расстояния и углом зрения к наблюдаемым объектам. Верхний ряд показывает типичные пары изображений в кадре. Нижняя строка показывает восстановленные линии.
Авторы хотели бы выразить свою благодарность Омару Джаведу (Omar Javed) и Зишану Рашиду(Zeeshan Rasheed) за помощь в проведении экспериментов, о которых рассказано в этой статье.