Актуальность разработки компьютерной подсистемы биометрической идентификации личности по фотопортрету

Существует большое разнообразие методов идентификации и многие из них получили широкое коммерческое применение. На сегодняшний день в основе наиболее распространенных технологий верификации и идентификации лежит использование паролей и персональных идентификаторов ( personal identification number — PIN ) или документов типа паспорта, водительских прав. Однако такие системы слишком уязвимы и могут легко пострадать от подделки, воровства и других факторов. Поэтому все больший интерес вызывают методы биометрической идентификации, позволяющие определить личность человека по его физиологическим характеристикам путем распознавания по заранее сохраненным образцам.

Проблема идентификация личности по изо­бражению лица является одним из приоритетных направлений развития био­ метрических систем. Т ехноло­ гия идентификации на основе изображения лица признана наиболее прием­лемой для массового применения, так как она не требует физического кон­такта с устройством, ненавязчива, естественна и, в потенциале, может обла­ дать высокой надежностью. Кроме того, такой подход выгоден и по той причине, что может использоваться незаметно для окружающих в местах массового скопления людей.

Системы обнаружения и распознавания лиц используются не только в системах безопасности и контроля доступа. Они нашли широкое применение и в таких областях, как организация видеоконференций, объектно- ориентированное сжатие видеоданных, распознавание эмоций человека, соз­ дание систем машинного зрения в робототехнике. Также существенным плюсом таких систем является их относительная аппаратная простота и доступность (систему можно построить, используя обычную видеокамеру и персональный компьютер).

Анализируя тенденции развития и применения биометрических техно­логий, можно заключить, что поиск решений таких мало исследованных за­дач, как верификация человека по фото с удостоверений личности и иден­тификация человека по его фотопортрету путём поиска в базе данных, очень актуален в настоящее время.

И, конечно, основным событием в области биометрии будет массовое внедрение данных технологий для паспортно-визовых документов. Данное событие приведёт не только к технологическим изменениям и совершенствованию имеющихся на рынке систем и устройств, но и значительно изменит сам образ жизни людей.

Обзор существующих систем

Сейчас имеется несколько коммерческих продуктов для распознавания лиц. Дать окончательную оценку сложно, однако, похоже, три системы выбиваются в лидеры – это разработки компаний Visionic , Viisage и Miros .

В основе приложения FaceIt компании Visionic лежит алгоритм анализа локальных признаков, разработанный в Университете Рокфеллера. Одна коммерческая компания в Великобритании интегрировала FaceIt в телевизионную антикриминальную систему под названием Mandrake . Эта система ищет преступников по видеоданным, которые поступают с 144 камер, объединенных в замкнутую сеть. Когда устанавливается идентичность, система сообщает об этом офицеру безопасности.

Еще один лидер рынка систем распознавания лиц, компания Viisage , использует алгоритм, разработанный в МТИ. Коммерческие компании и властные структуры во многих американских штатах и в ряде других стран используют систему компании Viisage вместе с идентификационными удостоверениями, например, водительскими правами.

В системе распознавания лиц TrueFace компании Miros используется технология нейронных сетей, а сама система применяется в комплексе выдачи наличных денег корпорации Mr . Payroll и установлена в казино и других увеселительных заведениях многих штатов.

В данный момент на рынке систем биометрической идентификации по изображению лица представлены следующие продукты

Цели и задачи создания компьютерной подсистемы

Целью данной работы является разработка компьютерной подсистемы биометрической идентификации личности по фотопортрету для управления производственным процессом в условиях кондитерской фабрики.

К разрабатываемой подсистеме предъявлены следующие требования

Для достижения поставленной цели необходимо решить следующие задачи: -провести анализ существующих методов биометрической идентификации по фотопортрету
- выбрать наиболее подходящий метод для создания данной подсистемы
- разработать математический аппарат для идентификации фотопортрета
- разработать алгоритм предварительной обработки и нормализации цифровых фотопортретов
- разработать алгоритм поиска антропометрических точек лица на фотопортретах
- определить множество информативных признаков для распозна­вания человека по изображению лица
- разработать структуру БД для хранения информации о пользователях
- определить варианты интеграции разработанной подсистемы и защищаемого ПО
- разработать техническое обеспечение подсистемы, требования к компонентам.

Все основные виды технологий разработаны с учетом поиска в режиме «один ко многим», то есть выбрать (сопоставить) конкретно взятое изображение с уже хранящимися в базе данных. Технологии сканирования хорошо работают со стандартными современными видеокамерами и не требуют специального оборудования.

Основные этапы технологии – сканирование изображения, его обработка, извлечение информации, создание шаблона и его последующее сравнение с шаблоном, хранимым в базе данных и принятие решения о предоставлении доступа.

Принцип работы компьютерной подсистемы


Принцип работы создаваемой подсистемы (количество циклов - 3, для повторного просмотра обновите страницу)

Скрытые Марковские модели

Марковские модели являются мощным средством моделирования различных процессов и распознавания образов. По своей природе Марковские модели позволяют учитывать непосредственно пространственно-временные характеристики сигналов, и поэтому получили широкое применение в распознавании речи, а в последнее время – изображений (в частности изображений лиц).

Рис.4 Схема Марковской модели на примере последовательности наблюдений и последовательности состояний

Каждая модель (А, В) представляет собой набор состояний (на рисунке - вершины графа), между которыми возможны переходы (на рисунке - дуги). В каждый момент времени система находится в строго определённом состоянии. В наиболее распространённых Марковских моделях первого порядка полагается, что следующее состояние зависит только от текущего состояния.

При переходе в каждое состояние генерируется наблюдаемый символ, который соответствует физическому сигналу с выхода моделируемой системы. Выход, генерируемый моделью, может быть так же непрерывным. Существуют так же модели, в которых набор символов для всех состояний одинаков. Символ в состоянии в момент времени генерируется с определенной вероятностью.

В распознавании образов скрытые Марковские модели применяются следующим образом. Каждому классу i соответствует своя модель. Распознаваемый образ (речевой сигнал, изображение и т.д.) представляется в виде последовательности наблюдений О. Затем для каждой модели вычисляется вероятность того, что эта последовательность могла быть сгенерирована именно этой моделью. Модель, получившая наибольшую вероятность, считается наиболее подходящей, и образ относят к классу. В связи с этим появляются несколько вопросов, называемых тремя основными задачами скрытых Марковских моделей. Это задачи распознавания, обучения, объяснения.

Для любой фиксированной последовательности состояний  вероятность ее возникновения для данной модели  равна

Вероятность появления заданной последовательности наблюдения для этой фиксированной последовательности состояний равна

Поскольку для Марковских моделей возникновение некоторой конкретной последовательности состояний и появление последовательности наблюдений являются независимыми событиями, то

где . Из последнего выражения следует, что мы должны выполнить порядка умножений для каждой из последовательности состояний . Таким образом, при прямом подсчете вероятности  требуется провести порядка умножений. Даже для небольших чисел (состояний) и (длина последовательности) это составляет порядка операций умножения.

Первая задача имеет точное аналитическое решение, называемое процедурой прямого-обратного прохода. Последующие две задачи не имеют точного аналитического решения. Для решения второй задачи используется алгоритм Витерби, для третей - алгоритм Баума-Вельча. Оба этих метода являются разновидностями градиентного спуска и решаются оптимизационными методами.

Алгоритм прямого хода.

Введем прямую переменную , которую определим для заданной модели  как значение вероятности того, что к моменту времени  наблюдалась последовательность , и в момент  система находится в состоянии

Значения прямой переменной вычисляются в соответствие со следующей процедурой:

1.  Инициализация.

,            

2. Для всех

3.   Вычисление искомой вероятности:

, которую определим как условную вероятность наблюдения последовательности  начиная с момента  до при условии, что в момент времени  система находится в состоянии :

Значения обратной переменной находятся из следующих соотношений:

1.        Начальное значение

2.        Для всех     ;         :

Вычисление вероятности  по любому из описанных алгоритмов требует выполнения порядка операций умножения. Для взятых в качестве примера чисел  и  это составляет около 500 операций умножения, что в 2000 раз меньше, чем для прямых вычислений.

Для того, чтобы сократить вычисления, в распознавании речи используются линейные модели. В таких моделях каждое состояние имеет только одно последующее, так же переход возможен обратно в то же состояние. Такие модели учитывают временные характеристики речевого сигнала: определённый порядок следования участков сигнала, их взаимное расположение, возможность локальных растяжений или сжатий. Это позволяет их применять и в распознавании изображений.

Рис.5 Линейная Марковская модель.

Одна из первых работ, применяющая СММ для распознавания изображений лиц – это работа Ф.Самарии, которой предшествовали работы по распознаванию изображений других видов скрытыми Марковскими моделями. В этой работе распознавание осуществлялось как простейшими одномерными линейными СММ, так и псевдодвумерными. Введение второго измерения позволило повысить точность распознавания с 85% до 95% на базе ORL

Суть двумерных Марковских моделей заключается в том, что в отличие от одномерных линейных СММ, они позволяют моделировать искажения изображения и взаимное расположение участков не отдельно по горизонтали или вертикали, а в обоих направлениях одновременно. Для уменьшения вычислительной сложности применяются псевдодвумерные СММ ( Такая модель состоит из нескольких линейных вертикальных моделей нижнего уровня, и одной линейной горизонтальной модели верхнего уровня, на вход которой поступают выходы моделей нижнего уровня. Каждое состояние модели верхнего уровня включает в себя последовательность состояний соответствующей модели нижнего уровня. Модели нижнего уровня не связаны между собой. Изначально в модели верхнего уровня были вертикальными. В последующих работах модели верхнего уровня были сделаны горизонтальными (как это и изображено на рисунке), в связи с тем, чтобы вертикальные модели нижнего уровня могли учесть факт того, что глаза могут находиться на разной высоте. Таким образом, псевдодвумерная модель позволяет учесть локальные деформации и взаимное расположение участков изображений. Но в отличие от оптических потоков и других методов сопоставления деформациями, псевдодвумерная модель учитывает характер деформаций, а то какими именно могут быть возможные деформации, псевдодвумерные СММ усваивают в процессе обучения. Другими словами, участок, соответствующий глазу, никогда не будет сопоставлен например участку на месте рта, как это может быть в оптическом потоке. Наблюдениям, подаваемым на вход СММ, являлись квадратные участки изображений. Было обнаружено, что участки, извлекаемые с 75% перекрытием друг с другом, давали наилучшую точность распознавания.

В научных работах, продолжающих идею Самарии, использовались дальнейшие улучшения способов начального представления изображения и алгоритмов тренировки.

Для каждого квадратного участка изображения 16х16 вычислялось двумерное дискретное косинусное преобразование, и этот участок представлялся в виде набора первых 15-ти коэффициентов. Это позволило повысить точность распознавания на 2%. Кроме того, такое представление позволяет более точно, чем при масштабировании представлять изображение, используя меньший объём информации.

Для увеличения тренировочного набора использовались так же зеркально отражённые по вертикали изображения. Это позволило учесть более широкий диапазон ракурсов.

Рис. 6 Извлечение участков-образцов наблюдения.

Для СММ важное значение имеет начальная инициализация модели. В качестве начальной инициализации всех моделей использовались все изображения из тренировочного набора. Затем модель каждого класса донастраивалась на свои изображения.

Полезное свойство распознавания по коэффициентам дискретного косинусного преобразования заключается в том, что оно позволяет работать непосредственно со сжатыми изображениями

Как можно видеть, правильный выбор метода классификации (моделирования), начального представления изображения и учёт его особенностей сочетании с применением априорных знаний о предметной области, дало успешный результат.

Недостаткам СММ является то, что СММ не обладает различающей способностью. Т.е. алгоритм обучения только максимизирует отклик каждой модели на свои классы, но не минимизирует отклик на другие классы, и не выделяются ключевые признаки, отличающие один класс от другого. Для устранения этого недостатка можно использовать алгоритм ранжирования вероятностей, заключавшийся в следующем. На обучающем наборе, каждая модель реагирует на изображения-примеры с некоторой вероятностью. Отсортированные таким образом модели образуют исходное ранжирование. Для неизвестного изображения модели так же ранжируются о вероятностям отклика на неизвестное изображение. Большая величина отклонения полученного ранжирования от исходного сигнализирует о том, что изображение принадлежит к неизвестному классу лица.

Учитывая все достоинства и недостатки перечисленных выше методов, для реализации проектируемой подсистемы был выбран алгоритм использующий СММ. Это обусловлено высокой надежностью алгоритма, достаточным быстродействием.

Выбранный метод более устойчив к шумам на изображении по сравнению с нейросетевыми методами и позволяет определять структурные особенности и характерные искажения.

ЛИТЕРАТУРА

[Головко1] Головко В.А. Нейроинтеллект: Теория и применения. Книга 1. Организация и обучение нейронных сетей с прямыми и обратными связями - Брест:БПИ, 1999, - 260с.

[Самаль] Самаль Д.И., Старовойтов В.В. - Подходы и методы распознавания людей по фотопортретам. - Минск, ИТК НАНБ, 1998. - 54с.

[Сам1] Самаль Д.И., Старовойтов В.В. Методика автоматизированного распознавания людей по фотопортретам // Цифровая обработка изображений. - Минск:ИТК, 1999.-С.81-85.

[Сам2] Самаль Д.И., Старовойтов В.В. Выбор признаков для распознавания на основе статистических данных // Цифровая обработка изображений. - Минск:ИТК, 1999.-С.105-114.

[Сам3] Самаль Д.И. Построение систем идентификации личности на основе антропометрических точек лица // Цифровая обработка изображений. - Минск:ИТК, 1998.-С.72-79.

[Хорн] Хорн Б.К.П. Зрение роботов. - М:Мир, 1989. - 488 с.

[DCT-HMM1] Eickeler S., Muller S., Rigoll G. High performance face recognition using Pseudo 2-D Hidden Markov Models // Gerhard-Mercator-University Duisburg, Germany, 1998. - 6 p.

[DCT-HMM2] Eickeler S., Muller S., Rigoll G. Recognition of JPEG Compressed Face Images Based on Statistical Methods // Gerhard-Mercator-University Duisburg, Germany, 1999. - 17 p.

[EigenSign] D.B. Graham and N.M. Allinson "Face recognition using virtual parametric eigenspace signatures," Image Processing and its Applications, pp. 106-110, 1997. {эластичные графы - решётка}

[ElWeights] Krueger N. An Algorithm for the Learning of Weights in Discrimination Functions Using a Priori Constraints. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 764-768.

[ElGrid] Wurtz R. P. Object Recognition Robust Under Translations, Deformations, and Changes in Background. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 769-775.

[ElGraph] Wiskott L., Fellous J.-M., Krueger N and Malsburg C. Face Recognition by Elastic Bunch Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 775-779.

[EyeGA] Esme B., Sankur B., Anarim E. Facial feature extraction using genetic algorithms // 8-th European Signal Processing Conference, Trieste, 1996. - P. 1511-1514.

[Face23] Hallinan P. L., Gordon G. G., Yuille A. L., Giblin P., Mumford D. Two- and Three-Dimensional Patterns of the Face. Natick:A. K. Peters Ltd. 1999. - 260 p.

[Fisher] Belhumeur P. N., Hespanha J. P. and Kriegman D. J. Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 711-720.

[Flex] Lanitis A., Taylor C. J. and Cootes T. F. Automatic Interpretation and Coding of Face Images Using Flexible Models. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 743-756.

[Grudin] Grudin M. A., Lisboa P. J., Harvey D. M. Compact multi-level representation of human faces for identification. Image Processing and its Applications, pp. 111-115, 1997.

[Gutta] Gutta S. and Wechsler H. Face recognition using hybrid classifiers // Pattern Recognition 1997. Vol. 30. P. 539-553.

[hmm_conf] Eickeler S., Jabs M., Rigoll G. Comparison of Confidence Measures for Face Recognition // Gerhard-Mercator-University Duisburg, Germany, 2000. - 6 p.

[Linear] Vetter T. and Poggio T. Linear Object Classes and Image Synthesis From a Single Example Image. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 733-742.

[OFlow] Kruizinga P., Petkov N. Optical flow applied to person identification // Proceedings of the EUROSIM Conference on Massively Parallel Processing applications and Development, 1994. - P. 871-878.

[PCA] Moghaddam B. and Pentland A. Probabilistic Visual Learning for Object Representation. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 696-710.

[PCA_Detect] Sung K. K., Poggio T. Learning Human Face Detection in Cluttered Scene // Lecture Notes in Computer Science - Computer Analysis of Images and Patterns, 1995. P. 432-439.

[PRIP2002] Kuchariew G., Forczmanski P. Hierarchical method of Reduction of Features Dimensionality for Image Recognition and Graphical Data Retrieval // Pattern Recognition and Image Processing, 2002. - Vol. 1. - P. 57-72.

[Rabiner] Rabiner L. R. A tutorial on Hidden Markov Models and selected applications in speech recognition // Proceedings of the IEEE, 1989. - Vol. 77(2). - P. 257-285.

[Samaria] Samaria F. Face Recognition Using Hidden Markov Models // PhD thesis, Engineering Department, Cambridge University, 1994.

[Templ] Brunelli R., Poggio T. Face recognition: features versus templates // IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993. - Vol. 15. - No 10. - P. 235-241.

[2D-KLT] Tsapatsoulis N., Alexopoulos V., Kollias S. A vector based approximation of KLT and its application to face recognition // EUSIPC