Магистерская работа

Компанец Дмитрий Олегович

Автореферат

Магистр Донецкого Национального Технического Университета
Факультет: Компьютерных Информационных Технологий и Автоматики
Группа: ТКС-00б
E-mail: dimadonetsk@ukrtop.com
Руководитель: к.т.н. доцент Турупалов Виктор Владимирович


Разработка и исследование техники аутентификации/идентификации сетевого пользователя на основе характеристик асимметрии лица

Разрабатывается методика идентификации/аутентификации пользователя на основе характеристик асимметрии лица для баз данных 100-400 пользователей. Сама по себе методика новая и основывается на феномене асимметрии человеческого лица и уникальности его офтальмогеометрических характеристик. Актуальность работы состоит в выявлении новых путей биометрической аутентификации пользователей.

Входными данными метода является неподвижное фронтальное изображение лица. Возможно его получение с простейшей Web-камеры. Выходными данными являются математические описания идентифицируемых образов, которые можно в последствии обрабатывать, передавать, хранить и сравнивать между собой. 

Рисунок 1 – Последовательность действий системы распознавания.

Преимущества биометрической аутентификации [1]:

· Становится возможным произвести аутентификацию пользователя, т.е. реальное подтверждение подлинности субъекта получающего права доступа.
· Существенно повышается защищенность систем и, вместе с тем, упрощается процесс идентификации пользователя – пользователь не должен вспоминать, набирать и периодически менять пароли доступа в различные системы.
· Пользователь может не запоминать и не вводить свое идентификационное имя (имена).
· Авторизация выполняется вне зависимости от языка операционной среды и кодировок символов.
· В силу простоты процесса аутентификации, его можно инициировать значительно чаще, чем позволяют традиционные системы (запрашивающие имя пользователя и пароль).
· Во всех случаях, кроме случаев взлома защиты, можно доказать авторство того или иного электронного действия, подтвержденного биометрической аутентификацией.
· Затрудняется дистанционный подбор идентифицирующей информации.
· Невозможно предъявить идентификатор третьим лицом.

 Определение человека по чертам лица наиболее близко людям, так как каждый человек постоянно решает для себя подобную задачу. Кроме того, повсеместное распространение цифровых видеокамер (конечно, на Западе), которыми оснащаются даже домашние компьютеры, делают этот метод очень привлекательным. Правда, реально действующих систем, пригодных для использования хотя бы в бизнесе, еще не существует. Конечно, разработки есть, но пользователи пока еще не доверяют им свои деньги (а это и есть современный критерий безопасности). Правда, в последнее время некоторые страны, в том числе и Россия, пытаются ввести у себя в аэропортах и на железнодорожных вокзалах систему определения личности человека по его лицу, но целью этого является не ограничение доступа, а поиск преступника. Для обеспечения же безопасности системы идентификации по геометрии лица еще проработаны явно недостаточно.

В машинном зрении часто встречаются две модификации задачи обнаружения лица– локализация лица (face localization) и отслеживание перемещения лица (face tracking). Локализация лица является упрощенным вариантом задачи обнаружения, так как опирается на знание о том, что на изображении присутствует одно и только одно лицо. Задачу отслеживания перемещения лица в видеопотоке можно сформулировать как задачу локализации лица на текущем кадре, опираясь на информацию о его положении на предыдущих кадрах.

Обзор существующих исследований:

Существующие алгоритмы обнаружения лиц можно разбить на две широкие категории [2]. К первой категории относятся методы, отталкивающиеся от опыта человека в распознавании лиц и делающие попытку формализовать и алгоритмизовать этот опыт, построив на его основе автоматическую систему распознавания. Вторая категория опирается на инструментарий распознавания образов, рассматривая задачу обнаружения лица, как частный случай задачи распознавания.

По первой категории принципы шаблонов и другие методы распознавания "сверху-вниз" использовались, в основном, в ранних работах по обнаружению лица [3], [4], [5], [6], [7]. Это были первые попытки формализации признаков изображений лица, к тому же вычислительные мощности компьютеров в те годы не позволяли эффективно использовать более сложные методы распознавания изображений. Несмотря на некоторую наивность алгоритмов, не стоит недооценивать значение этих работ, поскольку многие методики, успешно применяемые в настоящее время, были разработаны или адаптированы к данной конкретной проблеме именно в них.

Распознавание "снизу-вверх" использует инвариантные свойства (invariant features) изображений лиц, опираясь на предположение, что раз человек может без усилий распознать лицо на изображении независимо от его ориентации, условий освещения и индивидуальных особенностей, то должны существовать некоторые признаки присутствия лиц на изображений, инвариантные относительно условий съемки. Алгоритм работы методов распознавания "снизу-вверх" может быть кратко описан следующим образом:

1. Обнаружение элементов и особенностей (features), которые характерны для изображения лица.

2. Анализ обнаруженных особенностей, вынесение решения о количестве и расположении лиц.

Второе семейство методов подходит проблеме с другой стороны, и, не пытаясь в явном виде формализовать процессы, происходящие в человеческом мозге, стараются выявить закономерности и свойства изображения лица неявно, применяя методы математической статистики и машинного обучения. Методы этой категории опираются на инструментарий распознавания образов, рассматривая задачу обнаружения лица, как частный случай задачи распознавания. Изображению (или его фрагменту) ставится в соответствие некоторым образом вычисленный вектор признаков, который используется для классификации изображений на два класса – лицо/не лицо. Самый распространенный способ получения вектора признаков это использование самого изображения: каждый пиксель становится компонентом вектора, превращая черно-белое изображение n×m в вектор пространства Rn×m. Недостатком такого представления является чрезвычайно высокая размерность пространства признаков. Достоинство заключается том, что используя все изображение целиком вместо вычисленных на его основе характеристик, из всей процедуры построения классификатора (включая выделение устойчивых признаков для распознавания) полностью исключается участие человека, что потенциально снижает вероятность ошибки построения неправильной модели изображения лица вследствие неверных решений и заблуждений разработчика.

Метод главных компонент [8] применяется для снижения размерности пространства признаков, не приводя к существенной потере информативности тренировочного набора объектов (в данном случае – изображений лиц). Применение метода главных компонент к набору векторов линейного пространства Rn, позволяет перейти к такому базису пространства, что основная дисперсия набора будет направлена вдоль нескольких первых осей базиса, называемых главными осями (или главными компонентами). Таким образом, основная изменчивость векторов тренировочного набора представляется несколькими главными компонентами, и появляется возможность, отбросив оставшиеся (менее существенные), перейти к пространству существенно меньшей размерности. Натянутое на полученные таким образом главные оси подпространство размерности m << n является оптимальным среди всех пространств размерности m в том смысле, что наилучшим образом (с наименьшей ошибкой) описывает тренировочный набор изображений.

Факторный анализ (ФА) [9], как и многие методы анализа многомерных данных, опирается на гипотезу о том, что наблюдаемые переменные являются косвенными проявления относительно небольшого числа неких скрытых факторов. ФА, таким образом, это совокупность моделей и методов ориентированных на выявление и анализ скрытых (латентных) зависимостей между наблюдаемыми переменными. В контексте задач распознавания, наблюдаемыми переменными обычно являются признаки объектов. Факторный анализ можно рассматривать как обобщение метода главных компонент.

Цель тренировки большинства классификаторов – минимизировать ошибку классификации на тренировочном наборе (называемую эмпирическим риском). В отличие от них, с помощью метода опорных векторов можно построить классификатор минимизирующий верхнюю оценку ожидаемой ошибки классификации (в том числе и для неизвестных объектов, не входивших в тренировочный набор). Применение метода опорных векторов к задаче обнаружения лица заключается в поиске гиперплоскости в признаковом пространстве, отделяющий класс изображений лиц от изображений "не-лиц".

Возможность линейного разделения столь сложных классов, как изображения лиц и "не-лиц" представляется маловероятной. Однако, классификация с помощью опорных векторов позволяет использовать аппарат ядерных функций для неявного проецирования векторов-признаков в пространство потенциально намного более высокой размерности, в котором классы могут оказаться линейно разделимы. Неявное проецирование с помощью ядерных функций не приводит к усложнению вычислений, что позволяет успешно использовать линейный классификатор для линейно неразделимых классов.

Нейросети давно и успешно применяются для решения многих задач распознавания. Для решения задачи обнаружения лица применялось большое количество нейронных сетей различных архитектур, в частности: многослойные персептроны, probabilistic decision-based neural networks (PDBNN) [10], и т.д. Достоинством использования нейросетей для решения задачи обнаружения лица является возможность получения классификатора, хорошо моделирующего сложную функцию распределения изображений лиц p(x | face). Недостатком же является необходимость в тщательной и кропотливой настройке нейросети для получения удовлетворительного результата классификации.

Sparse Network of Winnows (SNoW) можно попытаться перевести как "разреженная сеть просеивающих элементов". SNoW для обнаружения лиц [11] представляет собой двухслойную сеть, входной слой которой состоит из узлов, каждый из которых соответствует некоторой характеристике входного изображения (генерирует 1 при наличии некоторой особенности и 0 в случае ее отсутствия на изображении), выходной же состоит всего из двух узлов, каждый из которых соответствует распознаваемым классам изображений ("лицо", "не-лицо"). В качестве характеристик изображения используются флаги равенства определенным величинам среднего значения и дисперсии яркости в каждом из прямоугольных фрагментов изображения размером 1x1, 2x2, 4x4 и 10x10 (все изображения имеет размер 20x20 пикселей). Это дает пространство признаков размерности 135424. При проведении классификации на входные узлы подается информация о присутствии определенных характеристик в обрабатываемом изображении. Узлы выходного слоя вычисляют линейную комбинацию сигналов, генерируемых входными узлами. Коэффициенты линейной комбинации задаются весами связей между входными и выходными узлами. При превышении заданного порога, принимается решение о наличии лица на изображении.

Решаемые задачи:

Применение данного метода в системах контроля доступа позволит упростить процедуру идентификации/аутентификации пользователя: пропадает необходимость ввода пароля не только для входа в сеть, но и для авторизации в любых приложениях. Также становиться возможным снизить затраты на безопасность компьютерных систем и сетей. Это, в свою очередь, позволит добиться широкого распространения биометрических систем и повысить общий уровень безопасности компьютерных систем.

При разработке алгоритма учитываются имеющиеся методы локализации лица в изображении и алгоритмы определения положения глаз и рта. Алгоритм «OFG» выполняет следующие функции:

- нормализует полученный образ (элиминирует повороты головы, нормализует световые параметры);

- визуализирует офтальмогеометрический паттерн (построение системы координат, необходимых точек);

- выполняет операции и вычисления над ним;

- производит сравнение.

 

Идентификация пользователей на основе характеристик асимметрии лица:

Выбранный метод основывается на Ченстоховской точной модели асимметрии лица и на исследованиях в области офтальмогеометрии профессора Э. Мулдашева.

Рисунок 2 – Представление основных параметров лица, используемых в офтальмогеометрии.

Построение офтальмогеометрического образа(Рисунок 3):

На основании имеющихся точек и параметров модели лица человека построим офтальмогеометрический образ в следующей последовательности:

Анимация – Последовательность процедуры аутентификации пользователя (нажмите play).

1. Определить диаметр радужной оболочки глаза и приравнять к 1 Мульду (fi = 1 Muld). Он определяется по трём точкам Ar, Br, Cr. Относительно них затем строится окружность радужки, находится её диаметр и приравнивается к 1 Мульду. Мульдом называется величина равная диаметру радужной оболочки глаза. Эта величина равная 10±0,56 мм и является единственной константой из биометрических характеристик человека, начиная с 4-5 - летнего возраста. Принимая во внимание это обстоятельство, все офтальмогеометрические образы можно нормализовать, т.е. привести к одному масштабу для удобства обработки.

2. Измерить расстояние между B1r и B1l Base1[Мульд].
Расстояние между центрами окружностей радужных оболочек фронтально смотрящего человека образует базу лица. Она измеряется также в Мульдах и служит для согласования размеров образов, полученных с камеры и хранящихся в базе.


3. Определить середину между зрачками O*. Находим точку, необходимую для построения системы координат {Y*, X*}.

4. Определить точки 1* и 2*.
Эти точки необходимы для построения перпендикуляра к оси X*.


5. Провести линии {Y*, X*}, Y* – линия, проходящая через точки 1* - O* - 2*, X* – линия, проходящая через точки B1r - O* - B1l.


6. Построить систему координат (линии) {X1, X2, Y} в соответствии с рисунком 3. Данная система координат строится с целью нахождения наименее изменяющейся базы. Относительно неё производятся дальнейшие отсчеты и измерения. Её основу составляют две точки О1 и О2. Точка О1 находится как середина отрезка, связывающего точки Оcr и Ocl. Эти точки являются одними из самых неподвижных на лице. Они не меняют своего положения ни с возрастом, ни с эмоциональным состоянием. Ось Х системы координат проводится через них. Ось Y является перпендикуляром к оси Х1 в точке О1. Точка О2 находится на оси Y на расстоянии 4 Мульда от оси Х1. Эта точка также должна удовлетворять принципу наименьшей подверженности изменениям. Она находиться в геометрической середине между линией, связывающей кончики мочек ушей и линией проходящей через уголки рта с центром в геометрической середине овала лица. Ось Х2 параллельна оси Х1 и проходит через точку О2.


7. Измерить угол α1, мера отклонения Y* от Y.

Рисунок 3 – Построение осей координат.

Определение модели:

1. Определить точки в уголках глаз 4,8,8* и 2,6,6*.

2. В средней точке по горизонтали и по вертикали между 4,8* и 2,6* найти геометрический центр глаза (может не совпадать с центром радужной оболочки).

3. Из полученного центра построить 16 концентрических лучей, причем один из лучей должен обязательно проходить через точку 8*(6*).


Рисунок 4 – Построение концентрических лучей глаза.

4. Построить прямые, проходящие через точку 4(2) и ближайшие точки пересечения концентрических лучей с контуром глаза. На пересечении этих прямых получим точки 1 и 3.

5. Построить прямые, проходящие через точку 8(6) и два ближайших пересечения с концентрическими лучами, кроме лучей, проходящих через точки 8 и 6 (по два пересечения сверху и снизу) и получить точки 7 и 5.

6. Построить касательную к верхним точкам бровей. Её пересечение с прямыми, проходящими через точки 7,8 и 7,6 дадут точки 14 и 16.

7. Построить точку 9 на пересечении касательных в двух крайних точках складки над глазами (точки 12 и 10).

8. Найти геометрическую середину между точками 8* и 6* (точка О1).


Рисунок 5 – Построение офтальмогеометрического образа.

Таким образом, мы получаем индивидуальный офтальмогеометрический портрет каждого человека.

Рисунок 6 – Визуализация образа и выделение значащих точек.

Идентификация человеческого лица должна по возможности проходить в нейтральном эмоциональном состоянии. В случае некорректного снятия образа с камеры (большой наклон или поворот головы) пользователю необходимо повторить процедуру считывания образа.

Получение численных характеристик идентифицируемого образа.

Точка 0 является началом системы координат. От неё производится отсчёт двухмерных координат точек. Единицей измерения системы координат является Мульд. Далее, имея двухмерную систему координат и универсальную единицу измерений, всем полученным точкам модели можно присвоить две координаты (X,Y), относительно центральной точки О. Значимыми точками в разработанной системе являются 1, 5, О1, 9, 7, 3. Полученные данные легко сводятся в таблицу.

Затем создается база данных образов сетевых пользователей (логин=образ). В ней все образы хранятся в согласованном размере и одинаковом качестве. Во время процедуры аутентификации пользователь вводит логин, либо иным образом определяет себя. Система находит соответствующий логину образ и производит сравнение (т.н. сравнение один к одному). Принимается решение о соответствии образа введенному логину. Во время процедуры идентификации логин не требуется. Система сравнивает входной образ со всей базой и затем сама определяет пользователя. Такой метод занимает больше времени, но имеет и ряд преимуществ: бесконтактность и анонимность (пользователь даже может не знать о проводимой процедуре). Процедура сравнения входного образа с образом из базы происходит по сопоставлению значений и знаков каждой координаты. Итоговым является среднеквадратическое значение.

   Образ 2  Образ 1   
  Знач.   Знач.    Дельта
Xo1 -0,18
- - 0,04
+ 0,22
Yo1 0,22 + -0,35 - -0,57
X3 -0,3 - 0,33 +10% 0,64
Y3 -1,35   -1,62   -0,17
X1 -0,47 - 0,64 + 1,13
Y1  3,77   2,88 51,67% -1,09
X5 -0,18   0,36   0,54
Y5 0,21   0,25   0,04
X7 -0,03   0,17   0,20
Y7  -1,2   -0,17   0,20
X9 0,16   0,13   -0,03
Y9 -0,99   -0,76   0,33
Среднеквадратическое значение   0,61

Таблица 1 – Сравнение образов двух разных людей одного возраста.

Среднеквадратическое значение отклонения координат точек является определяющим параметром при сравнении образов. Но знак координаты точки, который определяет её положение относительно оси координат также необходимо учитывать.

Основные результаты работы:

1. Была разработана точная двухмерная асимметрическая модель лица. Две основные проблемы, возникшие в ходе создания образа: нахождение “правдивой” вертикальной оси на лице человека (ось Y) и создание специальной комбинированной системы координат {Y-O1-X1-O2-X2}с точками О1 и О2 для отображения асимметрических изображений лица и нормализации двух сравниваемых изображений или их фрагментов.

2. Были определены основные точки, фасциальные элементы и их значимые с антропологической точки зрения комбинации, которые могут быть применены в автоматизированных методах. Основным новшеством является применение единицы измерения Мульд для нормализации двухмерного изображения лица. Мульд определяется диаметром радужной оболочки глаза и равен 10±0,56 мм. Диаметр радужной оболочки глаза является единственной константой из биометрических характеристик человека, начиная с возраста 4-5 лет.

3. Был разработан алгоритм измерения псевдо-информационной схожести двух асимметричных лиц, которые являются нематематическими объектами. Произведена визуализация и апробация офтальмогеометрического образа.

4. Были замечены некоторые интересные особенности асимметрии лица и офтальмогеометрического образа: уникальность асимметрии лица и офтальмогеометрических характеристик; топологическая неизменность кривой, проходящей через значимые точки офтальмогеометрического образа, вне зависимости от возраста и эмоционального состояния; уникальность способа нормализации изображения лица, используя в качестве единицы измерения Мульд.

В перспективе на основании дальнейших исследований необходимо выяснить порог чувствительности метода и определить оптимальное значение порога срабатывания. Он зависит от конкретных условий применения системы, размера базы образов и качества используемой аппаратуры.

Литература:

1. Задорожный В. Биометрия в общих словах. [http://www.biometrics.ru/document.asp?group_id=11&nItemID=9&sSID=3.7]

2. Веженцев В., Дегтярева А. Обнаружение и локализация лица на изображении. [http://cgm.graphicon.ru:8080/issue2/face_detection/index.html ]

3. G. Yang and T. S. Huang, “ Human Face Detection in Complex Background,” Pattern Recognition, vol. 27, no. 1, pp. 53-63, 1994.

4. C. Kotropoulos and I. Pitas, “ Rule-Based Face Detection in Frontal Views ,” Proc. Int’l Conf. Acoustics, Speech and Signal Processing, vol. 4, pp. 2537-2540, 1997.

5. T. Sakai, M. Nagao, and S. Fujibayashi, “Line Extraction and Pattern Detection in a Photograph ,” Pattern Recognition, vol. 1, pp. 233-248, 1969.

6. I. Craw, H. Ellis, and J. Lishman, “Automatic Extraction of Face Features,” Pattern Recognition Letters, vol. 5, pp. 183-187, 1987.

7. V. Govindaraju, “ Locating Human Faces in Photographs ,” Int’l J. Computer Vision, vol. 19, no. 2, pp. 129-146, 1996.

8. "Метод главных компонент,” Цифровая библиотека лаборатории компьютерной графики и мультимедиа при факультете ВМиК МГУ, http://library.graphicon.ru/catalog/19.

9. “Факторный анализ,” Цифровая библиотека лаборатории компьютерной графики и мультимедиа при факультете ВМиК МГУ, http://library.graphicon.ru/catalog/217.

10. S.-H. Lin, S.-Y. Kung, and L.-J. Lin, “ Face recognition/detection by probabilistic decision-based neural network ,” IEEE Trans. Neural Networks 8, pp. 114-132., 1997

11. N. P. Costen , M. Brown "Exploratory Sparse Models for Face Recognition" British Machine Vision Conference, 2003

 

Компанец Д.О.
Разработка и исследование техники аутентификации/идентификации сетевого пользователя на основе карактеристик асимметрии лица