Назад в библиотеку

Steve Lawrence, C. Lee Giles, Ah Chung Tsoi , Andrew D.

перевод Костецкой Г.Ю

Распознавание лиц: сверточные нейронные сети

Оригинал: http://clgiles.ist.psu.edu/papers/IEEE.TNN.face.recognition.hybrid.nn.pdf

Пролог

Распознавание лиц представляется сложной, многомерной и требующей разработки компьютерной модели областью. Мы представляем гибридное решение, основанное на нейронной сети, которое хорошо себя показывает в сравнении с другими методами. Система совмещает в себе местное измерение изображений, самоорганизующуюся карту нейронной сети и сворачивающую нейронную сеть. Самоорганизующаяся карта предоставляет квантование образцов изображений в топологическом пространстве где входные данные, которые располагаются рядом в оригинальном изображении находятся рядом и в выходном образе, тем самым обеспечивая сокращение размерности и инвариантность к незначительным изменениям в изображениях, сворачивающая (сверточная) нейросеть предусматривает инвариантность системы к поворотам, масштабированию и деформации.
Мы представляем результаты, полученные с использованием преобразования Кархунена-Лоэва для реализации самоорганизующейся карты и многослойный персептрон, как свёртывающую сеть. Преобразование Кархунена-Лоэва работает почти так же хорошо — 5.3% в сравнении с 3.8%. Многослойный персептрон показал плохие результаты в 40% в сравнении с 3.8% случаев. Метод способен выполнять быструю классификацию, но требует быструю аппроксимирующую нормализацию и предобработку и безоговорочно представляет лучшее классификационное поведение, чем подход Eigen Faces, основанный на создании базы данных, представленной, как ряд изображений одного и того же человека в количестве от одного до пяти. С пятью изображениями для одного человека предложенный метод и подход Eigen Faces даёт результаты 3.8% и 10.5% ошибок соответственно. Мы используем базу данных из 400 изображений 40 людей, которая представляет достаточно большую степень различия в позах, выражениях лиц и деталях внешности. Мы проанализирует вычислительную сложность и обсудим, как новые классы могут быть добавлены к обученному распознавателю.

Введение

Возросший интерес к биометрике был результатом возросших требований к надёжной идентификации личности. Биометрика исследует отпечатки пальцев, речь, письмо, движения и распознавание лиц. Объём продаж продуктов распознавания личности достигли 100млн долларов. Распознавание лиц имеет преимущество, как одна из пассивных систем для распознавания личности. Технологии, используемые в лучших системах распознавания личности различаются в зависимости от области применения системы. Мы можем выделить по крайней мере две широкие категории распознавания:

В этой работе мы рассматриваем второй случай. Мы заинтересованы в распознавании лиц с разными выражениями, позами и т.д. Мы не рассматриваем высокие степени отличий, например, повороты или масштаб. Мы полагаем, что допустимы небольшие искажения. Мы заинтересованы в быстрой классификации таким образом, поэтому мы не рассчитываем на большой резерв времени.

Мы использовали ORL Database (ORL Database of Faces), которая содержит набор лиц, сфотографированных в исследовательской лаборатории Кембриджа (1992-1994гг). В ней содержится десять разных изображений сорока различных людей. Для некоторых из людей фотографии были сделаны в разное время. Репрезентативность данных обеспечивается некоторыми изменениями масштабов лица, угла наблюдения и условий освещения. Каждый образ имеет разрешение 112x92 пикселя и 256 уровней яркости. Все лица представлены на тёмном фоне.

Было разработано множество методов распознавания лиц на основе геометрических особенностей. Был представлен метод автоматического выделения областей, основанный на различиях в расстояниях между ними, показавший результаты около 45%-75% на базе данных из 20 человек. Брунелли и Оджио разработали набор геометрических черт, таких как длина и ширина носа, позиция рта и т.д. Они получили 90% порог распознавания на базе данных из 47 людей. В то же время они показали, что простая система поиска совпадения шаблонов даёт 100% распознавание для той же базы данных. Системы, которые используют измерение расстояний между чертами, могут оказаться не самыми полезными для нахождения возможных совпадений в базе данных с изображениями разного разрешения. Существующие алгоритмы для автоматической локализации геометрических точек черт лица не предлагают высокую степень точности и требуют высокой вычислительной мощности.

Высококлассные задачи распознавания обычно моделируются большим числом шагов обработки, следуя парадигме Марра о переходе от изображений к поверхностям для трёхмерных моделей.

Рисунок 1 – ORL база данных. Она содержит 10 изображений 40 человек

В то же время Пентланд и Торк возражают в своих работах, что, похоже, существует процесс распознавания, основанный на низкоуровневой двумерной обработке изображений. Их аргументация базируется на факте раннего и быстрого распознавания лиц детьми и экспериментах на кортексе обезьян, которые доказали наличия изолированных нейронов, отвечающих за распознавания лиц. Тем не менее, точно неизвестно, доказывают ли эти эксперименты существование такого распознавательного процесса. Пентланд и Торк представляю схему распознавания лиц, в которой изображение лиц проектируется на главные компоненты исходного набора обучающих изображений. Полученные в результате Eigen Faces классифицируются сравнением с известными людьми. Пентланд и Торк представляют результаты на базе данных из 16 субъектов с различным положением головы, масштабированием и освещением. Их изображения практически идентичны лишь с небольшим различием в изображении лица, позе и т.д. Что касается освещения, ориентации, масштабирования, результаты их системы достигают 96%, 85% и 64% правильного распознавания соответственно. Они добились хороших результатов на большой базе данных — 95% распознавания 200 людей из базы данных трёх тысяч. Тяжело делать категоричные выводы, так как много изображений тех же людей выглядят очень похоже, и база данных имеет точное выравнивание изображений. В заключении можно сказать, что Eigen Faces — это быстрый, простой и практичный алгоритм. В то же время, его возможности могут быть ограничены, потому что реальное распознавание предполагает высокую степень корреляции между интенсивностью пикселей обучающий и реальных изображений. Эти ограничения могут быть преодолены предобработкой для нормализации изображений.

3.3 Сопоставление шаблонов

Методы сопоставления шаблонов, например, работают, выполняя прямую корреляцию сегментов изображений. Сопоставление шаблонов является эффективным, только если запрашиваемые изображения имеют те же размеры, ориентацию и освещение, что и изображения из обучающего множества.

3.4 Сравнение графов

Другой методикой распознавания лиц является хорошо известный метод Сопоставления графов. Была представлена Архитектура Динамических связей для распознавания искаженных инвариантных объектов которая использует сопоставление графов для нахождения ближайшего графа. Объекты представляются в виде графов, чьи вершины помечены многомерными описаниями о их позиции в локальном спектре связности, а таке геометрическими расстояниями. Они представили хорошие результаты на базе данных из 87 человек и тестовых изображений людей с разными выражениями лиц и поворотами в пределах 15 градусов.  Процесс сопоставления является ресурсоемким,  занимая приблизительно 25 секунд для того, чтобы сравнить изображение с 87 сохраненными объектами, при условии использования параллельных вычислений на нескольких компьютерах. Вискотт  используют новую версию этого метода и сравнивает 300 лиц с другими 300 лицами тех же людей, взятых из FERET базы данных. Они докладывают об уровне распознавания около 97,3%. Время распознавания для этой системы не упоминалось в работе.

3.5 Использование нейронных сетей

Значительная часть современной литературы о распознавании с помощью нейросетей представляет результаты работ с использованием небольшого количества классов (обычно менее 20).
Первые 50 основных компонентов изображений извлекаются и уменьшаются до 5 измерений, используя автоассоциативную нейронную сеть(ASNN). Полученное представление классифицируется с использованием стандартного многослойного персептрона. Хорошие результаты получены, но они были достигнуты на простой базе данных: изображения вручную изменили так, чтобы не было вариаций освещения, поворотов или наклона. В базе данных было 20 человек.
Иерархическая нейросеть, которая разрастается автоматически была использована для распознавания лиц Вэнгом и Хуангом . Они привели положительные результаты для распознавания 10 различных предметов.

3.6 База данных ORL

В работе HMM подход используется для классификации изображений из базы данных ORL. Лучшие созданные модели давали 13% ошибок. Были проведены обширные испытания по использованию популярного алгоритма eigenfaces на базе ORL и они показали лучший результат в районе 1% ошибок при наборе в 175-199 лиц. Мы внедрили алгоритм eigenfaces и также получили около 10% ошибок.  В работе Самария распространяет иерархический HMM из на псевдо-двумерные HMM. Процент ошибок сокращается до 5% за счет большой вычислительной сложности – одна классификация требует около 4 минут на Sun Sparks II. Самария отмечает, что несмотря на возросшую распознавательную способность классификация, получаемя с помощью данной системы довольно непостоянная.  5% уровень ошибок это лучший уровень, который был достигнут для базы ORL.

4.1 Обзор

В следующих разделах мы представляем техники, которые являются компонентами системы и описываем
наши мотивы их использования. Короче говоря, мы исследуем использование локальной выборки изображений и техники для частичной ивариантности к освещению, самоорганизующуюся карту( SOM) для проекции представления изображения в разбитое менее мерное пространство, преобразование Кархунена-Лоэва для сравнения с самоорганизующейся картой, свертывающую сеть для частичной трансляции и деформации инвариации, и многослойный персептрон для сравнения со свертывающей сетью.

4.2 Местные шаблоны изображений

Мы провели оценку двух разных методов представления локальных шаблонов изображений. В каждом методе окно перемещается по изображению, как показано на рисунке 3.

Рисунок 3 – Процесс создания локального шаблона. Окно делает шаги по рисунку и создаются вектора для каждого положения окна.

4.3 Самоорганизующаяся карта

4.3.1 Введение
Карты являются важной составной частью натуральных и искусственных нейронных систем обработки информации. Примерами карт в сетях нервов являются ретинотопические карты в зрительной коре головного мозга, тонотонические карты слуховой коры и карты с кожи в сенсорной коре. Самоорганизующаяся карта, или SOM, представленная Кохоненом это процесс обучения без учителя который классификации ряда образов без какой либо информации о классах. Элемент проецируется из входного множества на позицию в карте – информация кодируется как позиции активированного узла.  SOM в отличии от большинства классифицирующих техник или техник кластеризации обеспечивает топологический «заказ» классов. Схожесть в входных шаблонах сохраняется и на выходе. При использовании метода классификации локальных шаблонов , например, может быть большой набор классов, в которых переход из одного класса в следующий практически непрерывен (таким образом трудно определить границы классов).

4.3.2 Алгоритм

Мы представляем короткое описание алгоритма SOM (самоорганизующаяся карта Кохонена), для более детального ознакомления смотрите. Алгоритм определяет карты из входного множества Rn на топологически определенный набор узлов, обычно в пространстве, имеющем меньше измерений. Каждый из узлов описывается двумя векторами, первый — вектор веса mi, имеющий такую же размерность, что и входные данные. Второй — координаты узла на карте. Пример двумерного SOM показан на рисунке 4. Вектор-ссылка во входном множестве, , привязан к каждому узлу в SOM. Во время обучения каждый входной вектор x сравнивается со всеми mi в поиске размещения наиболее сходного mc (заданного ). Узлы в SOM пересчитываются согласно:

Где t это время, в течении которого уже происходит обучение, hic(t) – «ближайшая функция» - сглаживающая функция,  максимум которой находится в mc. Обычно  , где rc и ri представляют положение узлов в выходном пространстве SOM. Rc – это узел с наиболее близким весовым вектором к входному шаблону,а ri – пробегает по всем узлам. Hic(t) приближается к 0, когда  возрастает и также t стремится к бесконечности. Примененная близкая(аппроксимирующая?) функция это:

Где  - это коэффициент обучаемости и  определяет длину ряда. Они обычно оба монотонно убывают с течением времени. Использование аппроксимирующей функции означает, что узлы, которые располагаются в SOM структуре в соответствии с положением «победившего» узла. Это создаёт сглаживающий эффект, который приводит к глобальной организации карты. SOM  может быть представлена, как нелинейная проекция плотности вероятностей.

Рисунок 4 — двумерная SOM, показывающая квадратичную аппроксимирующую функцию с начальным значением hci(t1) и сокращающаяся до размера hci(t3) со временем

4.3.3. Улучшение базового алгоритма
Оригинальная самоорганизующаяся карта Кохонена является вычислительно затратной, так как:

4.4. Преобразования Кархунена-Лоева (ПКЛ)
Оптимальный линейный метод для избежания избыточности исходных данных — преобразование Кархунена-Лоэва (ПКЛ) или расширение собственного вектора с помощью Метода Главных Компонент (МГК). МГК генерирует набор ортогональных осей проекций, называемых главными компонентами или собственными векторами в распределении входящих данных для сокращения разброса данных. ПКЛ является хорошо известным статистическим методом для извлечения черт и многомерных проекций данных и был широко используем в распознавании образов, обработки сигналов, изображений, анализа информации. Точки в n-мерном входном пространстве проецируются на m-мерное пространство, m<=n. ПКЛ используется в нашей работе для сравнения с SOM. В уменьшении размерности локальных наблюдений изображений. ПКЛ также используется в технологии Eigen Faces, но, в этом случае, оно использовано для всего изображения, в то время, как мы используем его для малых локальных наблюдений изображения.

4.5. Сворачивающие нейросети
Проблема распознавания лиц на двумерных изображениях обычно очень некорректно, так как существуют много моделей, которые могут подходить к обучающим точкам, но не проводят обобщение для новых изображений. Другими словами, недостаточно обучающих точек, созданных в пространстве входящими изображениями для того, чтобы гарантировать точное разделение классов на входящем множестве. В дополнение для многослойного персептрона, принимающего двумерные изображения, как входящие, не существуют чувствительности к локальным деформациям.
Сворачивающие нейросети включают ограничения и достигают некоторой степени инвариантности к деформациям, используя три основные идеи: локально восприимчивые поля, разделённые веса и пространственные подвыборки. Использование разделённых весов также сокращает число параметров в системе поддержки обобщения. Сворачивающие нейросети успешно применялись для распознавания символов .
Типичная сворачивающая сеть показана на рисунке 5. Сеть состоит из набора слоёв, которые содержат один или более матриц. Примерно отцентрированные и нормированные изображения поступают во входной слой. Каждый элемент матрицы получает на вход небольшое окружение (наблюдение) элемента матрицы из предыдущего слоя. Идея привязки элементов к локально восприимчивым полям датируется 60ми годами — временем развития идеи персептрона и открытия локальной чувствительности (ориентационно-избирательных нейронов в зрительной системе кошки). Веса, формирующие восприимчивое поле для матрицы предполагаются равными во всех точках матрицы. Каждая матрица может быть представлена, как карта черт, которая имеет фиксированный детектор черт, который сворачивает локальное окно, которое было снято с образа на предыдущем слое. Много образов-матриц используется на каждом слое для распознавания большого числа черт. Эти слои называются свёртывающими слоями. Как только черта была определена, её точное положение становится менее важным. Таким образом, сворачивающие слои обычно дополняются следующими за ними слоями, которые выполняют распределяющие и отбрасывающие операции. Сеть обучается с помощью обычного обучения с обратной связью без учителя с использованием градиентного спуска. Стратегия связи может быть использована для уменьшения числа весов в сети. Например, в сети на рисунке 5 авторы связывают карты черт во втором сворачивающем слое только с одной или двумя картами в первом связывающем слое (стратегия связи выбирается вручную).

Рисунок 5 — Типичная сворачивающая сеть

Система, которую мы используем для распознавания лиц является комбинацией связанных частей — высокоуровневая блок-схема на рисунках 6 и 7 показывает разрыв различных подсистем, которые мы обсуждали или с которыми провели эксперименты.

Рисунки → Выборка изображений → Уменьшение размерности → выделение черт  → классификатор →классификация

Рисунок 6 — Блок-схема системы, использованной для распознавания лиц

Наша система работает следующим образом:

Рисунок 7 — Диаграмма системы, которую мы использовали для распознавания лиц, показывающая альтернативные методы, которые могут использоваться. Верхний прямоугольник — классификатор стилей, основанный на многослойном персептроне представляет заключительный слой с полными связями.

В этом разделе мы описываем детали одной из самых результативных систем. Что касается SOM, обучение разделено на две фазы, как рекомендовано Кохоненом —  фазу организации и фазу корректировки. 100000 обновлений производится в первой фазе и 50000 во второй. В первой фазе радиус соседства изначально равен двум третям от размера карты и линейно уменьшается к единице. Вычислительная сложность обучения в первой фазе: , где n — текущий обновляемый номер, N — общее число обновлений.  Во второй фазе радиус соседства начинается с двух и сокращается до единицы. Сложность обучения : .
Сворачивающая нейросеть состоит из пяти слоёв, не включая входной. Коэффициент уверенности вычисляется для каждой классификации ym(ym-y2m), где ym — максимальный выход, y2m — второй максимальный выход. Число матриц в каждом слое, мерность матриц, мерность восприимчивых полей показана в таблице 1. Сеть обучалась с помощью алгоритма обратной связи (20000 шагов). Веса в сети обновлялись после каждого представления видения. Все выходные значения были нормализованы (от -1 до 1). Лучшие из 10 случайных наборов весов выбирались для начальной инициализации параметров сети. Веса были инициализированы в узле случайным числом в пределах от -2.4/Fi, 2.4/Fi, Fi — коэффициент объединения по входу нейрона i.

N — Общее количество эпох обучения,
n — текущая эпоха,
c1 = 50, c2 = 0.65

Рисунок 8 — η(n)

Таблица 1 — Измерения для сворачивающей нейросети.

Процент связей — процент узлов в предыдущем слое, с которым каждый нейрон в текущем слое соединён.

МЫ провели различные эксперименты и представляем здесь результаты. Все представленные эксперименты проводились с 5 обучающими изображениями и 5 тестовыми изображениями для одного человека с общим числом – 200 обучающих и 200 тестовых изображений. Мы подчеркиваем, что система, которая будет давать правильный ответ 1 раз из 40 будет иметь уровень шибок 97,5%.  Для описанного набора экспериментов мы исследуем каждый раз только один параметр. Уровни ошибок, показанные на графиках представляют положительное или отрицательное отклонение разброса результатов из ряда моделирований. Мы подчеркиваем, что в идеале мы хотели бы произвести больше моделирований для каждого оглашенного результата, но,  мы были ограничены вычислительной мощностью,доступной нам. Константы, используемые в каждом из тестов таковы: количество классов – 40, метод сокращения мерности – SOM, мерность SOM – 3, число слоев на один уровень SOM – 5, число обучающих изображений для класса – 5. Отмечаем, что константы к каждом отдельном эксперименте могут не давать наилучшие возможные результаты, т.к наилучшая система выбиралась по результатам этих экспериментов, а не создавалась изначально.
Опыты:

Таблица 2 – Уровень ошибок в системе распознавания лиц с изменением числа объекто в(классов). Каждый результат – среднее трех моделирований.

Рисунок 9 – уровень ошибок как функция числа классов.

Таблица 3 – Уровень ошибки системы при вариации числа измерений в самоорганизующейся карте.

Рисунок 10 – Уровень ошибки как функция мерности SOM.

Таблица 4 – Уровень ошибки

Рисунок 11 – Уровень ошибки как функция числа узлов на измерение SOM

Таблица 5 – Уровень ошибки

Таблица 6 показывает результаты заменения самоорганизующейся карты преобразованием Кархунена-ЛОэва. Мы испльзовали один,два или 3 собственных вектора для демонстрации. Удивительно, но система повела себя лучше с одним собственным вектором. Лучшие параметры SOM, которые мы использовали показали совсем незначительно сучшие результаты.

Таблица 6 – Уровень ошибки системы распознавания лиц с линейным PCA и SOM механизмом выделения черт.

Таблица 87 показывает результаты замены сворачивающей нейросети многослойным персептроном. Результаты очень плохие. Этот итог был ожидаемым, т.к многослойный персептрон не обладает встроенной инвариантностью к локальным диформациям и изменениям, которые созданы в сворачивающей нейросети, используя локальные поля, разделенные веса и т.д. Как пример, представьте, что особенность добавлена в тестовое изображение и ее нет в обучающем изображении. Мы ожидаем, что МСП будет иметь сложности с распознаванием черты, которая была добавлена или изменена в сравнении с обучающим зображением, потому что веса, связанные с новым положением мне обучены на эту черту.
МСП содержал один скрытый слой. Мы использовали следующие его размеры: 20,50,100,200 и 500. Лучшие результаты были получены для 200 скрытых узлов ичремени обучнения в 2 дня.

Рисунок 12 показывает гистограмму уверенности распознавателя для случаев, когда классификатор прав и когда не прав для одной из лучших систем. Из этого рисунка мы видим, что процесс классификации возрастет значительно если мы сократим случаи ниже определенного порога уверенности. Рисунок 13 показывает поведение системы если порог уверенности увеличен.Мы можем видеть, что убирая примеры с малой уверенностью мы можем значительно увеличить классификационные возможности системы.

Рисунок 12 – уверенность классификатора когда он оказывался прав и когда он оказывался неправ.

Рисунок 13 – Тест, устанавливающий классификационные результаты как функцию процента отброшенных видений. Работа системы може быть сужественно улучшена посредством отбрасывания случаев с низкой уверенностью.

Рисунок 14 – Тестовые изображения. Изображения в белой рамке – неправильно классифицированные.

Таблица 8 – Уровень ошибок различных систем. ИСПОЛЬЗОВАНЫ

Таблица 9 показывает результаты при изменении числа изображений для каждого класса, использованных в обучающем множестве ( от 1 до 5) для разных алгоритмов. Мы использовали 2 разных варианты eigenfaces алгоритма.

Таблица 9 – Уровень ошибки для eigenfaces алгоритма и нашего алгоритма в то время как изменяет размер обучающего множества от 1 до 5.

 Результаты показывают, что сворачивающая нейросеть может быть более подходящей в данной ситуации, в сравнении со стандартным многослойным персептроном. Это сочетается с общим мнением, что инкорпорация уже имеющихся знаний необходима для сетей типа MLP (сворачивающая нейросеть соединяет знания- отношения пикселей и желаемая инвариантность к степени изменения, масштаба, локальной деформации).
Сворачивающие нейросети обычно используются на изображениях без предварительной обработки. Без предобработк, которую мы использовали, результирующая сворачивающая сеть больше, более вычислительно затратна и не ведет себя так хорошо, как та, что была использована в наших экспериментах.

Рисунок 15 показывает случайно выбранное исходное локальной видение передающееся каждому узлу в двумерной SOM  и результирующие видения, к которым приходит SOM. Сморя на ряды и строки мы можем видеть, что квантифицированные видения представляют сглаженное по теням изображение. Это представление из которого успешно извлекаются высокоуровневые черты, используя свертывающую нейросеть. Рисунок 16 показывает активацию узлов для конкретного тестового рисунка.

Рисунок 15 – SOM изображения перед обучением

Рисунок 16 – Описание карт узлов в сети, показывающее, какие из узлов активирутся для определенного тестового изображения

Рисунок 17 показывает результаты анализа для выявления, какие части входного изображения наиболее важны для кассификации. Используя метод Балуа и Помердау, как описано в [37] ,каждый из входных видений разбивается на сегменты размером 2*2 ( входные – 23*28). Каждый из 168 (12*14) сегментов аменяется случайным шумом, по одному сегменту за раз. Тестовый результат просчитывается каждый раз. Ошибка нейросети выступает индикатором важности каждой части изображения для классификационной задачи. Из рисунка видно, что, как и ожидалось, глаза, нос, рот, шея и волосы являются важными для задачи распознавания.

Рисунок 17 – Чувствительность разных частей изображения.

Может ли сворачивающая нейросеть выделить оптимальный набор черт? Ответ отрицательный – мало вероятно, что сеть может выделить оптимальный набор черт для всех изображений. Несмотря на то, что сам процесс узнавания человеческих лиц незвестен – существует много черт, которые люди могут использовать , но наша система не может оптимально находить – а) знания  трехмерной структуры лица, б) знания  носа,глаза, и т.д; в) обобщения для человека в очках-без очков, с разной прической; г) знания о выражениях лиц.

Заключение

Мы преставили быструю, автоматизированную системы для распознавания лиц, которая является комбинацией представления изображения в виде локальных видений, самоорганизующейся карты Кохонена, сворачивающей нейросети для распознавания лиц.
Самоорганизующаяся карта Кохонена осуществляет квантификацию видений изображения в топологическом пространстве, где входы рядом во входном пространстве и в выходном.