Антипов Роман Сергеевич

Реферат по теме выпускной работы

Содержание

• Введение
• 1. Актуальность темы
• 2. Цель и задачи исследования, планируемые результаты
• 3. Анализ существующих методов
• 3.1 Обнаружение и распознавание объектов в кадре
• 3.1.1 Детектор ладони (BlazePalm)
• 3.1.2 Определение ключевых точек
• 3.1.3 Оптимизация
• 3.2 Предобработка
• 3.3 Сегментация
• 3.4 Постобработка
• 3.5 Извлечение признаков и распознавание
• 4. Анализ существующих методов
• 5. Обобщенная схема работы системы
• Выводы
• Список источников

Введение

Биометрические данные используются для идентификации или различения людей на основе их уникальных особенностей. Исторически сложилось так, что биометрия в основном применялась в уголовных расследованиях, и первоначально методы были довольно простыми. Измерения основывались на легко видимых особенностях тела, таких как шрамы, родимые пятна или расстояния между отдельными частями тела. Несмотря на простоту (хотя и трудоемкость) применения, эти методы страдали от неточных измерений и нечетких характеристик, которые увеличивали риск неудачной идентификации или ложных срабатываний.

В конце XIX века потенциал отпечатков пальцев как биометрического признака был признан. Это была гораздо более тонкая особенность, но с гораздо большей отчетливостью, чем ее предшественники. Система распознавания отпечатков пальцев вскоре стала наиболее часто используемой в англоязычных странах [1].

1. Актуальность темы

В настоящее время существует очень большое количество систем идентификации, основанных на различных типах биометрии [1, 2]. Они включают в себя распознавание:

• радужной оболочки;
• отпечатков пальцев;
• сетчатки;
• голоса;
• лица;
• сосудов ладони.

Последняя технология представляет собой довольно новую технологию в биометрической области, которая постепенно внедряется во всем мире. Идея использования сосудистого паттерна кисти впервые была рассмотрена в начале 1990-х годов, но только в начале 2000-х был разработан коммерческий продукт, ставший популярным, когда было создано приложение для идентификации личности на основе рисунка вен на тыльной стороне ладони.

Хотя биометрия по-прежнему является важным инструментом уголовных расследований, в настоящее время она также используется в коммерческих продуктах, требующих аутентификации пользователей, таких как контроль доступа. Другое возможное применение биометрии – в наблюдениях, где используется распознавание лиц. Это область биометрии, которая была широко исследована, особенно после атак 9/11 [3, 4].

2. Цель и задачи исследования, планируемые результаты

Целью является повышение уровня достоверности бесконтактных биометрических систем.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработать алгоритм, определяющий область интереса на выбранном изображении.
2. Разработать алгоритм фильтрации изображения.
3. Разработать алгоритм сегментации.
4. Разработать алгоритм постобработки.
5. Провести экспериментальные исследования.

3. Анализ существующих методов

Задача идентификации человека по рисунку вен, как и любая другая задача, заключающаяся в обработке изображений, состоит из нескольких шагов. На рисунке 1 представлены основные этапы обработки изображений.

Рисунок 1 – Основные этапы обработки изображений

Получение изображения вен на руке возможно произвести двумя способами:

1. с помощью термической камеры;
2. с помощью инфракрасной камеры.

Недостаток первого способа – высокая цена на камеру. Второй способ предпочтительней, так как при должном умении инфракрасную камеру возможно изготовить в домашних условиях из обычной Web-камеры [13].

Извлечение данного биометрического признака стало возможным благодаря свойствам крови, а именно благодаря тому, что гемоглобин крови поглощает ИК излучение. В результате степень отражения уменьшается и вены видны на камере в виде черных линий.

Рисунок 2 – График поглощения ИК-излучения насыщенной кислородом крови и крови без кислорода

Существуют два метода получения изображения рисунка вен ладони. Метод отражения (Reflection) позволяет разместить все компоненты устройства в одном корпусе, за счет чего уменьшается размер. Также снижается психологический барьер (не нужно никуда засовывать руку). Метод пропускания ИК-света (Transmission) заключается в установке ИК-подсветки с тыльной стороны ладони, а сама камера с фильтром устанавливается со стороны ладони и принимает ИК-излучение, проходящее через всю ладонь. С помощью метода пропускания получаемые изображения более детализированные.

Для нашей задачи будет применятся метод отражения.

3.1 Обнаружение и распознавание объектов в кадре

В первую очередь после получения очередного кадра требуется выделить на нем объекты, представляющие интерес.

Распознавание рук является достаточно нетривиальной задачей, которая в то же время широко востребована. Эту технологию можно использовать в приложениях дополнительной реальности для взаимодействия с виртуальными объектами. Также это может быть основой для понимания языка жестов или для создания интерфейсов управления с помощью жестов.

В чем сложность?

Естественное восприятие рук в реальном времени является реальным вызовом для компьютерного зрения, руки часто перекрывают себя или друг друга (перекрещивание пальцев или рукопожатие). В то время как лица имеют высококонтрастные узоры, например, в области глаз и рта, отсутствие таких признаков в руках затрудняет надежное обнаружение только по их визуальным признакам.

Сейчас для выделения области интересов (ROI) в СКУД используются два метода извлечения.

Первый метод предполагает фиксацию руки в определенном положении сразу под камерой [5]. Второй метод основан на извлечении информации, взятой из захваченного изображения. Для этого используются ключевые точки контура руки [6].

В августе 2019 исследователи из GoogleAI показали свой подход к задаче трекинга рук и определения жестов в реальном времени. [11, 12]

Что сделали в GoogleAI?

Они реализовали технологию точного отслеживания рук и пальцев с помощью машинного обучения (ML). Программа определяет 21 ключевую точку руки в 3D пространстве (высоту, длину и глубину) и на основание этих данных классифицирует жесты, которые показывает рука. Все это на основании всего одного кадра видео, работает в реальном времени на мобильных устройствах и масштабируется на несколько рук. Пример работы технологиии представлен на рисунке 3[14].

Рисунок 3 – Работа алгоритмов GoogleAI (анимация: 11 кадров, вес: 657 Кбайт, циклы: без ограничений)

Как они это сделали?

Подход реализован с помощью MediaPipe  – кроссплатформенного фреймворка с открытым кодом для построения пайплайнов обработки данных (видео, аудио, временные ряды).

Решение состоит из 3 основных моделей работающих вместe:

• Детектор ладони (BlazePalm)

  • принимает полное изображение из видео
  • возвращает ориентированный bounding box (ограничивающая рамка)
• Модель для определения ключевых точек на руке

  • принимает обрезанную картинку руки
  • возвращает 21 ключевую точку руки в 3D пространстве + показатель уверенности
• Алгоритм распознавания жестов

  • принимает ключевые точки руки
  • возвращает название жеста, который показывает рука

Архитектура похожа на ту, которую используют при задаче pose estimation. При предоставлении точно обрезанных и выровненных изображений руки значительно уменьшается потребность в аугментации данных (повороты, трансляции и масштабирование), и вместо этого модель может сконцентрироваться на точности предсказания координат.

Модель для распознавания жестов при решении задачи выделения ROI для идентификации человека не нужна, поэтому рассмотрена не будет.

3.1.1 Детектор ладони (BlazePalm)

Для нахождения ладони используется модель, называемая BlazePalm  – single shot detector (SSD), модель, оптимизированная под работу на мобильном устройстве в реальном времени.

В исследовании GoogleAI натренировали детектор ладони вместо детектора всей руки (palm – основа ладони без пальцев). Преимущество такого подхода в том, что распознать ладонь или кулак проще, чем всю руку с жестикулирующими пальцами, к тому же ладонь может быть выделена c использованием квадратных анкоров (bounding boxes) с игнорированием соотношения сторон, и, таким образом, сокращается количество требуемых анкоров в 3–5 раз.

Также использовался экстрактор фич Feature Pyramid Networks for Object Detection (FPN) для лучшего понимания контекста изображения даже для небольших объектов.

В качестве loss функции был взят focal loss, который хорошо справляется с дисбалансом классов возникающего при генерации большого количества анкоров.

Классическая кросс-энтропия: $CE(<mi>pt</mi>)=-log(<mi>pt</mi>)$

Фокал лосс:

Используя вышеперечисленные техники, была достигнута средняя точность (Average Precision) 95.7%. При использовании простой кросс-энтропии и без FPN  –  86.22%.

3.1.2 Определение ключевых точек

После того как детектор ладони определил на всем изображение позицию ладони, регион сдвигается на определенный коэффициент вверх и расширяется, чтобы охватить всю руку. Дальше на обрезанном изображении решается задача регрессии  –  определяется точное положение 21 точки в 3D пространстве.

Для тренировки было вручную размечено 30000 реальных изображений. Также была сделана реалистичная 3D модель руки, с помощью которой сгенерировали еще искусственные примеры на разных фонах. Примеры моделей рук приведены на рискунке 4.

Рисунок 4 – Модели для обучения

Вверху: реальные изображения рук с размеченными ключевыми точками.

Внизу: искусственные изображения руки, сделанные с помощью 3D модели

3.1.3 Оптимизация

Основной секрет быстрого инференса в реальном времени скрывается в одной важной оптимизации. Детектор ладони, который занимает больше всего времени, запускается только при необходимости (довольно редко). Это достигается путем вычисления положения руки на следующем кадре, базируясь на предыдущих ключевых точках руки.

Для устойчивости такого подхода к модели определения ключевых точек добавили еще один выход – скаляр, который показывает насколько модель уверена в том, что на обрезанном изображение присутствует рука, и что она правильно развернута. Когда значение уверенности падает ниже определенного порога  – заново запускается детектор ладони и применяется ко всему кадру. Схема данного подхода приведена на рисунке 5.

Рисунок 5 – Схема оптимизации детектора

3.2 Предобработка

Данный этап уменьшает шум в изображении, который мог возникнуть в результате работы некачественной камеры или наличия волосков. Для этого этапа применяют фильтр высоких частот (ФВЧ), а затем бинаризацию на основе гистограммы [7], либо фильтр низких частот (ФНЧ) Гаусса [5]. Затем для удаления шума от волосков на руке применяется медианный фильтр. На рисунке 6 [7] представлены изображения до и после данного этапа.

Рисунок 6 – Результат применения этапа предварительной обработки

3.3 Сегментация

После уменьшения шума изображение проходит сегментацию. Она используется для получения хорошего двоичного представления рисунка вен. Распространенным методом является локальное пороговое значение [5, 8 ‐ 10]. Это дает возможность получить хорошее разделение рисунка венозного русла от фона. Другие методы – направленный сосудистый рисунок [7] (представлен на рисунке 7) и обнаружение края [6] – являются более сложными в реализации.

Рисунок 7 – Результат применения метода направленного сосудистого рисунка

3.4 Постобработка

Этап нужен из-за изменений диаметров вен, вызванных различными факторами, такими как температура окружающей среды, физические упражнения и т.д. Применяется также для изоляции узора вен, удаляя капли, не являющиеся частью рисунка вен.

При постобработке применяются следующие морфологические методы: дилатация (расширение, наращивание), эрозия (сужение), открытие (размыкание) и закрытие (замыкание). Метод открытия представляет собой последовательное применение методов эрозии и дилатации; метод закрытия – дилатации, а затем – эрозии.

3.5 Извлечение признаков и распознавание

Последние шаги, связанные с системой распознавания образов вен – это функция извлечения и распознавания. Эти шаги сильно зависят друг от друга, поскольку один метод распознавания обычно работает только с определенной характерной чертой. По этой причине были выбраны функции и соответствующие методы извлечения на основе методов распознавания.

Для преодоления проблемы нестабильности признака из-за окружающей среды системе необходимо проанализировать общую форму рисунка сосудистого русла. Утоньшение – широко используемый метод для извлечения этой формы. Он преобразует рисунок вены в линию толщиной в один пиксель. Этот алгоритм часто модифицируется, чтобы избавиться от некоторых ненужных точек размером в один пиксель, а также для избавления от небольших ненужных ветвей [5, 8].

Скелет, полученный этим методом (представлен на рисунке 8), затем используется для извлечения признаков и сопоставления.

Рисунок 8 – Результат получения скелета сосудистого русла

Иногда в качестве признака используется сам скелет, иногда извлекаются такие признаки, как перекрестные и конечные точки.

При использовании скелета используется метод медиальной репрезентации оси элемента массива вен, а затем применение схемы ограниченной последовательной корреляции для сопоставления с шаблоном [8].

При сопоставлении точек чаще всего используют методы триангуляции Делоне или модифицированное расстояние Хаусдорфа (МРХ).

В данной задаче, без стабильности положения точек друг относительно друга, триангуляция Делоне крайне неэффективна. Наибольшую эффективность она показывает при фиксации руки в пространстве.

МРХ – это скаляр. Он имеет минимальное значение при сравнении выборок одного и того же шаблона и высокое – у различных.

Для распознавания с помощью МРХ требуется база данных извлеченных шаблонов, назначенная каждому зарегистрированному человеку. Когда неизвестный образец должен быть идентифицирован, значение МРХ вычисляется между ним и всеми изображениями, соответствующими человеку в базе данных. После этого берется среднее значение этих расстояний, с оценкой того, насколько похож образец на шаблон этого человека. Это повторяется для всех зарегистрированных лиц. Затем неизвестный шаблон идентифицируется как принадлежащий к классу с самым низким значением МРХ, который находится ниже заданного порога принятия решения. Если нет значения ниже порога принятия решения, то шаблон классифицируется как неизвестный.

4. Анализ существующих методов

Производительность биометрических систем имеет важное значение для определения того, есть ли у системы потенциал для применения в реальных жизненных ситуациях. В таблице представлены различные методы и их эффективность.

В таблице представлены три ключевых показателя производительности:

• коэффициент ложного пропуска (FAR) – вероятность того, что несанкционированное лицо принято в качестве уполномоченного лица;
• коэффициент ложного отказа (FRR) – вероятность того, что уполномоченное лицо отклонено как неавторизованное лицо;
• отказ от регистрации (FTE) – вероятность того, что данный пользователь не сможет зарегистрироваться в биометрической системе из-за недостаточно отличительной биометрической выборки.

Эти три показателя могут привести к неправильной оценке производительности, если два из них используются без третьего. Они связаны для определения производительности системы и зависят друг от друга.

5. Обобщенная схема работы системы

Система контроля и управления доступом в упрощенном виде состоит из трех модулей:

• модуля считывания биометрических данных;
• модуля идентификации;
• модуля предоставления доступа.

Входной информацией для такой системы является видеопоток. Из него выделяется последовательность кадров, к каждому из которых применяется алгоритм детектирования руки. Получив область кадра с объектом, необходимо произвести сравнение ключевых признаков полученного объекта с имеющимися в БД. В результате чего получаем отсылку на конкретного человека. В случае отсутствия совпадения регистрируется попытка нарушения доступа. В случае идентификации личности выполняется проверка прав доступа.

Основным ограничением является тот факт, что система никогда не может измерить данную функцию с абсолютной точностью: хорошие измерения требуют точного оборудования, и, как правило, объект должен быть расположен определенным образом для достижения полезных результатов. Последствия сбоя системы будут зависеть от приложения. Если пользователь ложно отклонен системой безопасности, ущерб обычно ограничен, поскольку пользователь может просто попробовать еще раз. Если, с другой стороны, самозванец ложно принят системой, потенциальный ущерб может быть большим. По этой причине низкий коэффициент ложного пропуска (FAR) обычно более важен для системы безопасности, чем высокий коэффициент истинного пропуска (TAR).

Выводы

На данном этапе выполнения магистерской работы проведен сравнительный анализ существующих категорий методов решения поставленной задачи. Определены направления в решении задачи. В процессе исследования предметной области были выявлены существенные проблемы, которые могут возникнуть при обработке потока видеоданных, а именно сложность идентификации человека при изменении ракурса съемки признака.

Список источников

1. Р. М. Болл, Дж. Х. Коннел, Ш. Панканти, Н. К. Ратха, Э. У. Сеньор. Руководство по биометрии: Пер. с англ. – М.: Техносфера, 2007. – 369 с.
2. Ворона В. А., Тихонов В. А. Системы контроля и управления доступом. Уч. пособие. – М.: Горячая линия – Телеком, 2010 – 272 с.
3. T. Frank. (2007, May) Face recognition next in terror fight. Internet. [Online]. Режим доступа: [Ссылка]
4. M. Kane. Face recognition grew even before 9/11. [Online]. Режим доступа: [Ссылка]
5. L. Wang and G. Leedham, A thermal hand vein pattern verification system, Lecture Notes in Computer Science, pp. 58-65, 2005.
6. K. Fan, C.-L. Lin, and W.-L. Lee, A study of hand vein recognition method, in 16th IPPR Conference on Computer Vision, Graphics and Image Processing. Kinmen, ROC: IPPR, August 2003.
7. Y. Ding, D. Zhuang, and K. Wang, A study of hand vein recognition method, in International Conference on Machatronic and Automation. Niagara Falls, Canada: IEEE, 2005.
8. J. Cross and C. Smith, Thermographic imaging of the subcutaneous vascular network of the back of the hand for biometric identification, in Security technology, 1995. Proceedings. Institute of Electrical and Electronics Engineers 29th Annual 1995 International Carnahan Conference on. Sanderstead, UK: IEEE, 1995.
9. A. Nagasaka, T. Miyatake, and N. Miura, Feature extraction of finger-vein patterns based on repeated line tracking and its application to personal identification, Machine Vision and Applications, vol. 15, pp. 194 - 203, 2004.
10. N. Miura, A. Nagasaka, and T. Miyatake, Personal identification device and method, US Patent #2005/0 047 632A1, 2005.
11. On-Device, Real-Time Hand Tracking with MediaPipe. [Online]. Режим доступа: [Ссылка].
12. Hand Tracking (GPU). [Online]. Режим доступа: [Ссылка]
13. ИК-камера своими руками! [Online]. Режим доступа: [Ссылка]
14. Нейронные сети для трекинга рук в режиме реального времени [Online]. Режим доступа: [Ссылка]