Легковесная и эффективная гибридная модель CNN для обнаружения лиц

ВВЕДЕНИЕ

Обнаружение лиц является фундаментальной задачей компьютерного зрения с приложениями в области наблюдения, взаимодействия человека с компьютером и биометрических систем. В то время как многие алгоритмы хорошо работают в идеальных условиях, обнаружение лиц с частичным перекрытием, таким как маски, шарфы, солнцезащитные очки или руки, остается серьезной проблемой. В таких случаях ключевые черты лица могут быть скрыты, что приводит к пропуску обнаружения или ложным срабатываниям обычных моделей. Классические детекторы, такие как Виола-Джонс [1], хотя и эффективны для задач реального времени, страдают от снижения производительности, когда лица частично закрыты [2]. Последние достижения в области глубокого обучения, в частности детекторы на основе CNN, такие как MTCNN [3], SSD [4] и YOLO [5], улучшили точность в общих настройках. Однако эти модели могут испытывать трудности с окклюзиями, если они специально не обучены на таких случаях. Кроме того, они часто требуют больших вычислительных ресурсов, что ограничивает их развертывание в реальном времени или в средах с ограниченными ресурсами.

Для решения этих проблем в данной статье предлагается гибридная двухэтапная структура обнаружения лиц, адаптированная для сценариев с окклюзией. Система сначала использует быстрый алгоритм Виолы-Джонса для генерации кандидатов областей лица, которые затем проверяются специальным классификатором CNN, разработанным для устойчивости к окклюзии. Объединяя сильные стороны классических методов и методов глубокого обучения, предложенный подход повышает точность обнаружения при сохранении практической эффективности. В следующих разделах рассматриваются связанные работы, описывается гибридная методология, представлены экспериментальные результаты и делается заключение с обсуждением будущих направлений.

ЛИТЕРАТУРНЫЙ ОБЗОР

Обнаружение лиц является основополагающей задачей в компьютерном зрении, играющей важную роль в наблюдении, биометрической аутентификации и взаимодействии человека с компьютером. В то время как многие методы достигают высокой точности в нормальных условиях, окклюзия остается постоянной проблемой [6][7]. Когда лица частично скрыты объектами, такими как маски, очки или руки, точность обнаружения значительно снижается [8]. В этом разделе рассматриваются основные методы, используемые при обнаружении перекрытых лиц, их сильные стороны и ограничения.

2.1. Классические подходы

Алгоритм Виолы-Джонса является одним из самых ранних детекторов лиц в реальном времени. Он использует признаки Хаара с AdaBoost для эффективного обнаружения лиц [9]. Однако он плохо работает на перекрытых лицах из-за зависимости от полной фронтальной видимости [10]. Таблица 1 представляет точность обнаружения алгоритма Виолы-Джонса на двух наборах данных с перекрытыми лицами. Он демонстрирует сниженную производительность при обнаружении лиц, скрытых такими предметами, как солнцезащитные очки, руки, шарфы или маски, с точностью 68,2% (FDDB) и 63,7% (COFW).

Виола и Джонс ввели концепцию каскадных классификаторов [11], что значительно сократило время вычислений, но не обеспечило устойчивости к частичным перекрытиям.

2.2. Детекторы на основе глубокого обучения

Методы глубокого обучения, такие как Multi-task Cascaded Convolutional Networks (MTCNN), YOLO (You Only Look Once) и SSD (Single Shot MultiBox Detector), значительно улучшили точность обнаружения лиц [12]. Эти модели автоматически изучают иерархические признаки из данных и обрабатывают вариации в позе, масштабе и фоне. Однако окклюзия остается проблемой, особенно когда модели не обучены на наборах данных, богатых окклюзиями [13]. Чжан и др. [14] предложили MTCNN для одновременного обнаружения и локализации ключевых точек лица, как показано в Таблице 2. YOLOv3 [15] расширил общее обнаружение объектов на обнаружение лиц, показав улучшенную производительность в реальном времени [16].

Вышеприведенная Таблица 2 сравнивает детекторы лиц на основе CNN (MTCNN, YOLOv3, SSD) на перекрытых лицах, выделяя их скорость на GPU (FPS), точность и размер модели. YOLOv3 достигает наивысшей точности (87,2%) и самой быстрой скорости, но требует наибольшего размера модели (236 МБ).

2.3 Модели, учитывающие окклюзию

Для улучшения производительности в сценариях с окклюзией исследователи внедрили архитектуры, учитывающие окклюзию. Частичные CNN (Part-based CNNs) и механизмы внимания доказали свою эффективность в обнаружении видимых компонентов лица и выводе скрытых. Ван и др. [17] разработали частичную CNN, которая обнаруживает отдельные области лица, такие как глаза и нос, и реконструирует наличие полного лица. Чжан и др. [18] создали синтетические наборы данных с окклюзией для обучения своих моделей, улучшив обобщение. Таблица 3 описывает стратегии улучшения обнаружения лиц при окклюзии. Частичные CNN и аугментация данных высокоэффективны, в то время как механизмы внимания обеспечивают умеренное улучшение, фокусируясь на видимых областях лица.

2.4 Гибридные подходы

Гибридные модели объединяют классическое обнаружение (например, Виола-Джонс) с верификацией на основе CNN. Классический метод быстро генерирует кандидатов областей лица, в то время как CNN подтверждает достоверность обнаружений. Этот метод балансирует точность со скоростью, что особенно полезно для сред, подверженных окклюзии. Лю и др. [19] предложили гибридный детектор лиц, который достиг более высокой прецизионности на частично перекрытых лицах при сохранении меньшего размера модели, подходящего для обработки в реальном времени [20][21].

МЕТОДОЛОГИЯ

Обнаружение перекрытых лиц сложно из-за потери ключевых черт лица. Данное исследование решает эту проблему с помощью гибридной модели, объединяющей скорость Виолы-Джонса и надежность модифицированной CNN AlexNet [22][23]. Этот раздел представляет комплексную методологию, охватывающую общий дизайн, отдельные компоненты и эффективность различных параметров в сценариях с перекрытыми лицами.

3.1. Обзор системы

Гибридная модель следует двухэтапному конвейеру, как показано на Рисунке 1.

• Детектор Виолы-Джонса: Используется для начального предложения областей лица на основе признаков Хаара [24]. Он быстро сканирует изображение и обнаруживает потенциальные области лица.
• Верификатор AlexNet: Каждая предложенная область пропускается через модифицированную CNN на базе AlexNet, чтобы проверить, содержит ли она лицо. Этот этап значительно снижает количество ложных срабатываний и повышает устойчивость к частичному перекрытию.

Рисунок 1. Рабочий процесс гибридного обнаружения лиц

3.2. Виола-Джонс для предложения областей

Алгоритм Виолы-Джонса использует признаки Хаара и классификатор AdaBoost в каскадной структуре для обнаружения областей, похожих на лица. Хотя он эффективен, его точность снижается, когда лица частично перекрыты. Таблица 4 суммирует ключевые параметры, используемые в алгоритме Виолы-Джонса для генерации начальных предложений областей лица. Она выделяет тип признаков, настройки классификатора, размер окна обнаружения, масштабирование и производительность, обеспечивая быстрое обнаружение лиц в реальном времени с уменьшенным количеством ложных срабатываний.

Этот этап обеспечивает быструю предварительную обработку, но требует верификации CNN для удаления шума в случаях, когда объекты перекрыты.

3.3. Верификация лиц на основе CNN с использованием AlexNet

Модель CNN основана на AlexNet, адаптированной для бинарной классификации (лицо против не-лица) [15][16]. Сеть изучает пространственные иерархии и обучается на наборе данных, обогащенном образцами перекрытых лиц (например, лица, частично закрытые солнцезащитными очками, руками или масками). Таблица 5 описывает архитектуру модифицированной CNN AlexNet, используемой для верификации лиц, детализируя тип, размер фильтра, шаг (stride) и выходные размеры каждого слоя. Сеть обрабатывает входные изображения размером 227x227x3 через сверточные слои, слои активации, пулинга и полносвязные слои, окончательно классифицируя области как «Лицо» или «Не-лицо» с использованием выхода Softmax.

3.4. Параметры модели, оптимизированные для окклюзии

Несколько параметров и методов улучшили производительность CNN для обнаружения перекрытых лиц. Таблица 6 перечисляет параметры обучения, использованные для CNN, оптимизированные для обнаружения перекрытых лиц. Она выделяет такие настройки, как размер пакета (batch size), оптимизатор, скорость обучения (learning rate), dropout и состав данных (50% перекрытых лиц), все направленные на повышение надежности модели и предотвращение переобучения на частично видимых лицах.

3.5. Преимущества гибридной модели в контексте окклюзии

• Улучшенная точность обнаружения: Виола-Джонс обеспечивает быстрые предложения, в то время как AlexNet гарантирует точную классификацию даже при перекрытии.
• Снижение ложных срабатываний: Области не-лиц, ошибочно отмеченные Виола-Джонс, отклоняются верификатором CNN.
• Адаптивность: AlexNet хорошо обобщается на различные типы окклюзии благодаря разнообразному обучению.

Эта гибридная структура особенно хорошо подходит для обнаружения лиц при частичном перекрытии, например, в общественных местах [19], где пользователи могут носить маски, держать предметы у лица или быть видны под неудобными углами. Комбинация быстрого предложения регионов (Виола-Джонс) [20][21] и верификации на основе глубокого обучения (AlexNet) обеспечивает практический компромисс между точностью и скоростью в реальных условиях, как показано в Таблице 7.

РЕЗУЛЬТАТЫ

В этом разделе представлена оценка предложенной гибридной модели обнаружения лиц на наборах данных, содержащих частично перекрытые лица. Производительность модели оценивалась на основе точности обнаружения (accuracy), прецизионности (precision), полноты (recall), F1-меры, ложных срабатываний и времени выполнения. Результаты указывают на преимущества объединения детектора Виолы-Джонса с верификатором на основе CNN при наличии лицевых окклюзий.

4.1. Описание набора данных

Набор данных, использованный для оценки, состоит из 10 000 размеченных изображений, включая:

• 5 000 перекрытых лиц (с использованием таких объектов, как руки, солнцезащитные очки и маски),
• 2 500 неперекрытых лиц,
• 2 500 фоновых участков не-лиц.

Подмножество перекрытых лиц включает как частичные, так и сильные перекрытия, проверенные вручную для обеспечения разнообразия типов окклюзии и областей (верхняя, нижняя, боковая часть лица).

4.2. Метрики производительности

Модель оценивалась с использованием стандартных метрик классификации:

• Accuracy = (TP + TN) / (TP + TN + FP + FN)
• Precision = TP / (TP + FP)
• Recall (Sensitivity) = TP / (TP + FN)
• F1-Score = 2 × (Precision × Recall) / (Precision + Recall)

Где:

• TP: Истинно положительные (правильное обнаружение перекрытого лица)
• FP: Ложно положительные (не-лицо обнаружено как лицо)
• FN: Ложно отрицательные (пропущенное перекрытое лицо)

4.3. Производительность модели на перекрытых лицах

Гибридная модель значительно улучшает прецизионность и снижает количество ложных срабатываний по сравнению с использованием только Виолы-Джонса или только AlexNet. Она сочетает эффективные предложения регионов с точной классификацией, что особенно полезно в сценариях окклюзии, где все еще видны изолированные компоненты (например, один глаз или часть носа).

4.4. Примеры обнаружения

Приведенный выше рисунок иллюстрирует эффективность гибридной модели в обнаружении различных типов перекрытых лиц.

• Верхний левый: Успешное обнаружение лиц, закрытых хирургическими масками.
• Верхний правый: Правильно обнаружены лица с плохой видимостью и маленькие лица.
• Нижний правый: Сложные окклюзии, такие как руки, закрывающие лица, идентифицируются правильно.

4.5. Время вывода и размер модели

Таблица 9 показывает, что гибридная модель обеспечивает баланс между скоростью обнаружения и точностью. Она подходит для развертывания на стандартном вычислительном оборудовании в сценариях реального времени, таких как наблюдение или обнаружение лиц в масках.

4.6. Размер модели и скорость вывода

Размер модели и скорость вывода на ЦП для гибридной модели и базовых детекторов. Синие столбцы обозначают размер модели на диске (в мегабайтах), а оранжевая пунктирная линия с маркерами показывает кадры в секунду (FPS), которые каждая модель может обрабатывать на типичном ЦП, как показано на Рисунке 3. Мы наблюдаем, что гибридная модель составляет ~60 МБ и работает со скоростью около 12 FPS на ЦП. В отличие от этого, YOLOv3 очень велика (≈240 МБ) и без GPU достигает только около 3 FPS на том же ЦП. RetinaFace (с основой ResNet-50) составляет ~110 МБ и работает со скоростью около 2 FPS на ЦП. SSD составляет ~100 МБ и достигает около 10 FPS, в то время как MTCNN чрезвычайно компактна (≈6 МБ), но все же достигает только около 5 FPS на ЦП из-за своей каскадной трехступенчатой обработки.

Рисунок 3. Размер модели и скорость вывода

Эти результаты подчеркивают вычислительную эффективность гибридного алгоритма. Он на порядок меньше, чем YOLOv3, и примерно вдвое меньше RetinaFace, но при этом достигает более высокой скорости на ЦП, чем оба. Скорость ~12 FPS гибридной модели на ЦП является режимом реального времени или лучше для многих приложений, составляя ~80 миллисекунд на кадр. С другой стороны, YOLOv3 и RetinaFace предназначены для выполнения на GPU. На ЦП они слишком медленны для использования в реальном времени (≲ менее 5 FPS). MTCNN, хотя и легковесна, замедляется своей каскадной архитектурой. Рисунок 3 показывает, что гибридная модель обеспечивает благоприятный баланс, сочетая глубокую сеть скромного размера с эффективным механизмом Виолы-Джонса, создавая систему, которую можно развернуть на стандартном оборудовании. Это делает её хорошо подходящей для развертывания на периферийных устройствах (edge deployment) в камерах или встроенных устройствах, где ресурсы GPU ограничены.

Подводя итог, гибридный алгоритм отвечает практическим требованиям скорости, эффективности размера и точности. Он может работать в режиме реального времени на ЦП с разумным объемом памяти, что подчеркивает его ценность для реального наблюдения и мобильных приложений.

ЗАКЛЮЧЕНИЕ

Обнаружение лиц при частичном перекрытии остается постоянной проблемой в компьютерном зрении, особенно в реальных сценариях, таких как наблюдение, биометрическая аутентификация и системы общественной безопасности. В данном исследовании была предложена гибридная модель обнаружения лиц, объединяющая скорость алгоритма Виолы-Джонса с надежностью классификатора CNN на основе модифицированной AlexNet. Основная цель заключалась в повышении производительности обнаружения лиц в условиях окклюзии, где обычные детекторы часто испытывают трудности из-за отсутствия или перекрытия черт лица. Модель была обучена и оценена на наборе данных из 10 000 изображений, включающем 5 000 образцов с различными формами окклюзии, включая маски, солнцезащитные очки и руки. Гибридная архитектура использовала Виолу-Джонса для быстрой генерации предложений лиц, за которой следовала AlexNet для проверки каждой области-кандидата. Этот подход позволил достичь баланса между точностью обнаружения и вычислительной эффективностью. Окончательные результаты продемонстрировали эффективность этой конструкции, достигнув общей точности 93,0%, прецизионности 95,0%, полноты 90,1% и F1-меры 92,5%, с уровнем ложноположительных срабатываний всего 3,0%. Кроме того, модель поддерживала скорость вывода приблизительно 12 кадров в секунду на стандартном ЦП с объемом памяти всего 60 МБ, что делает ее подходящей для развертывания в реальном времени и в условиях ограниченных ресурсов.

По сравнению с автономными подходами, гибридная модель значительно сократила количество ложных срабатываний и улучшила устойчивость к частичным перекрытиям. Только Виола-Джонс показала ограниченную точность (72,4%) и высокий уровень ложноположительных срабатываний (15,2%), в то время как только AlexNet была более точной, но медленной. Гибридный дизайн успешно объединил их сильные стороны, что привело к улучшению обнаружения частично видимых лиц при различных типах окклюзии. Подводя итог, предложенный метод предлагает практичное, масштабируемое и эффективное решение для обнаружения перекрытых лиц. Будущая работа может изучить интеграцию механизмов внимания или моделей на основе трансформеров для дальнейшего повышения производительности в сильно переполненных или сильно перекрытых средах.