Анализ методов распознавания эмоционального состояния человека для выявления аномального поведения в видеоаналитических системах

Мартыненко Т.В., Щербаков А.А., Бондар Б.В.

ИНФОРМАТИКА И КИБЕРНЕТИКА. – Д.: ДонНТУ, – 2017. – № 3(9). – 128 c. [Ссылка]

В данной работе рассматривается методика обнаружения аномального состояния человека путем анализа его эмоционального состояния и уровня напряженности. Приведен обзор и классификация методов автоматического распознавания эмоций. На основании проведенных исследований представлен алгоритм обнаружения аномального поведения субъекта. Для решения задачи был выбран комплексный подход, реализация которого предоставила наиболее точные результаты.

эмоции, напряженность, система видеоаналитики, аномальное поведение, определение ключевых точек, мимический признак, распознавание эмоционального состояния.

Введение

В современном мире автоматизированные системы анализа видеопотока, включающие отслеживание поведения людей, применяются в различных областях: обеспечение безопасности анализируя траектории перемещения людей [1], вспомогательная помощь при проведении оперативно-розыскных мероприятий [2], психологическое и медицинское диагностирование [3].

Одной из основных задач автоматизированного видеоанализа в данных системах является классификация поведения людей на нормальное и аномальное.

Как правило аномальное поведение субъекта понимается как алгоритм действий, который не соответствует нормальной модели поведения людей в рассматриваемой ситуации, или же которая не представлена достаточным количеством примеров в обученной базе данных [4].

С позиции общей психологии и физиологии эмоциональное состояние и уровень напряженности субъекта можно рассматривать - как показатели психического, физиологического и функционального состояния человека [14].

С точки зрения невербальной психологии - как состояния, которые отражает мимика лица и прочие аспекты невербального поведения человека.

Существует достаточно много вариантов классификации эмоциональных состояний и критериев дискретизации эмоций между собой. Несмотря на это, ни одна из классификаций не может полноценно интерпретировать все состояния случайно выбранного человека, и в этом смысле задача автоматического определения эмоций является плохо определенной.

Преимущество классификации Пола Экмана заключается в высокой корреляции результатов среди исследуемого набора людей по параметрам пол, национальность и возраст, и в рамках таких критериев данная классификация определяется как универсальная. Классификация представляет собой шесть эмоций, такие как счастье, печаль, гнев, страх, удивление и отвращение (англ. happiness, sadness, anger, fear, surprise, disgust)

В итоге, получив оценку уровня напряженности и эмоционального состояния человека в определенный момент времени, а также определив модель типичного поведения и решающие правила, можно сделать вывод, является ли поведение человека аномальным.

Таким образом, целью работы является разработка алгоритма обнаружения аномального поведения человека, а также анализ методов распознавания эмоций и определение степени напряженности человека.

Разработка алгоритма обнаружения аномального поведения субъекта

На основании проведенного анализа различных источников описывающих распознавание объектов в видеопотоке [5, 6], а также выявление атипичного поведения субъекта [4,7-9] и работ по способам контекстного описания видео [10,11] был составлен алгоритм обнаружения аномального поведения субъекта:

Первичная обработка видеоряда, извлечение отдельных кадров.
Обработка полученных изображений - сегментация, определение контуров объектов сцены, детектирование людей.
Определение шаблонов двигательной (невербальной) активности как объектов видео анализа.
Слежение за ранее определенными шаблонами, вычисление динамики характеристик.
Поиск и выделение семантических, вероятностных (статистических) и прочих характеристик двигательной активности, которые соответствуют модели поведения.
Принятие решения об аномальности поведения, как о совокупности количественных и семантических характеристик.
Вычисление ошибок, тестирование и адаптация моделей.

Модель поведения исследуемых объектов может быть:

статистической или вероятностной моделью:
- динамической сетью Байеса [4] (от англ. Dinamic Bayesian network);
- стохастической контекстно-свободной грамматикой [5] (англ. SCFG);
- скрытой Марковской моделью [5] (от англ. Hidden Markov Model);
- распределением плотности вероятности [7] (от англ. Probability density function);
модель, использующая базу данных (далее БД) нормальной и аномальной активности, представленной набором изображений и их декомпозициями [8];
моделью представления знаний [12];
другие модели (расширения и комбинации описанных выше моделей).

Исходя из описанного в источнике [5] принятие решения может осуществляться с помощью экспертных продукционных правил, а так же путем вычисления расстояний между векторами [13] (Кульбака - Лейблера Евклида, Махаланобиса).

Описанный выше алгоритм отражает трудоемкость решения проблемы автоматического обнаружения аномального поведения на основе полученного видеоряда. Однако для частных случаев задачи, таких как распознавание аномальной траектории движения объектов и аномальных событий [4,5], выявления аномального движения на основе информации, заложенной в видео компрессии [7], распознавание аномальных жестов и походки [8] уже существуют некоторые методы решения (реализации).

Задача распознавания аномального эмоционального состояния и уровня напряженности является актуальной и требует нахождения комплексного решения.

Анализ методов распознавания эмоций

Одним из направлений исследования в сфере распознавания образов является анализ выражения лица. В основном сложности возникают на этапе получения точных признаков и выражений лица. Все дело в том, что разница в изменении положения характерных точек между различными выражениями лица может быть незначительной, к примеру: открытый рот не обязательно будет обозначать удивление, это может быть плач или смех. Проанализированные далее методы, как правило, развились из методов распознавания лица, но могут применяться и для распознавания эмоций.

Во-первых, существующие методы распознавания используют три основных признака для распознавания - это уровень серого, частоты и движение. Различные эмоции имеют разные уровни серого на цифровом изображении лица пользователя, из-за изменения рельефа лица. Однако для нормализации входного изображения перед началом анализа необходимо осуществлять предварительную обработку изображения. Характерный признак: движение, использует информацию об изменении положения определённых точек на лице. Характерный признак: частоты, использует разницу между различными цифровыми изображениями лица в частотной области.

С другой стороны, методы распознавания можно разделить на три области [17-24] (таблица 1): холистические (целостные) и локальные распознавания, экстрагирования деформации и движении (методы, вычисляющие динамику объектов), геометрические характеристики и характеристика внешности (методы вычисляющие форму объектов).

Так методы целостных распознаваний анализируют эмоции человеческого лица в целом, чтобы затем можно было найти разницу мещду разными изображениями: Principal Component Analysis (PCA), Independent Component Analysis (ICA), Fisher’s Linear Discriminants (FLD), Local Feature Analysis (LFA), Fisher Actions, Hidden Markov Models, и кластерный анализ.

В свою очередь методы локальных распознаваний анализируют отдельные части лица: глаза, брови и рот. Типичные методы: Facial Actions Code System (FACS), Local PCA, Вейвлеты и Нейронные сети.

В основе методов экстрагирования деформации и движений лежит изменения формы органов на лице, когда меняются различные выражения: Active Shape Model (ASM), Point Distribution Model (PDM).

Методы, основанные на геометрических характеристиках, полагаются на форму и положение различных частей лица человека, чтобы извлечь характерные векторы, которые представляют геометрические характеристики лица.

	Холистические методы	Локальные методы
Методы, вычисляющие форму	Классификаторы: ANN [17], SVM [21,22], Random forrest [20], LVQ [20], Adaboosl [19] Вейвлеты и фильтры Габора [20] Преобразовали е Xaфa [20] 2D Модели лица: AAM [20], ASM [19], EBGM [20]	Классификаторы: ANN [18], SVM [20], GA [18], Классификатор Байеса [20], Adaboost [20] Геометрически е модели лица [17] Собственные вектора: PCA [20], LDA [14] Локальные гистограммы: HoG [13], LBP [19,24]
Методы, вычисляющие динамику	Оптический поток [20] Динамические модели [17]	3D динамические модели [17] Статистически е модели: HMM [20], DBN [20]

Описание аббревиатур, используемых в таблице 1 представлено ниже:

ASM —: модель формы
EBGM —: эластичный граф
ANN —: искусственные нейронные сети
SVM —: методы опорных векторов
LDA —: линейный дискриминантный анализ, GA - генетические алгоритмы
LVQ —: векторное квантование (сеть Кохонена)
AAM —: модель представления
HoG —: гистограмма направленных градиентов
PCA —: метод главных компонент
LBP —: локальные бинарные шаблоны

Сейчас для автоматического распознавания эмоций в основном применяют комплексные подходы, общий принцип которых приведен на рисунке 1 и включает в себя следующие общие:

Получение изображения путем детектирования его на кадре и его адаптация (нормализация).
Поиск ключевых точек и особенностей лица, текстуры и формы, вычисление интенсивности проявления характеристик.
Опциональная обработка характеристик.
Непосредственно процесс классификации эмоциональных и других состояний.
Интерпретация и оценка результатов.

Алгоритм обнаружения аномального поведения с помощью локального метода распознавания эмоционального состояния и уровня напряженности, вычисляющего форму

В таблице 2 представлены краткие сведения о некоторых подходах, реализующих данный принцип и показавших наиболее точные результаты.

Извлечение особенностей	Классификатор	Точность	Эмоции	Авторы
ASM + Мимические признаки	ANN	77-93%	Экман	Кашапович и др. [17]
PCA + Фильтр Габора	SVM	71-90%	Экман + нейтральная эмоция + уровни напряженности	N. Agraw cal et al. [20]
Оптический поток	SVM	74-90%	Экман	K. Andero on eti ale. [20]
Преобразование Хафа	Random Forest	60-100%	Экман	G. Fanelli et al. [20]

Для проведения дальнейших исследований предлагается использование метода ASM + Мимические признаки + ANN. В этом методе на третьем шаге производится вычисление мимических признаков на основе ключевых точек лица. Данный метод позволяет классифицировать не только эмоции, но и также уровни напряженности.

Недостатки метода ASM + Мимические признаки + ANN:

отсутствие вычисления динамики мимических картин;
длительное обучение классификатора системы.

Достоинства метода ASM + Мимические признаки + ANN:

использование системы классификации выражений лица (Facial Action Coding System (FACS)) П. Экмана;
использование инвариантного к масштабу изображения лица мимического комплекса в составе 33 геометрических признаков модели лица (углов и расстояний);
относительная простота разработки и конкурентоспособные результаты для выбранной тестируемой базы;
устойчивость к нерегулярностям изображения лица, таким как ориентация головы и освещенность, из-за использования модели формы ASM.

Заключение

В статье представлен краткий обзор современных методов автоматизированного распознавания эмоционального состояния человека, выбран наиболее подходящий комбинированный метод, выделены общие принципы построения системы и предложен комплексный алгоритм решения задачи.

Предложенное решение основано на распознавании аномального поведения человека по его текущему эмоциональному состоянию и уровню напряженности.

В последующих работах планируется описание реализации, изложение и анализ результатов работы системы основанной на методе вычисления мимических признаков и их классификации с помощью перцептронной нейронной сети и наличием блока принятия решений.

Список литературы

Хрулев А. А. Интегрированные автоматизированные системы безопасности для массовых мероприятий на основе биометрических технологий // Евразийский форум "Инфофорум-Евразия", 2010.
Спиридонов И.Н. Биометрические технологии идентификации личности и безопасность государства // Евразийский форум "Инфофорум-Евразия"", 2010.
Спиридонов И.Н., Кашапова Л.Х. Определение эмоционального состояния по видеоизображению лица // Евразийский форум “Инфофорум-Евразия”, 2012.
Tao Xiang, Shaogang Gong. Video Behavior Profiling for Anomaly Detection // Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.30, no.5, pp.893-908, 2008.
Ivanov Y.A., Bobick A.F. Recognition of multi-agent interaction in video surveillance // Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on, vol.1, no., pp.169-176 vol.1, 1999.
Jabri S., Duric Z., Wechsler H., Rosenfeld A. Detection and location of people in video images using adaptive fusion of color and edge information // Pattern Recognition, 2000. Proceedings. 15th International Conference on , vol.4, pp.627-630 vol.4, 2000.
Kiryati N., Raviv T.R., Ivanchenko Y., Rochel S. Real-time abnormal motion detection in surveillance video // Pattern Recognition, 2008. ICPR 2008. 19th International Conference on , pp.1-4, 2008.
Boiman O., Irani M. Detecting irregularities in images and in video // Computer Vision, 2005. ICCV 2005. Tenth IEEE International Conference on , vol.1, pp.462-469, 2005.
Птицын Н.В. Встроенная видеоаналитика для детектирования и сопровождения объектов при помощи многомасштабных признаков. Режим доступа: http://www.graphicon.ru/proceedings/2010/confere nce/RU/Se3/31.pdf (дата обращения 18.02.2013)
Sikora T. The MPEG-7 visual standard for content description-an overview // Circuits and Systems for Video Technology, IEEE Transactions on , vol.11, no.6, pp.696-702, 2001.
Nevatia R., Hobbs J., Bolles B. An Ontology for Video Event Representation // Computer Vision and Pattern Recognition Workshop, 2004. CVPRW '04. Conference on, pp.119- 119, 2004
Abdoli F., Kahani M. Ontology-based distributed intrusion detection system // Computer Conference, 2009. CSICC 2009. 14th International CSI , pp.65-70, 200910. Fasel B., Luettin J. Automatic facial expression analysis: a survey// Pattern Recognition. 2003. vol.36, iss.1, pp.259¬275, 2003.
Леонова А. Б., Медведев В. И. Функциональные состояния человека в трудовой деятельности. М.: [б.н.], 1981.
Климов С. М. Методы и модели противодействия компьютерным. Люберцы: КАТАЛИТ, 2008. 306 с.
Sandbach G., Zafeiriou S., Pantic M., Yin L. Static and dynamic 3D facial expression recognition: Image and Vision Computing, vol.30, iss.10, pp.683-697, 2012.
Кашапова Л.Х., Хрулев A.A., Спиридонов И.Н. Проектирование автоматизированной системы распознавания эмоционального состояния по мимике // Фотометрия и ее метрологическое обеспечение: Тез. докл. XVII РНТК. - М.,2008. - c. 262-264.
Karthigayan M., Rizon M., Nagarajan R., Yaacob S. Genetic Algorithm and Neural Network for Face Emotion Recognition // Affective Computing, 2008
Zhao Xingli, Zhang Hong, Xu Zhan. Expression recognition by extracting facial features of shapes and textures//Journal of Computational Information Systems. 8(8): 3377-3384, 2012
Azcarate A. , Hageloh F., Koen Van De S, Valenti R. Automatic facial emotion recognition // tech. rep., Universiteit Van Amsterdam, 2005.
Anderson K., McOwan Peter W. A real¬time automated system for the recognition of human facial expressions // Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on , vol.36, no.1, pp.96-105, 2006.
Takiguchi T., Adachi J., Ariki Y. Video editing based on situation awareness from voice information and face emotion // In F. De Rango Ed., Digital video. Rjeka, Croatia:InTech, 2010.