Моделирование и распознавание мимических проявлений эмоций на лице человека

Лицо является своеобразным зеркалом, в котором - в большей или меньшей степени, воспроизводится динамика актуальных переживаний человека. Благодаря этому лицо выполняет сигнальную и регулятивную функции, выступая как один из каналов невербальной коммуникации.

В последние годы невербальная, мимическая поведение человека стала предметом интенсивных исследований. Проведенные исследования позволили предложить своеобразные Формулы некоторых мимических выражений. Тем самым был сделан не только важный шаг на пути строгого экспериментального исследования отображения экспрессии, но и была поставлена ​​проблема дифференцированности восприятия мимики лица.

В работе формальная психологическая модель эмоций, предложенная в [1], расширена для моделирования и распознавания мимических проявлений эмоциональных состояний человека. Полученные результаты могут быть использованы для моделирования интеллектуальной деятельности человека в системах искусственного интеллекта составляющие при разработке алгоритмов и программно-аппаратных средств для систем компьютерного распознавания и воспроизведения (синтеза) зрительных образов. Применение предложенного подхода позволит создавать высокоинтеллектуальные мультимедийные технологии и средства для систем искусственного интеллекта.

Для формализации эмоций, чтобы избежать двусмысленностей при их феноменологическом описании, предлагается перейти к изучению ситуаций, в которых эти эмоции возникают [1]. То есть, при определении эмоций в самом общем виде описывается ситуация, в которой они возникают. Будем различать название эмоции и ее обозначения. Под обозначением будем иметь в виду вектор (Em) (т.е. абстрактное понятие) со следующими признаками:

$$ Em_{i}^{\eta}=\left(\xi_{1},\xi_{2},\xi_{3}\right),i=1...8, $$

где $$\xi$$ — бинарные признаки, классифицируют эмоции: $$\xi_{1}$$ — признак, который определяет знак эмоции - положительная (1) эмоция или отрицательная (0); $$\xi_{2}$$ — признак, который определяет время возникновения эмоции относительно события (предсказательная (0) и констатирующая (1) эмоции) $$\xi_{3}$$ — признак, которая определяет направленность эмоции. По этому признаку выделяют эмоции, направленные на себя (1) и направлены на внешние объекты, на других людей (0).

В табл. 1 приведены полученные в результате исследований описания ситуаций, в которых возникают базовые эмоции, соответствующие им фотографические изображения и описание мимики, характеризующий эти состояния.

Базовая эмоция [13]	Психологическая ситуация, в которой возникает эмоция (ξ, ξ, ξ)	Изображение эмоции	Описание мимики в разрезе зон лица (1 – область лба и бровей, 2 – область глаз 3 – нижняя часть лица)
Горе	ξ = 0 – невозможность удовлетворения потребности ξ = 1 – возникает после того, как произошла неприятная событие ξ = 1 – есть переживанием потери		Внутренние уголки бровей подняты вверх. Внутренние уголки верхних век приподняты. Рот закрыт, уголки губ опущены, напряжения или натяжения в области рта нет.
Радость	ξ = 0 – потребность достигнута ξ = 1 – возникает после удовлетворения потребности. ξ = 1 – является переживанием результата удовлетворения потребности		Брови и лоб спокойны. Верхние веки спокойные, нижние веки приподняты, но ненапряженные; под нижними веками морщины. круг внешнего края уголков глаз морщины – гусиные лапки. Рот закрыт, уголки губ оттянуты в стороны и приподняты. От носа до внешнего края губ тянутся морщины – носогубные морщины.
Страх	ξ = 0 – предчувствие неудовлетворение потребности ξ = 1 – предчувствие потери ξ = 1 – боязнь за себя и свои потребности.		Брови подняты и сведены. Морщины только в центре лба. Верхние веки подняты так, что видно склеру, а нижние приподняты и напряжены. Рот раскрыт, губы растянуты и напряжены.
Надежда	ξ = 0 – противоположная страха ξ = 1 – является предчувствием удовольствие личной потребности (предчувствие радости) ξ = 1 – направлена на себя		Верхние уголки бровей подняты вверх. Верхние веки приподняты. —.
Гнев	ξ = 0 – отрицательная эмоция ξ = 1 – возникает после события, которое привело к неудовлетворение потребности ξ = 1 – направлен на объект, мешающий достижению цели		Брови опущены и сведены, между бровями вертикальные морщины. Верхние веки напряжены, нижние веки напряжены и приподняты. Рот закрыт, губы зажаты.
Удовольствие	ξ = 0 – противоположное гнева по знаку ξ = 1 – возникает после события. сигнализирует, что потребность ξ = 1 – удовлетворена с помощью конкретного объекта		—. —. Уголки губ оттянуты в стороны и приподняты.
Интерес	ξ = 0 – удовлетворения потребности ξ = 1 – предчувствие удовлетворения потребности ξ = 1 – направлен на объект		Брови приподняты, на лбу морщина. Веки немного расширены. —.
Пренебрежение	ξ = 0 – неудовлетворение потребности ξ = 1 – предчувствие неудовлетворение потребности ξ = 1 – направлена на объект		Брови приподняты. —. Уголки губ опущены. Лицо вытянутое, голова возвышенная, как человек смотрит на кого сверху; она как бы отстраняется от собеседника.

Для реализации перехода от формальной психологической модели эмоций к формальному описанию мимических проявлений эмоциональных состояний на лице предложено следующее:

• создание множества фотографических изображений мимических проявлений на лице, которые соответствуют ситуации, в которых возникают базовые эмоции, описание мимики, свойственной этим эмоциям;
• анализ полученной множества с целью выявления областей, которые содержат характерные признаки эмоций и их описание;
• создание в пространстве характеристических признаков базиса для последующего разложения по нем произвольных векторов мимических проявлений эмоциональных состояний (как выпуклой комбинации базисных эмоциональных состояний).

В ходе исследования, при анализе мимических проявлений в разрезе зон лица, было получено 21 характеристической признак, комбинация которых образует базис мимических проявлений эмоций. То есть мимические проявления эмоции (Em) были представлены в виде вектора:

$$ Em_{i}^{\eta}=\left(\mu_{1},\mu_{2},\mu_{3}\right),i=1...8, $$

Здесь $$\mu_{j}∈[0;1]$$ — характеристическая мимическая признак (при $$\mu=0$$ – нет признака, а при $$\mu=1$$ влияние признаки максимальный); перечень признаков приведен в табл. 2.

Набор восьми векторов образует базис (B, где i = 1, ..., 21, j = 1, ..., 8) пространства мимических проявлений эмоциональных состояний.

Таким образом, произвольный вектор b = (μ, ..., μ), полученный путем анализа изображения с определенным эмоциональным состоянием, можно разложить по базису B и получить описание эмоции как выпуклой комбинации:

$$ x=\left(B^{T}B\right)^{-1}B^{T}b , $$

при условии: $$det\left(B^{T}B\right)≠ 0$$, где B – базовая матрица эмоциональных состояний (табл. 1); $$B^{T}$$ – транспонированная матрица B; b – вектор, описывающий мимический проявление произвольного эмоционального состояния; $$x=\left(\alpha_{1},\dots,\alpha_{8}\right)$$, где $$\alpha_{i}$$ — коэффициенты выпуклой комбинации ($$\sum\alpha_{i}=1,\alpha_{i}∈ [0;1]$$) для каждой из 8 базовых эмоций.

В предлагаемой в [2] модели базис пространства мимических признаков эмоциональных состояний строится на основе априорного опыта экспериментатора, требует определенной квалификации и, соответственно, дает неоднозначный результат - констатация одного и того же эмоционального мышечного проявления у разных людей различается. Для того чтобы перейти от феноменологического определения характеристических мимических признаков к определенной их формализации, в [3] предложено использовать собственную модификацию метода моделей, которые деформируются. Как параметрические кривые для выделения характерных признаков рис лицо предложено использовать модели, которые задаются с помощью неравномерных рациональных базисных сплайнов - NURBS кривых [4], [5].

В рамках проведенных исследований была построена модель, которая состоит из гибких шаблонов – NURBS-кривых. Исходя из того, что опорные точки NURBS-кривой однозначно определяют саму кривую, к рассмотрению принимались только векторы опорных точек. Для построения базиса были использованы следующие векторы опорных точек (табл. 3):

Признак	Описание мимических проявлений в разрезе областей лица			Для бровей, глаз и рта — векторы опорных точек pij Для морщин - μ ∈ [0;1] (при μ = 0 - нет морщины, а при μ = 1 морщина максимальная)
	Область лица		Мимическое проявление
µ	Область лба и бровей	Лоб	Морщины в центре лба
µ			Одна горизонтальная морщина
µ			Между бровями горизонтальная морщина
µ		Брови	Внутренние уголки подняты вверх	pi1,i=0...4	Левая бровь
µ			Опущены и сведены
µ			Приподняты
µ			Подняты и сведены
µ	Область глаз (глаза, веки, основа носа)	Верхние веки	Внутренние уголки поднятые	pi2,i=0...5	Левое верхнее веко
µ			Напряжены
µ			Подняты (видно склеру)
µ			Приподняты
µ		Нижние веки	Приподняты и ненапряженны	pi3,i=0...5	Левое нижнее веко
µ			Приподняты и напряженны
µ		Морщины	Гусиные лапки у внешних уголков
µ			Морщина под веками
µ	Нижняя часть лица (нос, щеки, рот)	Рот	Закрытый, губы сжаты	pi4,i=0...16	Губы
µ			Раскрытый
µ		Губы (линия, уголки)	Уголки губ оттянуты в стороны и приподняты
µ			Растянуты и напряжены
µ			Уголки губ опущены
µ		Морщины	Морщина от носа до уголков губ

В [2], [3] предложена математическая модель и целостная информационная технология для автоматического определения произвольного эмоционального состояния конкретного человека как выпуклой комбинации некоторых базовых состояний. Для этого с помощью математической модели и оригинального программного обеспечения создается базовый пространство эмоциональных состояний конкретного человека. В дальнейшем произвольный эмоциональное проявление этого человека разлагается как выпуклая комбинация эмоциональных состояний в этом пространстве. Но в этой модели гибкие шаблоны настраивались на проявление конкретной мимики с помощью ручного редактирования определенного количества параметров – точек NURBS-кривых на поверхности изображение. Дальнейшие исследования в этом направлении были направлены на модификацию метода контурных моделей, которые деформируются. Для целей автоматического деформирования моделей было предложено использовать аппроксимацию B-сплайн кривых [4].

Воспользуемся свойством NURBS-кривых, а именно: при w = 1 NURBS-кривая сводится к B-сплайн кривой. Данное свойство следует из идентичности опорных точек (p) в однородной форме и равенства знаменателю 1. Принимая во внимание, что при моделировании гибких шаблонов принималось w = 1, то для упрощения аппроксимации можно перейти к B-сплайн кривых.

Задача B-сплайн аппроксимации является задачей подгонки B-сплайн кривой с K опорными точками p=[p,...,p] к точечной кривой d=[d,...,d], где M > K (обычно M >> K) для значений параметра u,...,u. Такая задача аппроксимации приводит к переопределены системы линейных уравнений N•p = d:

$$ \left[ \begin{matrix} N_{0}\left(u_{0}\right) & \cdots & N_{K-1}\left(u_{0}\right) \\ N_{0}\left(u_{1}\right) & \cdots & N_{K-1}\left(u_{1}\right) \\ \vdots & \ddots & \vdots \\ N_{0}\left(u_{M-1}\right) & ... & N_{K-1}\left(u_{M-1}\right) \end{matrix} \right]\cdotp \left[ \begin{matrix} p_{0} \\ \vdots \\ p_{K-1} \end{matrix} \right]= \left[ \begin{matrix} d_{0} \\ d_{1} \\ \vdots \\ d_{M-1} \end{matrix} \right], $$

где N_i(u) — B-сплайн базисная функция.

Одним из путей получения решения переопределены системы линейных уравнений (4) являются:

$$ N^{T}N \cdotp p = N^{T} \cdotp d ,$$

Откуда

$$ p = \left(N^{T}N\right)^{-1} \cdotp N^{T}d ,$$

$$ det\left(N^{T}N\right)\ne0$$

Для применения B-сплайн аппроксимации нужно уметь получать на картинке точечные кривые d=[d,...,d]^T, которые соответствуют требуемым контурам, с тем, чтобы дальше применить преобразования (5) - (7).

Существует много технологий для получения на картинке точечных кривых d=[d,...,d]^T, которые соответствуют контурам бровей, глаз и рта. В основном они базируются на получении контура изображения как резкой границы между элементами изображения (с помощью сверток, анализа цвета и т.д.) с последующей скелетезациею (получением контура единичной толщины).

В данной работе для оконтуривания изображения предлагается применить имитацию работы зрительных рецепторов глаза человека. Известно [5], что глазное яблоко находится в непрерывном микроруси. Вопрос об этих микродвижения имеет неоднозначную трактовку.

Можно предположить, что эти микродвижения является необходимым условием функционирования аппарата выделения контуров изображения. Для проверки этого заставим рецепторы сетчатки искусственного глаза зафиксировать предложенное изображение, затем незначительно (например, на 1 точку) сдвинем изображение в сторону, и снова дадим возможность рецепторам глаза зафиксировать его. В этот момент на выходах рецепторов появится относиельное изменение сигнала. Возьмем значение изменений рецепторов и занесем их в соответствующие точки на изображении - получим контуры изображения (рис.1).

Имитация содержания рецепторов на сетчатке глаза проходит следующим образом. Есть изображения и направление микродвижения (например, диагонально на M точек). сначала конкретный рецептор «видит» точку с координатами (x,y), а после микродвижения — с координатами (x-M, y-M). Разница цветных плоскостей между входной точкой и точкой, которая оказалась на ее месте в результате микродвижения, — это и есть относительное изменение входного раздражающего сигнала (для конкретного рецептора).

Полученные таким образом контуры нужно привести к скелетной вид. То есть нужно выделить некоторую среднюю линию, которая правильно отражала структуру контура. Для этого применим известный алгоритм Зонга-Суня [6]. полученный таким образом скелет контура губ изображено на рис.2.

Основная идея алгоритма Зонга-Суня состоит в том, что на каждом шагу прохождении по изображению рамки 3 × 3 проверяется принадлежность каждого пикселя в границы заданной связной области. Если условия проверки выполняются, то пиксель изымается из области. Несмотря на количество выполненных шагов, область останется связанной, в крайнем случае она выродится в линию толщиной в один пиксель.

Для анализа мимических выражений эмоций предложена следующая целостная информационная технология [2], [3]:

1. для конкретного человека получаем множество из восьми фотографических изображений лица, на котором воссоздана мимическая реакция на ситуации, которые соответствуют базовым эмоциям: радость, горе, надежда, страх, удовольствие, гнев, интерес, пренебрежение;
2. в соответствующем программном обеспечении нормируем фотографические изображения (по расстоянию между центрами глаз);
3. с помощью известных технологий оконтуривания и скелетирование изображений получаем контуры следующих частей лица: морщины в области лба, брови, верхние веки, нижние веки, морщины «гусиные лапки» у внешних уголков глаз, морщины под веками, рот, морщины от носа к уголкам губ;
4. используя гибкие шаблоны в виде NURBS кривых [3] и B-сплайн аппроксимацию, получим множество опорных точек NURBS-кривой для шаблонов, характеризующие каждую из восьми базовых эмоций (табл.1):
   p_i^1,(e)=[x_i^1,(e),y_i^1,(e)]^T , i = 0...4, e = 1...8 — шаблон левой брови для 8 эмоциональных состояний;
   p_i^2,(e)=[x_i^2,(e),y_i^2,(e)]^T , i = 0...5, e = 1...8 — шаблон левой верхней веки для 8 эмоциональных состояний;
   p_i^3,(e)=[x_i^3,(e),y_i^3,(e)]^T , i = 0...5, e = 1...8 — шаблон левой нижнего века для 8 эмоциональных состояний;
   p_i^4,(e)=[x_i^4,(e),y_i^4,(e)]^T , i = 0...16, e = 1...8 — шаблон губ для 8 эмоциональных состояний;
   μ^(e) = [μ₁^(e), μ₂^(e), μ₃^(e), μ₁₄^(e), μ₁₅^(e), μ₂₁^(e) ]^T, e = 1...8 — характерные мимические признаки (табл.1);
5. из восьми полученных множеств опорных точек NURBS-кривых (шаблонов) и вектора характеристических мимических признаков для морщин построим базис эмоциональных состояний (B) конкретного человека:

   $$ B = \left[ \begin{matrix} \mu^{(1)} & \dots & \mu^{(8)} \\ P^{1,(1)} & \dots & P^{1,(8)} \\ P^{2,(1)} & \dots & P^{2,(8)} \\ P^{3,(1)} & \dots & P^{3,(8)} \\ P^{4,(1)} & \dots & P^{4,(8)} \\ \end{matrix} \right], где P^{j,(k)} = \left[ \begin{matrix} p_{0}^{j,(k)} \\ \vdots \\ p_{n_{j}}^{j,(k)} \end{matrix} \right], где \begin{matrix} j = 1 \dots 4 \\ k = 1 \dots 8 \\ n_{1}=4, n_{2},n_{3}=5,n_{4}=16 \end{matrix}. $$

В дальнейшем для анализа произвольного изображения лица этого человека: повторим пункты 1. — 4. для изображения произвольной эмоции и получим вектор:

$$ b=\left[ \begin{matrix} \mu^{(*)} \\ P^{1,(*)} \\ P^{2,(*)} \\ P^{3,(*)} \\ P^{4,(*)} \end{matrix} \right] , где P^{j,(*)}=\left[ \begin{matrix} p_{0}^{j,(*)} \\ \vdots \\ p_{n}^{j,(*)} \end{matrix} \right], где \begin{matrix} j=1...4 \\ \\ n_{1}=4, n_{2}, n_{3}=5, n_{4}=16 . \end{matrix} $$

Разложим его по построенному базиса B (8):

$$ B^{T}B\cdotp x = B^{T}\cdotp b , $$

Получим решение

$$ x=\left(B^{T}B\right)^{-1}\cdotp B^{T}b , $$

при условии

$$ det\left(B^{T}B\right)\ne 0 .$$

Коэффициенты разложения x = (α₁,..., α₈) будут указывать на конкретный вклад каждой из восьми базовых эмоций в произвольную эмоцию b.

Результаты исследования

При переходе от феноменологического описания эмоций к ситуациям, в которых эмоции возникают, была создана множество фотографических изображений базовых эмоций.

Далее из полученных изображений выделялись описанными выше способами необходимые для дальнейшей обработки контура (брови, глаза, губы и т.д.). Например, на рис. 3 приведены полученные контуры правой брови для эмоций: радость, горе, надежда, страх, удовольствие.

На рис. 4 контура правой брови представлены в виде точечной кривой

На графике видно, что положение полученных контуров правой брови соответствуют описания мимики эмоций. То есть для эмоций удовольствия и радости особого проявления мимики нет, для эмоций горя и надежды - внутренние уголки приподняты вверх, а для эмоции страха – бровь поднята и возведена.

Полученным контуров применялись преобразования (5) – (7) для получения множеств управляющих точек NURBS-кривых. На рис. 5 приведен график контура и соответствующую этому контуру NURBS-кривую для положения правой брови при эмоции радости.

Рис. 6 содержит результат привязки гибких шаблонов (NURBS-кривых) в соответствующие фрагментов лица для всех базовых эмоций.

Из восьми полученных множеств опорных точек NURBS-кривых (шаблонов) и вектора характеристических мимических признаков для морщин был построен базис (8) эмоциональных состояний (B) конкретного человека.

Аналогичным образом с фотографического изображения произвольной эмоции, воспроизводит ситуацию, в которой возникает чувство вины (рис. 7), был построен соответствующий вектор b (9).

С применением преобразования (10) – (12) был проведен расписание полученного вектора b по базису B.

Для эмоционального состояния вина были получены следующие коэффициенты выпуклой комбинации базовых состояний:

$$\alpha_{1}=0,\alpha_{2}=0.7,\alpha_{3}=0,\alpha_{4}=0,\alpha_{5}=0.3,\alpha_{6}=0,\alpha_{7}=0,\alpha_{8}=0 ,$$

$$\sum_{i=1}^{8} \alpha_{i}=1,$$

где α – отвечают следующим эмоциональным состояниям: радость, горе, надежда, страх, удовольствие, гнев, интерес и пренебрежение. Согласно [1], состояние, которое состоит из комбинаций удовольствие (α = 0.3) и горя (α = 0.7) соответствует эмоции вина.

Выводы

Предложенная математическая модель и целостная информационная технология для автоматического определения произвольного эмоционального состояния конкретного человека, как выпуклой комбинации некоторых базовых состояний. Для этого, с помощью математической модели и оригинального программного обеспечения, создается базовый пространство эмоциональных состояний конкретного человека. В дальнейшем произвольный эмоциональное проявление этого человека разлагается как выпуклая комбинация эмоциональных состояний в этом пространстве.

Для построения базиса пространства эмоциональных состояний используются гибкие шаблоны контуров основных зон лица. Гибкие шаблоны представлены с помощью NURBSкривих. Настройка шаблона на точечный контур конкретного изображения проходит с помощью B-сплайн аппроксимации путем развязку переопределены неоднородной системы линейных уравнений.

Предложенная технология имеет практическую ценность в системах визуального контроля за эмоциональным состоянием человека во многих сферах человеческой деятельности, где требуется большая сосредоточенность и необходимо принимать решения в режиме реального времени (Транспорт, безопасность и т.п.). Дальнейшие исследования будут направлены на совершенствование методов и алгоритмов автоматического распознавания эмоциональных проявлений на лице человека.

Литература

1. Леонтьев В.О. Классификация эмоций / Леонтьев В.О. – Одесса : Инновационно-ипотечный центр, 2002. – 84 с.
2. Крак Ю.В. Синтез мімічних виразів емоцій на основі формальної моделі / Ю.В. Крак, О.В. Бармак, Г.М. Єфімов // Штучний інтелект. – 2007. – № 2 – C. 22-31.
3. Кривонос Ю.Г. Моделювання та аналіз мімічних проявів емоцій / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, Г.М. Єфімов // Доповіді НАНУ. – 2008. – № 12 – С. 51-55.
4. Piegl L. The NURBS Book / Les Piegl, Wayne Tiller. – [2nd Edition]. – Berlin : Springer-Verlag, 1996. – 646 p.
5. Демидов В.Е. Как мы видим то, что видим / Демидов В.Е. – М. : Знание, 1987. – 240 с.
6. T.Y. Zhang A fast parallel algorithm for thinning digital patterns / T.Y. Zhang, C.Y. Suen // Commun. ACM. – 1984. – № 3, Vol. 27 – P. 236-239.
7. Boor C. A Practical Guide to Splines / Boor C. – New York : Springer-Verlag, 1978. – 392 p.