Формальное описание и моделирование мимических проявлений эмоций

Содержание

• Введение
• 1. ПОСТАНОВКА ЗАДАЧИ
• 1.1 Актуальность темы
• 1.2 Цель и задачи исследования, планируемые результаты
• 1.3 Предполагаемая научная новизна и практическая значимость
• 2. ОБЗОР ИССЛЕДОВАНИЙ И РАЗРАБОТОК
• 2.1 Обзор международных источников
• 2.2 Обзор национальных источников
• 3. ОПИСАНИЕ ИСПОЛЬЗУЕМЫХ МЕТОДОВ И АЛГОРИТМОВ
• 3.1 Описание этапа получения контуров основных частей лица
• Вывод
• Список источников

Введение

Лицо является своеобразным зеркалом, в котором, в большей или меньшей степени, отображается динамика актуальных переживаний человека. Благодаря этому лицо выполняет сигнальную и регулятивную функции, выступая как один из каналов невербальной коммуникации.

В последние годы невербальное, мимическое поведение человека стало предметом интенсивных исследований. Проведенные исследования позволили предложить своеобразные «формулы» некоторых мимических выражений, тем самым был сделан не только важный шаг на пути строгого экспериментального исследования отображения экспрессии, но и была поставлена проблема дифференцированности восприятия мимики лица.

Недостаточная разработанность вопроса о дифференцированном восприятии мимики лица достаточно резко контрастирует с практическими потребностями (криминалистика, виртуальная реальность, образный компьютер и т.д.), и инициировала проведение этих исследований.

В работе [1] авторами была предложена формальная психологическая модель эмоций. Также, в этой работе предложено использовать NURBS-кривые для представления контуров основных частей лица. Учитывая, что нет необходимости в кратности управляющих вершин для данной задачи, NURBS-кривые можно упростить до B-сплайн кривых. Опираясь на результаты исследования, полученные в работе [1], можно создать систему для восстановления фрагментов лица на основе информации, получено с его мимических изображений.

1. ПОСТАНОВКА ЗАДАЧИ

1.1 Актуальность темы

Методы и алгоритмы анализа и синтеза эмоционального состояния лица человека являются составной частью систем и средств искусственного интеллекта, направленных на исследование, создание и внедрение алгоритмических и программно-аппаратных систем и комплексов с элементами искусственного интеллекта на основе моделирования интеллектуальной деятельности человека. Моделирование и распознавание эмоций, как одного из каналов невербальной сигнальной и регулятивной коммуникации, воспроизводит динамику актуальных переживаний человека, является актуальным и важным направлением исследований с целью создания систем компьютерного распознавания и синтеза зрительных образов. Невербальная мимическая передача информации человеком стала предметом интенсивных исследований. Проведенные исследования позволили выделить некоторые подходы к формализации эмоций: модели эмоций в психологии, эволюционная теория эмоций Дарвина, «ассоциативная» теория Вундта, «периферическая» теория Джемса-Ланге, теория Кэннона-Барда, психоаналитическая теория эмоций, сосудистая теория выражения эмоций Уейнбаума и ее модификация, биологическая теория эмоций Анохина, фрустрационные теории эмоций, когнитивистские теории эмоций, информационная теория эмоций Симонова, теория дифференциальных эмоций Изарда, система кодирования состояний лица или FACS система, предложенная Экманом и другие. В результате был сделан важный шаг на пути строгого экспериментального исследования отображения экспрессии и поставлена проблема дифференцированности восприятия мимики лица.

Средства анализа и синтеза человеческого лица, эмоций на нем, исследуются и разрабатываются в ведущих научных организациях мира, в частности, в Массачусетском технологическом институте, Оксфордском, Кембриджском, Стэнфордском, Московском, Санкт-Петербургском университетах и тому подобное. В Украине исследованием таких проблем занимаются в институте кибернетики имени Глушкова, Международном научно-учебном центре информационных технологий и систем, Киевском национальном университете имени Тараса Шевченко и в других учреждениях.

В данной магистерской диссертации формальная модель эмоций, предложенная психологами, использовалась для распознавания эмоций на лице человека и моделирования контуров лица с нейтральной мимикой. Результаты этого исследования могут быть использованы для моделирования интеллектуальной деятельности человека, для применения в системах искусственного интеллекта.

1.2 Цель и задачи исследования, планируемые результаты

Целью данной магистерской диссертации является исследование и разработка методов, алгоритмов и программного обеспечения для восстановления фрагментов лица по его мимике. Для достижения поставленной цели были сформулированы следующие задачи:

1. проанализировать проведенные национальные и зарубежные исследования, в которых рассматривается задача распознавания и моделирования мимики на лице человека;
2. рассмотреть подходы формализации эмоций, проанализировать их мимическое проявление на лице человека;
3. разработать методы и алгоритмы для автоматического нахождения контуров основных частей лица, определения эмоции на изображении, преобразования В-сплайн кривых к контурам лица с нейтральной мимикой;
4. на основании разработанных методов и алгоритмов разработать программное обеспечение для восстановления фрагментов лица по его мимике.

Предмет исследования: методы, алгоритмы и программное обеспечение для анализа и последующего синтеза мимических проявлений эмоций на фотографическом изображении лица человека.

Объект исследования: фотографическое изображение лица человека с различными мимическими проявлениями эмоций.

1.3 Предполагаемая научная новизна и практическая значимость

Научной новизной данной работы является разработка мультимедийной технологии и средства искусственного интеллекта для анализа и синтеза мимических проявлений эмоций, а также создание программного продукта для восстановления лица по мимическим изображениям.

Разработанный в данной магистерской диссертации программный продукт может найти применение в государственных и частных охранных структурах, правоохранительных органах, например, для отслеживания людей, находящихся в гневе или в агрессивном состоянии с целью предотвращения преступлений. Возможно использование разработанного средства искусственного интеллекта для повышения эффективности систем идентификации личностей, за счет перехода к изображению с нейтральной мимикой, которое проще сравнивать с базой эталонов. Также возможно использование программного продукта в качестве средства слежения за работой операторов диспетчерских систем. Кроме того, возможно использования программного продукта для моделирования эмоций на 3D моделях человеческого лица.

2. ОБЗОР ИССЛЕДОВАНИЙ И РАЗРАБОТОК

2.1 Обзор международных источников

Большинство зарубежных методов анализа мимических проявлений лица основаны на использовании FACS. После получения FACS-множества используется набор правил и словарь эмоций для анализа эмоционального выражения лица.

Но для анализа и моделирования мимики необходимо разобраться в механизме ее создания. Мышцы лица – основной механизм, который определяет мимику. Выражение лица определяется одиннадцатью главными мышцами. На самом деле лицо формируют больше двадцати мышц. Однако многие из них исполняют только роль мышечной опоры и не проявляют прямого влияния на выражение лица. К главным мышцам лица относят:

1. жевательная мышца;
2. мышца, которая поднимает верхнюю губу;
3. большая скуловая мышца;
4. мышца, которая опускает уголок рта;
5. мышца, которая опускает нижнюю губу;
6. мышца подбородка;
7. круговая мышца рта;
8. мышца, которая морщит бровь;
9. круговая мышца глаза;
10. лобная мышца;
11. мышца смеха (подкожная мышца шеи).

В [10] автор, изучив анатомию человеческой особы, определил какие именно мышцы и каким образом участвуют в определенных экспрессивных изменениях лица. Чтобы смоделировать эмоциональное выражение лица, необходимо сначала определить более детально их зависимость от движения мышц лица. В [2, 3] описана система для описания всех визуально заметных движений на лице. Система, которая называется Facial Action Coding System или FACS, базируется на пересчете всех «единиц движений» (action units) лица, которые вызывают мимические движения. Некоторые мышцы вызывают больше чем одну единицу движения, поэтому соответствие между единицами движения и движением мышц приблизительное.

В FACS есть 46 единиц движения, которые регистрируют изменения в выражении лица и 12 единиц, которые описывают изменения в ориентации головы и взгляда. FACS-кодирование исполняется людьми, которые научены классифицировать выражение лица, базируясь на анатомии движения лица, то есть научены определять, как мышцы отдельно и в комбинации меняют мимику лица. FACS-кодирование разделяет на секции выражения лица, раскладывая его в определенные единицы движения, которые и привели к мимике. Определение единиц движения в FACS является описательным и независимым от эмоций, которые воссоздаются на лице.

2.2 Обзор национальных источников

Стоит обратить внимание на исследования, проведенные в странах СНГ, в частности России и Украине. Средствам анализа и синтеза человеческого лица и эмоций на нем посвящено много научных работ и диссертационных исследований, среди которых работы Ю. Кривоноса, Ю. Крака, О. Бармака, В. Леонтьева, Т. Лугуева и других.

На основе классификации эмоций [4], в работе [1] была предложена формальная психологическая модель эмоций. В работе [5], эта модель была расширена для моделирования и распознавания мимических проявлений эмоциональных состояний человека.

Для формализации эмоций, чтобы избежать двузначности при их феноменологическом описании, предлагается перейти к изучению ситуаций, в которых возникают эти эмоции [4]. То есть, при определении эмоций в наиболее общем виде описывается ситуация, в которой они возникают.

Автором предлагается представление базовых эмоций в виде трех бинарных признаков:

1. признак ξ1 указывает на знак эмоции (позитивная 1 или негативная 0);
2. признак ξ2 указывает на время возникновения эмоции относительно события (предсказующая 0 или констатирующая 1);
3. признак ξ3 указывает на направленность эмоции (направленная на себя 1 или на внешние объекты 0).

В предложенной модели [6], базис пространства мимических признаков эмоциональных состояний строится на основе опыта экспериментатора, требует определенной квалификации и, соответственно, дает неоднозначные результаты, так как констатация одного и того же мышечного проявления у разных людей отличается.

Для того чтобы перейти от феноменологического определения характеристических мимических признаков к определённой их формализации в [1] предложено использовать NURBS-кривые [7]. В таком виде хранились и обрабатывались брови, веки и губы. На рисунке 2.1 представлены восемь базовых эмоций для конкретного человека. На рисунке 2.2 представлен пример NURBS-кривой для правой брови при эмоции радость. Исходя из того, что опорные точки NURBS-кривых однозначно определяют саму кривую, в рассмотрение брались только векторы опорных точек. Такое представление значительно упрощает обработку. На рисунке 2.3 изображены восемь базовых эмоций для конкретного человека с наложенными NURBS-кривыми.

Получив координаты всех необходимых опорных точек для всех восьми базовых эмоций конкретного человека можно автоматически определить его произвольное эмоциональное состояние с помощью предложенной математической модели в [1, 6]. Например, для эмоционального состояния вина, были получены такие коэффициенты комбинации базовых состояний: α1 = α3 = α4 = α6 = α7 = α8 = 0, α2 = 0.7, α5 = 0.3, где αi – соответствуют следующим базовым эмоциям: радость, горе, надежда, страх, удовлетворение, гнев, интерес, презрение. Согласно [4], состояние, которое состоит из комбинации удовлетворения (α5 = 0.3) и горя (α2 = 0.7), соответствует эмоции вина.

3. ОПИСАНИЕ ИСПОЛЬЗУЕМЫХ МЕТОДОВ И АЛГОРИТМОВ

Задача распознавания и моделирования эмоций на лице сложный процесс, включающий в себя ряд подзадач [8, 9]. При решении задачи восстановления фрагментов лица по его мимике можно выделить четыре основных этапа: нахождение контуров основных частей лица, приведение этих контуров к виду B-сплайн кривых, определение эмоции на лице, приведение контуров частей лица к нейтральному состоянию. На рисунке 3.1 можно увидеть последовательность действий для решения рассматриваемой задачи на высоком уровне. Ниже будет детально рассмотрен каждый этап решения задачи.

3.1 Описание этапа получения контуров основных частей лица

Так как положение головы на снимках редко бывает постоянным, в самом начале входное изображение необходимо нормализировать. Нормализация дает возможность прейти к одной системе координат с одинаковым шагом размерной сетки для всего набора фотографий. Обычно процесс нормализации проводится на основании центров зрачков, а расстояние между ними служит в качестве единицы измерения. Для нахождения координат центров зрачков существует не мало методов. Однако большинство из них нацелены на поиск края зрачка, а задача нахождения центра является второстепенной. Задача нахождение края зрачка является одним из промежуточных шагов в задаче идентификации человека по радужной оболочке. Но в задаче распознавания и моделировании эмоций, нет необходимости находить край зрачка, достаточно лишь его центра. Поэтому был разработан метод нахождения именно центра зрачка, что слегка облегчает вычислительную сложность задачи.

Имея координаты центров, можно определить наклон головы относительно линии горизонта, а также примерное представление о положении лица человека на изображении. На основании разницы координат центров зрачков по оси ординат, высчитывается угол поворота головы, после чего изображение поворачивается на вычисленное значение. Выполнение этого поворота позволяет избежать ошибок в дальнейшей локализации частей лица.

Также, расстояние между зрачками используется для масштабирования исходного изображения. На основе этого расстояния выполняется локализация основных частей лица на изображении, что позволяет снизить трудоемкость поиска их контуров. Локализация выполняется исходя из априорных знаний о приблизительном строении лица человека. Для нахождения центров зрачков был разработан алгоритм, основные шаги которого можно увидеть на рисунке 3.2.

После того как были получены точки центров зрачков, можно приступить к поиску контуров основных частей лица, а это веки, брови и рот (рисунок 3.3).

Контуры век находятся отдельно для каждого глаза. Причем сначала находятся контуры верхнего века, а затем нижнего. Сначала исходная область сглаживается гауссовским и медианным фильтрами, что позволит избавится от шума и частично ресниц. Контур верхнего века получим, используя дифференциальный оператор Собеля. Нижнюю же границу сложно получить, основываясь на анализе краев изображения, поэтому эта граница была аппроксимирована двумя прямыми. Сначала необходимо найти точку края центра века, для чего также использовался оператор Собеля. Затем соединив крайнюю левую и крайнюю правую точку верхней веки с полученным центром нижнего века, можно получить достаточно точное приближение нижнего века.

Контуры бровей также находим отдельно. Предварительно применяем гауссовский и медианный фильтра, так как структура брови зачастую неоднородна. Для получения контуров брови воспользуемся оператором Собеля. Но контур брови достаточно массивен и избыточен, поэтому его нужно скелетизировать (привести в вид линии шириной в 1 пиксел). Будем считать центр между верхней и нижней границей линией брови.

Контур рта недостаточно выразителен, поэтому методы на основе анализа края не применимы для этой задачи. Для нахождения рта использовался подход на основе цветовой сегментации. В цветовом пространстве RGB сложно добиться четкого разделения изображения на классы губа/не губа. Поэтому после применения гауссовского и медианного фильтров необходимо перейти к цветовому пространству R/G, предварительно нормализировав каналы R и G. В полученном цветовом пространстве гораздо проще найти губы. Для этого применяется пороговая сегментация.

Вывод

Предложенная математическая модель и целостная информационная технология для автоматического определения произвольного эмоционального состояния конкретного человека как выпуклой комбинации некоторых базовых состояний. Для этого с помощью математической модели и оригинального программного обеспечения создается базовый пространство эмоциональных состояний конкретного человека. В дальнейшем произвольный эмоциональное проявление этой человека разлагается как выпуклая комбинация эмоциональных состояний в этом пространстве. Для построения базиса пространства эмоциональных состояний используются гибкие шаблоны контуров основных зон лица. Гибкие шаблоны описываются с помощью NURBS-кривых. Настройка шаблона на точечный контур конкретного изображения проходит с помощью B-сплайн аппроксимации, путем решения переопределены неоднородной системы линейных уравнений. Предложенная технология имеет практическую ценность в системах визуального контроля за операторами сложных производств (атомная энергетика и т.п.) для автоматического контроля за их эмоциональным состоянием.

Список использованных источников

1. Кривонос Ю.Г. Моделирование и анализ мимических проявлений эмоций / Ю.Г. Кривонос, Ю.В. Крак, А.В. Бармак // Доклады НАНУ, 2011. - №12. - С. 51-55.
2. Ekman P. Learning to Make Facial Expressions / P. Ekman, W.V. Friesesen. – Part II. – Palo Alto, 2009. Режим доступа: http://mplab.ucsd.edu/wp-content/uploads/wu_icdl20091.pdf
3. Ekman P., Facial Action Coding System. / P. Ekman, W.V. Friesesen. – Part II. – Palo Alto, 2006. Режим доступа: https://pdfs.semanticscholar.org/99bf/8ac8c131291d771923d861b188510194615e.pdf
4. Леонтьев В.О. Классификация эмоций / В.О. Леонтьев. – Одесса : ИИЦ, 2006. – 84 с.
5. Ефимов А.Н. Моделирование и распознавание мимических проявлений эмоций на лице человека / Г.М. Ефимов // Искусственный интеллект, 2009. - C. 532-542.
6. Крак Ю.В. Синтез мимических выражений эмоций на основе формальной модели / Ю.В. Крак, А.В. Бармак, М. Ефимов // Искусственный интеллект, 2007. - №2 - C. 22-31.
7. Piegl L. The NURBS Book / Les Piegl, Wayne Tiller. – [2nd Edition]. – Berlin : Springer-Verlag, 1996. – 646 p.
8. Ekman P. Cross–cultural studies of facial expression / P. Ekman, W.V. Friesesen // Darwin and facial expression: A century of research in review. – N.Y : Academic, 2010. – P. 196-222.
9. Ekman P. Measuring facial movement / P. Ekman, W. Friesen // Environmental Psychology and nonverbal Behavior, 1976. – Р. 56-75. Режим доступа: https://link.springer.com/article/10.1007/BF01115465
10. Изард К. Эмоции человека / К. Изард. – М. : Изд–во МГУ, 2010. – 439 с.
11. L. Olsson / “From unknown sensors and actuators to actions grounded in sensorimotor perceptions” / L. Olsson, C. Nehaniv, and D. Polani – Connection Science, vol. 18, no. 2, pp. 121–144, 2006.