Сборник материалов I Всеукраинской научно-технической конференции студентов, аспирантов, молодых ученых. II том. – 634 с.

 

УДК 004

 

ИСПОЛЬЗОВАНИЕ СИСТЕМЫ КОДИРОВКИ ЛИЦЕВЫХ ЭКСПРЕССИЙ В ЗАДАЧАХ РАСПОЗНАВАНИЯ ТЕМПЕРАМЕНТА ЧЕЛОВЕКА ПО ИЗОБРАЖЕНИЮ ЛИЦА

 

Галах Н.И., Меркулова Е.В.

Донецкий национальный технический университет г. Донецк

кафедра автоматизированных систем управления

e-mail: G.Nadejda_zebra@mail.ru

Аннотация

Галах Н.И., Меркулова Е.В. Использование системы кодировки лицевых экспрессий в задачах распознавания темперамента человека по изображению лица. В статье рассматривается: инновационная система кодировки лицевых экспрессий (FACS), разработанная П. Экманом и В. Фризеном, её возможности, преимущества и недостатки; производится анализ существующей разработки Академии наук Украины «Компьютерной системы психологической экспертизы мимики эмоций», описывается алгоритм работы аппарата логических вычислений системы, базирующийся на правилах FACS;описывается синергетический метод для распознавания объектов на изображении; поднимается вопрос возможности дальнейшей модификации, интеграции и использования системы FACS в системе для определения темперамента личности по фотоснимку (изображению) лица человека, проектируемую для сотрудников кадровых агентств.

 

Общая постановка проблемы. Оценивая качества и темперамент личности, можно выявить склонности и способности человека к профессии. Нет необходимости говорить, что работник выполняет свое дело несравнимо лучше и более удовлетворен своим трудом, если он увлечен своей профессией и имеет определенные способности и навыки. Действия специалиста по отбору персонала направлены на достижение вполне конкретной цели - обеспечение нормального функционирования фирмы или отдела учреждения, создание профессиональной атмосферы в коллективе, нормализация межличностных отношений. Т.о. сотрудники отдела кадров должны «видеть» в человеке личность, а значит быть превосходным психологом способным с первого взгляда понять каким этот человек является на самом деле. Согласитесь, не каждый сотрудник обладает такими качествами, поэтому требуется использование компьютерной системы способной распознать темперамент человека и тем самым помочь сотрудникам кадровых агентств и отделов сделать правильный выбор в предоставляемой профессии.

Постановка задач исследований. В настоящее время существуют различные и существенно отличающиеся варианты классификации мимики [1]. Причем, несмотря на множество работ на эту тему, до сих пор отсутствует общепринятое определение эмоции или эмоционального состояния. Данная работа посвящена исследованию методов распознавания объектов на изображении, а также целесообразности применения системы FACS для определения не только мимики, как эмоционального состояния человека, а и темперамента личности как показателя его психического состояния.

Решение задачи и результаты исследований. Для решения поставленных задач был проведен анализ системы FACS, методик распознавания объектов на изображении, в частности распознавания мимики по изображению лица человека, анализ существующей разработки Академии наук Украины.

На данный момент в Институте психологии при Академии наук Украина идет процесс  создания компьютерной экспертной системы, которая предназначена выполнять экспертные функции определения эмоциональных состояний предъявленного изображения лица. Изображение вводится в компьютер как цифровой фотопортрет, под которым подразумевается фотография лица одного человека в фас. На первом этапе подсистема должна уметь различать экспрессию лица, а на втором, используя ее исходные данные, другая подсистема определяет эмоциональное состояние человека. Разработка подсистемы базируется на создании экспертной системы, движимой знаниями и имеет модульную структуру.

Для построения базы знаний системы - ядра экспертной системы, описывающей экспрессии лица и позволяющей определять эмоциональные состояния за мимикой, был использован метод подачи знаний, основанный на фреймах. Каждой эмоции соответствует отдельный фрейм, и все они имеют схожую структуру. Эти фреймы содержат следующие слоты:

1. слот с названием эмоции;

2. слот с ссылкой на соответствующий узел гипертекста с разъяснением;

3. слоты с правилами, по которым можно определить соответствующую эмоцию.

Второй слот связан с фактическими знаниями, а слоты с правилами - с процедурными, с их помощью система может выполнять экспертные функции. Для выработки правил, по которым можно определять какие угодно эмоции, была выбрана система описания экспрессии лица, созданная П.Экманом и У.Фризеном FACS (Fасiа1 Асtion Соding Sуstem) [2].

Основными единицами измерения FАСS при описании экспрессии лица являются дискретные, едва заметные, видимые изменения тонуса лицевых мышц. Эксперт должен заметить эти минимальные изменения, зная при этом все возможные варианты движения мускулов с точки зрения функциональной анатомии лица. Единицы действия мышц лица (АUs - Асtiоn Units) описываются в динамических и статических показателях мышечной активности. Эксперт, применяет методику кодирования, должен учесть все возможные особенности изменения тонуса мышц в зависимости от структуры кожного покрова, постоянных морщин, складок, жировых прослоек т.д.

FАСS использует вполне нейтральный цифровой код для обозначения единиц действия (АUs), так как описательные термины, наводят на отвлекающие ассоциации: "сердитые брови", "грустные глаза" и т.п. Например, единица действия Аu-1 означает поднятие вверх внутренней части бровей и обеспечивается следующими мышечными средствами: Frontalis, Раrs Меdialis. Таким путем FАСS обеспечивает отделение описания от заключения, что дает возможность не использовать оценочные признаки при описании выражения лица, которые субъективно заполняли до целостного образа неопределенность воспринимаемой экспрессии.

В разрабатываемую систему вошли фреймы, соответствующих таким эмоциональным состояниям: радость, удивление, гнев, отвращение, презрение, страх, печаль, гнев + отвращение, гнев + презрение, гнев + страх, гнев + сумм, отвращение + страх, презрение + сумм, страх + печаль, страх + удивление. Каждый из них содержит уникальный набор правил, записанных как коды FACS. Каждому правилу соответствует коэффициент "уверенность", определяющий, насколько точно это правило соответствует данной эмоции. Всего использовалось более 3200 правил. Каждой эмоции и отдельным единицам действия FACS соответствует булева переменная, которая показывает, присутствует в данном правиле это действие или нет. Тогда, например, определению гнева отвечает запись вида:

 

                     (1)

 

Эта запись соответствует продукционные форме подачи знаний и может быть прочитана так: если "действуют только 10A и 17с и 23 и 24B или действуют только ... или действуют только 4 и 7Е и 10B и 50, или действуют только ...", то "гнев". Подобным образом можно описать все эмоции или любые другие психические состояния.

Для упрощения вывода был применен аппарат логических вычислений. Работа алгоритма заключается в том, что строится бинарное "дерево", узлы которого содержат какое-то правило вида (1). Построение "дерева" начинается с узла, который содержит наиболее "популярную" единицу действия FACS. Затем все пространство правил делится на две части: подпространство правил, которые содержат это действие и которым не охватывают ее. В каждом из них ищется следующее популярное действие и логично сочетается с предыдущими. Таким образом, каждая ветвь "дерева" развивается до тех пор, пока не будет исчерпан все пространство правил. На каждом шаге построения узла полученное выражение проверяется на точное совпадение с существующим правилом, если такое совпадение есть, то он сохраняется как экспертное правило и, кроме того, определяются эмоции, в состав которых он может входить.

Анализ экспертных правил позволяет выявить универсальные признаки для определенного типа состояний, специфические признаки для каждого состояния, неспецифические, которые приобретают значение только в сочетании с другими признаками. Таким образом, реализованный алгоритм поиска экспертных правил является хорошим инструментом анализа и приобретения знаний для психологов, заинтересованных этими проблемами. Работу алгоритма с построения бинарного "деревья" можно сравнить с обучением системы. Систему можно "переучить" на распознавание других психических состояний или дополнить уже имеющуюся.

Трудность заключается в преобразовании изображения фотопортрета на код FACS. Наиболее интересный, удобный и перспективный способ введения - введение непосредственно фото человека, эта довольно сложная задача относится к классу задач автоматического распознавания визуальных изображений, в частности лица человека. В нашем случае основная сложность заключается в том, что необходимо распознать экспрессию лица с изображениями разных людей независимо от смены ракурса, масштаба и условий освещения в момент съемки, а также от различных изменений, связанных с возрастом, прической и т.д.

Для решения этой задачи был использован синергетический подход [4]. В отличие от специальных наук, синергетика исследует общие закономерности развития систем различной природы. Изображение в компьютере описываются массивом так называемых точек, которые хранят коды цветов соответствующей точки экрана монитора. Каждому пикселю приписывается какое-то определенное значение серости vj. Таким образом изображение представляет собой вектор

 

V = (v1, v2, …, vN)                                                                                              (2)

 

с совокупностью значений серого. Множество изображений составляет множество векторов Vk, при этом по каждому соответствует индекс k = 1, ... ... M..

Это те образы, которые мы собираемся распознавать. Синергетический подход обосновывает связь между распознаванием образов и формированием структур, которыми руководят так называемые параметры порядка. Распознавание изображения есть не что иное, как формирование образа прототипа. Формирование для запоминания образа прототипа приводит к появлению нового параметра порядка, впоследствии несет ответственность за узнавание-проявление этого образа, то есть за образование структуры. Вместо большого количества факторов (компоненты вектора изображения), от которых зависят различные состояния системы (исходные значения), синергетика рассматривает немногочисленные параметры порядка, от которых зависят компоненты вектора состояния системы и которые, в свою очередь, влияют на параметры порядка. Переход от рассмотрения компонентов вектора состояния системы к меньшему числу параметров упорядоченного состояния системы определяет один из основных принципов синергетики - принцип подчинения (подчинения компонентов вектора состояния параметрам порядка). Для рассмотрения процесса распознавания введем соединенные векторы V+k, обусловленные соотношениями ортогональности (V+k Vk’) = δkk,

 

,                                                                                                    (3)

 

где скалярное произведением векторов,

а δkk - символ Кронекера.

 

                                                                                          (4)

Соединенные векторы могут быть выражены через выходные таким образом

,

где  - транспонированный вектор , а - коэффициенты матрицы.

Динамику распознавания образов можно выразить следующим образом:

 

 ,                                                   (5)

 

где B и C - положительные константы, - параметр внимания, q - тестируемый вектор изображения.

Для распознавания в начальный момент времени (t=0) предъявляется вектор q(0) размерности N. Синергетический компьютер должен выполнить распознавания образа и релаксировать до некоторого устойчивого состояния , то есть .

В синергетический компьютере вместо того чтобы решать сложное уравнение (5), используют формулу:

 

,                                                                                                     (6)

где  - параметр порядка, принадлежащего прототипа Vk,

w(t)- остаточный член, впоследствии приближается к нулю.

Динамика нейронной сети, состоящей из М нейронов с уровнями активности, равными значению , определяется следующей системой обыкновенных дифференциальных уравнений:

 

,                                                                                       (7)

 

и начальными условиями.

 

                                                                                                                (8)

 

Таким образом, распознавание сводится к конкуренции мод, в результате которой все моды, кроме некоторого k-й, стремятся к нулевому значению, а предлагаемый образ q(0) при стремится к Vk0. Vk0 является откликом системы на предъявленное изображение.

Как видно из вышеизложенного, обучение-настройки системы сводится к формированию и запоминание образов-прототипов Vk или V+k.. Это можно осуществить если воспользоваться потенциальной функцией вида:

 

                                          (9)

 

Как видим, из такого представления потенциальная функция зависит только от параметров порядка. Для распознавания потенциал W должен быть минимизирован динамикой градиента вектора q, а векторы-прототипы при этом считаются фиксированными.

В.И.Куликовым разработана современная морфология типов темперамента, которая может быть использована в визуальной психодиагностике [3]. Т.о. для определения типа темперамента, а в дальнейшем и склонности к выполняемой работе необходимо проанализировать изображения лица человека и выделить основные объекты:

1. Брови;

2. Глаза;

3. Нос;

4. Щеки;

5. Губы;

6. Подбородок.

и с их помощью определить принадлежность к типу темперамента.

Выводы. Несмотря на известную условность взаимосвязи особенностей темперамента и некоторых морфологических признаков внешнего облика человека, современные исследования все же подтверждают возможность «узнавания» тех или иных темпераментов по чертам лица их обладателей. Система FACS является инновационной и гибкой, следовательно могут быть выработаны правила и созданы фреймы, способные распознать темперамент как стационарное проявление мимики.

Список литературы

1.                 Изард И. Эмоции человека – Москва, 1980. – 189 с.

2.                 Ekman P., Frisen W. Facial Actions Coding System. – Palo Alto: Consulting

psychologists Press, 1978.

3.                 Г.В.Щекин Визуальная психодиагностика: познание людей по их внешнему облику. М., 1992.

4.                 Хакен Г. Принципы работы головного мозга: Синергетический подход к активности мозга, поведению и когнитивной деятельности. – М.: ПЕР СЭ, 2001. – 351 с.