photo

Лютый Владислав Алексеевич

Факультет компьютерных наук и технологий

Кафедра автоматизированных систем управления

Специальность Информационные системы и технологии в технике и бизнесе

Экспертная система определения достоверности информации по мимике человека на основе видеопотока

Научный руководитель: к.т.н, доц. Секирин Александр Иванович

   

Резюме

ФИО Лютый Владислав Алексеевич
Дата рождения 29.08.1995 г.
Место рождения г. Донецк, Украина
Школа 2002–2013 гг.: Донецкая общеобразовательная школа I-III ступеней № 14
ВУЗ Донецкий национальный технический университет, факультет компьютерных наук и технологий:
2014–2018 гг.: бакалавриат по направлению подготовки Информационные системы и технологии
2018–2020 гг.: магистратура по специальности Информационные системы и технологии в технике и бизнесе
Средний балл в бакалавриате 95
Владение языками русский (родной), украинский (родной), английский (upper-intermediate)
Личные достижения 2018 г. — диплом бакалавра по специальности Информационные управляющие системы и технологии
Увлечения Тоновая и цветовая коррекции фотографий, создание постеров, изображение и Web-дизайн в Adobe Photoshop
Создание векторных рисунков и иконок в Adobe Illustrator
Личные качества Креативность, самостоятельность, умение работать в команде, мобильность, стрессоустойчивость
Профессиональная специализация и владение компьютером Операционные системы: Windows, Ubuntu
Языки программирования: PHP, JavaScript, Java, Python
Фреймворки: Yii2 (PHP), Laravel (PHP), Spring MVC (Java)
СУБД: MySQL, MongoDB
Языки моделирования и описания: UML
Системы контроля версий: Git
DevOps технологии: Apache, Nginx, Docker, Cron, Jenkins; Backend технологии: Memcached, RabbitMQ, MVC, OOP, Patterns, SOLID, DRY, GRASP
Frontend технологии: HTML 5, CSS 3, Pug/Twig, LESS/SASS/Stylus, PostCSS, Gulp, Webpack
Графические редакторы: Adobe Photoshop, Adobe Illustrator, Figma
Дополнительные курсы Онлайн курсы по сетевому администрированию — CCNA Routing and Switching
Планы на будущее Совершенствование знаний в области глубокого обучения и больших данных
Контактная информация e-mail: vlad112263@gmail.com

Биография

Личностное становление

Я, Лютый Владислав Алексеевич, родился 29 августа 1995 года в замечательном городе Донецк, Украина.

С раннего детства я очень любил книги, т.к. дома находилась большая библиотека с различной литературой, начиная от классики до мировых бестселлеров. Благодаря этому я очень быстро научился читать еще в детском саду. По большой части, как и любой ребенок, я в хорошую солнечную погоду любил проводить время на улице со своими друзьями, где мы находили массу развлечений и игр, благодаря чему никогда не скучали.

В 2002 году я отправился учиться в Донецкую общеобразовательную школу №64, т.к. она была очень близко к дому. Учебу в школе я не находил занятным и интересным делом, но страх ремня и своего отца, чья фамилия идеально подходила ему, внушал стимул получать отличные оценки. После 5-го класса я был зачислен в ДОШ №14, т.к. мой близкий друг уже учился там и завербовал меня пойти туда. Однако после 9-го класса я снова по своей инициативе перевелся в другое образовательное учреждение, а именно Донецкий лицей Коллеж. В 2013 году я закончил обучение в лицее и возник вопрос о будущей профессии, а также о выборе образовательного учреждения, где получать знания для нее.

Профессиональное становление

Изначально я не собирался поступать на программиста и IT сфера меня мало интересовала. Уроки информатики были очень нудные в школе, а также по сложившейся иронии мы редко занимались за компьютерами на них. На мое конечное решение повлиял одноклассник в лицее, который собирался поступать как раз на факультет компьютерных наук в ДонНТУ. Он рассказал мне больше о всех перспективах работы в области программирования и моделирования, искусственном интеллекте и что-то про Скайнет.

Я стал усердно готовился к сдаче внешнего независимого оценивания и, в итоге, поступил на факультет компьютерных наук и технологий, став в 2013-ом году студентом группы КН 13-А. Однако радость на этом и закончилась. Обучение проходило для меня очень тяжело, особенно программирование и математический анализ. В итоге из-за моих длительных пропусков пар и накопившихся долгов я был отчислен с первого курса.

После отчисления остался осадочек и я решил, что многое потеряю, если опущу руки и не попробую снова. Поэтому подал документы заного на первый курс той же специальности 09.03.02 и в 2014 году стал студентом группы КН 14-А. В этот раз в ожидании нового учебного года я читал достаточно много компьютерной и математической литературы, которая сильно помогла мне с легкостью начать новый учебный год и в итоге закончить бакалавриат с красным дипломом. Более всего мне импонировали предметы из серии ничего не понятно, но очень интересно, а именно напрямую связанные дисциплины с нейронными сетями, машинным и глубоким обучениями, анализом данных и искусственным интеллектом. К отличному преподовательскому составу моей родной кафедры (да и ко всем кафедрам) у меня остались только теплые эмоции и впечатления.

Защитив бакалаврскую работу на тему Компьютеризированная подсистема учета тендерных закупок под руководством Привалова Максима Владимировича, я решил продолжить обучение в родном университете, поступив в магистратуру на специальность Информационные системы и технологии в технике и бизнесе 09.04.02. Группа в магистратуре осталась с бакалавриата почти неизменной, что сразу давало чувство легкого и быстрого старта учебы. Тема моей магистерской работы: Экспертная система определения достоверности информации по мимике человека на основе видеопотока. Руководителем магистерской работы мной был выбран доцент, к.т.н. и заведующий кафедры АСУ Секирин Александр Иванович, т.к. он обладает широким спектром знаний в области искусственого интеллекта и не только.

Цели, планы, видение будущего

После скорого окончания магистратуры я планирую остаться в своем ВУЗе в качестве преподавателя, но и параллельно продолжить работать в сфере IT, т.к. на данный момент я уже работаю по специальности больше года и мне более-менее нравится. Однако точно я в этом не уверен, т.к. будущее непредсказуемое и не знаешь, что будет завтра...

Реферат

Содержимое

  1. Введение
  2. Актуальность темы
  3. Цель и задачи исследования, планируемые результаты
  4. Проблематика объекта исследования
  5. Особенности визуальных методов распознавания мимики
  6. Интенсивность действия движения лицевых мышц
  7. Анализ методов обнаружения лица на изображении
  8. Алгоритм распознавания эмоций с применением нейронной сети
  9. Решение задачи распознавания нейронной сетью
  10. Методика распознавания двигательной активности лица
  11. Выводы
  12. Список источников

Введение

С феноменом под названием ложь сталкивался в жизни каждый из нас. Ложью называют намеренную передачу неправдивой информации, для того чтобы вызвать в другом человеке убеждение, которое сам передающий считает не соответствующей истине. Обманчивыми могут быть различного рода факты и сведения. Ложь приобретает особое значение, когда речь касается политики, СМИ, судебной процессии, медицины, рабочего процесса и другие области повседневной жизни современного человека. Вечная проблема человеческой искренности, обмана и лжи не раз становилась предметом обсуждения в художественной литературе, философии, социологии и психологии. Обман влияет в нашей жизни важную роль, но необходимо отличать ложь во спасение или ложь для лжи.

Актуальность темы

В 2006 году институт статистики в Оклахоме проанализировал точность суждений по распознаванию лживой информации среди 6 651 сообщений в 206 документах различной подачи информации (видео, текст, аудио) от 24 483 людей, среди которых было 2 842 эксперта в области психоанализа. В результате они получили следующие результаты: в созданных условиях люди вынесли в среднем 54% правильных суждений, правильно классифицируя 47% лжи как обманчивые и 61% правдивых как обманчивые [1].

Для проведения анализа мимики человека на оценку достоверности информации эксперты пользуются правилами и мимическими картами, полученных с помощью психофизиологических исследований в области психологии человека и криминалистике, что является недостатком применения его в разных сферах деятельности, т.к. специализирующих экспертов в данной области не так много.

Первым техническим конкурентом стал всем известный полиграф. Использование полиграфа имеет свою достаточно длительную историю. Родоначальником полиграфа являются США, где проблеме его применения уделялось значительное внимание на различных уровнях (федеральном, региональном) и различными инстанциями, вплоть до конгресса США, президента, Верховного суда США и др. Статистика результатов работы полиграфа поражает: фактическая оценка работы (95%) превышает заявленную теоретическую (80%). То есть лишь 5-7 человек из ста способны пройти полиграф так, что результат будет непонятным [1].

Однако при всех достоинствах использования полиграфа, у него есть ряд недостатков и самые значительные из них — дорогостоящее оборудование (порядка 200 тыс. рублей), невозможность использования без осведомления субъекта допроса, необходим сертифицированный эксперт, который анализирует показания устройства. В конце можно сказать, что на ровне с развитием компьютерной техники, роста вычислительных мощностей и методов обучения искусственного интеллекта и полиграф нельзя назвать технологией XXI века.

С учетом вышесказанного можно сделать вывод, что самый лучший и перспективный вариант — использовать современный математический аппарат и технологический процесс для машинного обучения систем компьютерного зрения для анализа произвольного видеоряда для использования в задачах настоящего исследования для будущей магистерской диссертации.

Цель и задачи исследования, планируемые результаты

Целью исследования является повышение эффективности систем компьютерного зрения по распознаванию мимики лица с целью выявления признаков обмана по видео-кадрам. Данное исследование позволит в будущем расширить сферу применения искусственного интеллекта в области судебной области, политологии, социологии и других областях, где человеческий фактор, а именно ложь, может принести ущерб процессам или окружающим.

Для достижения поставленной цели необходимо решить следующие задачи:

Проблематика объекта исследования

В ходе анализа предметной области был выделен объект моделирования и дальнейшей алгоритмизации — мимика лица. Под понятием мимика понимается движение мускулатуры в координированных комплексах, отражающие разнообразные психические состояния человека. Сложность распознавания мимики как объекта выявлена в силу следующих факторов:

Проблемой достижения скорейших и максимально достоверных результатов поставленной цели исследования заключается прежде всего в:

Особенности визуальных методов распознавания мимики

Из особенностей визуальных методов распознавания мимики выделяют следующее: cложность визуальных методик требует значительных временных затрат на обучение. Эксперт, как правило, выбирает для изучения только одну методику. Пользователь не может произвести самостоятельно классификацию правдивости информации по оценке мимики [2]. Сравнительный анализ методов распознавания мимики представлен в таблицe 1.

Метод Тип действия Интенсивность действия Время действия
Ekman & Friesen (1976, 1978) Измерение всех мышечных движений; 44 единиц движений Четыре действия по три контрольных точки интенсивности Старт-стоп (начало, максимум, смещение)
Frois-Wittmann (1930) 28 описаний Не описывает Не описывает
Fulcher (1942) Отсутствие/наличие 16 мышечных движений Рейтинг по объему движений в каждой области лица Не описывает
Ermiane & Gergerian (1978 Измерение всех видимых движений; 27 мышечных движений Каждое действие оценивается по трех-бальной шкале Не описывает
Landis (1924) 22 описания Каждое действие измеряется по четырех-бальной шкале Не описывает

Более наглядно процесс визуального анализа мимики изображен на рисунке ниже:

Процесс визуального анализа мимики
Процесс визуального анализа мимики

Интенсивность действия движения лицевых мышц

Интенсивность движения мышц определяется следующим образом: к номеру единицы из СКЛД добавляются буквы с А по Е в зависимости от интенсивности движения (от минимальной к максимальной) [4].

Значения:

  1. A — слабо различимое;
  2. B — незначительное;
  3. С — заметное или ярко выраженное;
  4. D — резкое или крайне заметное;
  5. Е — выраженное в высшей степени.

Двигательные единицы относительно воображаемой вертикальной оси лица могут быть: двусторонние, симметричные, односторонние, левые, правые.

Список основных двигательных единиц представлен в таблице 2:

Номер единицы действия Название в СКЛД Мышечные основы
0 Нейтральное лицо -
1 Поднять внутреннюю часть брови Лобная (медиальная часть)
2 Поднять наружную часть брови Лобная (медиальная часть)
4 Опустить брови мышца, опускающая надпереносье, мышца, опускающая бровь, мышца, сдвигающая брови
5 Поднять верхнее веко мышца глазницы, поднимающая верхнее веко
6 Поднять щёки/щёку круговая мышца глаза
7 Натянуть веко/веки круговая мышца глаза — мимическая мышца ,закрывающая глазную щель и расширяющая слезный мешок
9 Поднять крылья носа мышца, поднимающая верхнюю губу и крыло носа
10 Поднять верхнюю губу мышца, поднимающая верхнюю губу
11 Углубить носогубную складку мимическая мышца, углубляющая носогубную складку
12 Поднять уголки губ большая скуловая мышца
13 Более отточено поднять уголки губ
14 Появление ямочек около губ щечная мышца — мышца щечной области лица,оттягивающая угол рта в стороны, прижимающая щеку к зубам, сжимающая щеки
15 Опустить уголки рта мышца, опускающая угол рта, — мимическая мышца ,опускающая угол рта
16 Опустить нижнюю губу мышца, опускающая нижнюю губу, мимическая мышца, оттягивающая нижнюю губу
17 Сморщить кожу подбородка подбородочные ветви; начало: n. mentalis;иннервируют кожу области подбородка
18 Сморщить губы квадратная мышца нижней губы и квадратная мышца верхней губы
19 Показать язык -
20 Оттянуть губы мышца смеха — мимическая мышца, оттягивающая угол рта кнаружи и углубляющая носогубную складку

Определение интенсивности движения лицевых мышц, а также знание основных мимических проявлений на лице человека является неотъемлемой частью при разработке интеллектуальной системы. Разработчику необходимо описать каждое кодированное мимическое проявление в геометрическом и математическом представлении. Данный шаг является самым сложным, так как требует обработки большого количества информации и достаточного количества знаний в выбранной области.

Анализ методов обнаружения лица на изображении

Алгоритмы обнаружения лиц на изображении можно разделить на четыре категории:

Эмпирический подход основан на знаниях сверху-вниз и предполагает реализацию алгоритма с правилами, отвечающими фрагменту изображения на котором найдено человеческое лицо. Набор правил – это формализация эмпирического знания о представлении лица на изображении и признаки, которыми руководствуется человек при принятии решения: лицо он видит или нет. Правила:

Метод уменьшения изображения для исключения возможных помех, а также для уменьшения вычислительных операций предварительно подвергает изображение сильному изменению размер (рис.2). На таком изображении необходимо определить область равномерного распределения яркости (предполагаемая область лица), а затем проверить наличие резко отличающихся по яркости областей внутри: именно такие зоны можно с разным процентом вероятности отнести к лицу.

Метод уменьшения изображения
Метод уменьшения изображения

Метод гистограмм для определения областей изображения с «лицом» строит вертикальную и горизонтальную гистограммы. В «подозрительных» зонах происходит поиск черт лица (рис.3). Данный подход использовался в период развития машинного т.к. предполагал малых требований к вычислительной мощности процессора для обработки изображения.

Метод построения гистограмм
Метод построения гистограмм

Метод обнаружения сложных лиц основан на поиске правильных геометрически расположенных черт лица. Для этого используется гауссовский фильтр с множеством различных масштабов и ориентаций. После этого производится поиск соответствий найденных черт и их расположения путем перебора [7].

Метод группировки признаков редполагает применение второй производной гауссовского фильтра для поиска интересующих областей изображения. После этого, края группируются вокруг каждой такой зоны, используя пороговый фильтр. Далее применяется оценка байесовской сети для сочетания выявленных признаков и определяется выборка черт лица (рис.4).

Метод обнаружения «сложных» лиц
Метод обнаружения сложных лиц

Метод распределения контрольных точек – статистическая модель, представляющая инциденты, форма которых может деформироваться. Большое преимущество данного метода заключается в выделении переменных объектов в рамках набора для обучения с малым количеством параметров. Такой подход применяется в системах классификации признаков.

Метод распознавания с использованием шаблонов прост в реализации и эффективен при работе с изображениями с простым задним фоном. Недостатком метода является калибровка шаблона вблизи изображении лица.

Метод нейронных сетей является наиболее популярным способом решении задач распознавания образов. При решении задач используется метод опорных векторов, необходимый для снижения размерности пространства признаков. При этом метод опорных векторов не приводит к потере информативности отобранных тренировочных объектов, а также позволяет перейти перейти к базису пространства, где дисперсия будет направлена вдоль главных осей базиса.

Натянутое на полученные таким образом главные оси подпространство является оптимальным среди всех пространств в том смысле, что наилучшим образом описывает тренировочный набор (рис.5):

Обучение интеллектуальной системы с помощью
нейронной сети
Обучение интеллектуальной системы с помощью нейронной сети

Данные алгоритмы схожи с обучением вида «обучение с учителем» и применяются для задач классификации и регрессионного анализа. Метод опорных векторов основан на том, что ищется линейное разделение классов.

Главной целью тренировки многих классификаторов является минимизация ошибки классификации на тренировочном наборе (или эмпирический риск).

Метод Виолы   Джонса на сегодняшний день является самым перспективным методом распознавания образов в силу высокой производительности и высоким процентом обнаружения лиц. Признаки, используемые алгоритмом, используют суммирование пикселей из прямоугольных регионов

Определение ключевых точек на лице
Определение ключевых точек на лице (анимация: 9 кадров, цикл повторений: бесконечно, размер: 199 килобайт)

Алгоритм распознавания эмоций с применением нейронной сети

Математическая постановка задачи распознавания

Мимические реакции каждого человека имеют определенный набор стандартных параметров проявления и делятся на две категории: геометрические и поведенческие.

Для описания количественных и качественных параметров лица (произвольных и непроизвольных) используют систему кодирования лицевых движений. В данном случае количественным параметром является интенсивность движения от А до Е.

Видеопоток данных представляет собой последовательный набор кадров. Целью распознавания является объединение лиц на изображениях в непересекающиеся классы. Задача по распознаванию лиц формулируется следующим образом: требуется построить распознающую функцию $$ F(w)=(F_{1}(w), F_{2}(w),\dots,F_{k}(w)) $$, выход который определяет класс изображения w, представленного вектором признаков $$ \left(x_{1}(w),\dots,x_{n}(w)\right) $$. В данном случае классом является одна из шести базовых эмоций человека

$$ F_{k}(w)=\begin{cases} 1,\ если w ∊\Omega_{k} \\ 0,\ если w ∉\Omega_{k} \\ \Delta,\ если\ неизвестно\ w ∊\Omega_{k}\ или\ w ∉\Omega_{k} \end{cases} $$

Поиск решения осуществляется с использованием искусственных нейронных сетей.

Получение инвариантов распознавания лиц

Инвариант — это свойство некоторого класса (множества) математических объектов, остающееся неизменным при преобразованиях определённого типа [12].

Инвариантные моменты представляют собой характерные признаки, которые могут встречаться на каждом снимке. Чаще всего лица на видеокадрах подвергаются различным деформациям , свойственным мимике человека. В таких условиях необходимо сказать о псевдо-инвариантах [24].

Центральные моменты цифрового изображения лица определяются по формуле:

$$ m_{pq}=\sum_{x}\sum_{y}(x-\bar{x})^{p}(y-\bar{y})^{q}f(x,y)\ ,$$

где $$ \bar{x},\bar{y} $$ — значения, которые являются центром тяжести, $$ m_{pq}$$ — центральные моменты порядка не выше чем (p+q)=3, f(x,y) — функция яркости. Целесообразно выполнить перевод цветных изображений в полутоновый вид. После предварительной обработки и нормализации образец представляет собой матрицу пикселей, каждый из которых имеет значение яркости в диапазоне [0,1].

Выбор адекватной метрики

Для решения задачи определения принадлежности w к классу $$ \Omega_{p} $$ применим свертку в виде евклидовой меры [6]:

$$ d\left(w, \Omega_{p}\right) = \sqrt{\sum_{i=1}^{7}\left(M_{i}^{w}-M_{i}^{\Omega_{p}}\right)^{2}} $$

где $$ M_{i}^{\Omega_{p}}=\left(\sum_{l=1}^{m}M_{i,l}^{\Omega_{p}}\right)/m_{i} $$ $$ \Omega_{p} $$

Метрику можно использовать для измерения расстояний между изображением w (представленным вектором признаков x) и классом $$ \Omega_{p} $$

где $$ S_{p} $$ — матрица ковариации класса р, $$ \bar{y} $$ - центр класса [11].

Решение задачи распознавания нейронной сетью

Решение задачи распознавания эмоций относится к задаче классификации, т.е. нейронная сеть должна отнести полученный набор данных к эмоций, отвечающей заданному набору параметров. Рассмотрим математическое описание задачи распознавания:

Пусть дано множество М изображений лиц (эмоция, например удивление) $$ {w_{1},\dots,w_{n}} $$, каждое из которых имеет вектор значений признаков (мимические признаки) $$ X_{i}=(x_{i,l},\dots,x_{im}),\ i=1,\dots,m,x_{j},j=\bar{1,n} $$, где n – количество признаков. Вектора признаков отнесены экспертами к некоторым классам $$ \Omega_{l},l=1,\dots,k.\ M=U_{l=1}^{k}\Omega_{l} $$ следующим образом: $$ \Omega_{1}={w_{1},\dots,w_{m_{1}},\Omega_{2}={w_{m_{1}+1}},\dots,w{m_{1}+m_{2}}},\dots,\Omega_{k}={w_{m_{k}-1},\dots,w_{m}},\ где\ m_{1}+m_{2}+\dots+m_{k}=m,\ m=|M| $$.

Вся выборка подразделена на два непересекающихся подмножества: обучающее и тестовое. После обучения искусственной нейронной сети проверяется качество ее обучения на тесовом множестве.. Предлагается искусственная нейронная сеть прямого распространения с сигмоидальной функцией активации $$ \sigma(x)=\frac{1}{1+e^{-x}} $$ нейронов скрытого слоя и линейной функцией активации выходного слоя [44]

Нейронная сеть должна быть настроена так, чтобы при подаче вектора признпков $$ X_{i} $$ на вход, отнесенного к классу $$ \Omega_{i} $$ на выходе с номером i сеть выдавала значение «1», а на всех остальных выходах «0». Это достигается настройкой сети методом обратного распространения ошибки.

С учетом особенностей формирования классов для распознавания лиц представляет интерес вероятностная нейронная сеть. В ней образцы классифицируются на основе оценок их близости к классам с учетом особенностей вероятностного распределения значений признаков. Для каждого класса на основе учебных данных определяется функция плотности распределения признака, которая характеризуется математическим ожиданием и дисперсией [].

Функция активации нейрона, который соответствует j-му классу имеет вид:

$$ f_{i}=exp\left(-\sum_{i=1}^{n}\left(w_{ij}-x_{i}\right)^{2}\right)/\sigma_{ij} $$

Где $$ \sigma_{ij} $$ — средне квадратическое отклонение i-го признака j-го класса, $$ w_{ij} $$ — математическое ожидание i-го признака j-го класса. В случае, если на вход вектора признаков был подан неизвестный образец, то выбирается класс, которому соответствует максимальное выходное значение.

Методика распознавания двигательной активности лица

  1. Для решения задачи распознавания выбрана информационная модель нейронной сети на основе многослойного персептрона с обратным распространением ошибки.
  2. Для создания прототипа эмоций (метрик) была выбрана Система кодирования лицевых движений П. Экмана.
  3. Для исследования были выбраны 6 базовых эмоций: радость, печаль, гнев, отвращение, удивление, страх. Такой набор позволяет охватывать максимальное число реальных выражений лиц.

Каждая эмоции имеет прототип выражения, например, формула удивления:

$$ 1+2+5B+26 $$

В данной формуле двигательные единицы выражены числами, каждое из чисел характеризует мимическое проявление, которое задействует небольшую часть мышц лица.

Латинская В обозначает интенсивность движения. Нейросетевая модель обучается на большом количестве изображений или непрерывном видеопотоке в режиме реального времени.

Следует отметить, что некоторые из кодов интенсивности действия являются труднорегистрируемыми, например коды А и В имеют незначительную разницу во внешнем проявлении в мимики.

Двигательные единицы лица (далее ДЕ) можно условно разделить на три группы:

На лице человека можно выделить до 80 значащих областей на лице. Как правило это границы глаз, рта и бровей. Скуловые мышцы не являются важным признаком выражения той или иной эмоции.

Система ключевых метрик для распознавания:

  1. Высота рта: верх верхней губы – низ нижней губы.
  2. Высота открытого рта: низ верхней губы – верх нижней губы.
  3. Уголок губ вниз: уголок рта – верх нижней губы.
  4. Уголок губ вверх: уголок рта – верх верхней губы.
  5. Ширина рта: левый уголок рта – правый уголок рта.
  6. Высота подбородка: низ нижней губы – подбородок.
  7. Ширина глаза: верх глаза – низ глаза.
  8. Высота брови: верхний центр брови – середина глаз.
  9. Внутренний уголок брови: внутренний угол брови – внутренний угол глаза.
  10. Внешний уголок брови: внешний угол брови – внешний угол глаза.

Метрики под номерами 3, 4, 7–10 являются несимметричными и рассчитываются для левой и правой половины отдельно. Нормирование показателей осуществляется по расстоянию между зрачками. Оно минимально различается у разных людей и хорошо стандартизирует обучающую выборку.

Пример метрического представления указан на рисунке 7:

Двигательные единицы в системе метрик
Двигательные единицы в системе метрик

Значения выделенных метрик:

Разложение изображения на составляющие, каждое из которых имеет определенный вес представлено на рисунке 8:

Разложения изображения на трехмерные формы
Разложения изображения на трехмерные формы

Разложение изображения на составляющие необходимо для формирования входных данных для нейронной сети.

Если представить два входных вектора персептрона на координатной плоскости (рисунок 9, 10), то его работа будет заключаться в том, чтобы определить, по какую сторону разделительной прямой лежит представленный для распознавания вектор:

Координатная плоскость
Координатная плоскость
Гиперплоскости
Гиперплоскости

Персептрон может классифицировать только образы, которые разделены при помощи гиперплоскости. Сформулируем алгоритм обратного распространения ошибки:

  1. Инициализация весов связей: небольшие случайные значения и максимальная среднеквадратическая ошибка.
  2. Подать на вход сети входной вектор.
  3. Произвести распространение сигналов в соответствии с прямыми связями.
  4. Вычисление ошибки и ошибка выходного слоя нейронов.
  5. Вычисление ошибки внутреннего слоя нейронов.
  6. Обновление весов связей каждого слоя.

Выводы

На данном этапе выполнения магистерской работы был проведён анализ психологического феномена ложь и его взаимосвязь с микро-выражениями и эмоциями. Помимо этого, были проанализированы основные алгоритмы распознавания и классификации частей лица на предмет нахождения ключевых точек а также представлен алгоритм распознавания эмоционального микро-выражения с применением нейронной сети.

Список источников

  1. Система кодирования лицевых движений [Электронный ресурс]// основные мимические выражения/ URL: http://dic.academic.ru/dic.nsf/ruwiki/1628394 (дата обращения 18.05.2020)
  2. Эмоциональная напряженность методика определения [Электронный ресурс]/URL: http://pandia.ru/text/80/079/8545.php (дата обращения 18.05.2020)
  3. Исследование рынка систем распознавания эмоций сетям [Электронный ресурс]/ URL: https://habrahabr.ru/post/133686/ (дата обращения 19.05.2020)
  4. Иванов А.И. Нейросетевые алгоритмы биометрической идентификации / Изд-во: Радиотехника. 2006. 144 с.
  5. Гундырев К.В. Искусственные нейронные сети в задачах диагностирования рельсовых цепей// Науч.-иссл.лабор. «Компьютерные системы автоматики». 2005.
  6. Круг П.Г. Нейронные сети и нейрокомпьютеры: Учебное пособие по курсу «Микропроцессоры» / Издательство МЭИ, 2009.176 с.
  7. Применение нейронных сетей для задач классификации [Электронный ресурс]/URL: http://www.basegroup.ru/ (дата обращения 18.05.2020)
  8. Шамис А.Л. Поведение, восприятие, мышление: проблемы создания искусственного интеллекта / Изд-во: Наука. 2005. 224 с.
  9. Кривонос Ю.Г. Моделювання та аналіз мімічних проявів емоцій / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, Г.М. Єфімов // Доповіді НАНУ. – 2008. – № 12 – С. 51-55.
  10. Chien, B. C. Learning discriminant functions with fuzzy attributes for classification using genetic programming / B. C. Chien, J. Y. Lin, T. P. Hong //Expert Systems with Applications. – 2002. – Т. 23. – №. 1. – С. 31-37.
  11. Fernandez, A. Revisiting evolutionary fuzzy systems: Taxonomy, applications, new trends and challenges / A. Fernandez, V. Lopez, M. J. del Jesus, F. Herrera //Knowledge-Based Systems. – 2015. – Т. 80. – С. 109-121.
  12. Ekman, P., & Friesen, W. V. (1978). Manual for the facial action coding system. Consulting Psychologists Press.
  13. Рутковская Д., Пилиньский, М., Нейронные сети, генетические алгоритмы и нечеткие системы / М., 2004. 452 с.

Библиотека

Собственные публикации и доклады

  1. Система рапознавания лжи по мимике человека на основе видео

    Лютый В.А., Секирин А.И.

    В статье приведено описание современных методов обработки видеоинформации для определения и распознавания факта лжи человека по его мимике. Произведен сравнительный анализ существующих методов, для решения поставленной задачи, а также выявлены основные проблемы, возникающие при обработке видеоданных для подобного рода задач.

    Материалы студенческой секции X Международной научно-технической конференции Информатика, управляющие системы, математическое и компьютерное моделирование (ИУСМКМ–2019). – Донецк: ДОННТУ, 2019. – С.189 [Ссылка]

Тематические статьи ДонНТУ

  1. Анализ методов распознавания эмоционального состояния человека для выявления аномального поведения в видеоаналитических системах

    Мартыненко Т.В., Щербаков А.А., Бондар Б.В.

    В статье рассматривается методика обнаружения аномального состояния человека путем анализа его эмоционального состояния и уровня напряженности. Приведен обзор и классификация методов автоматического распознавания эмоций.

    ИНФОРМАТИКА И КИБЕРНЕТИКА. – Д.: ДонНТУ, – 2017. – №3 (9). – С.128. [Ссылка]

Тематические статьи

  1. Методы определения объектов на изображении

    Жаврин Я.Э., Алкзир Н.Б.

    В статье рассматриваются некоторые методы распознавания объектов на изображении, основанные на детекторах границ и каскадных классификаторах.

    Журнал Молодой ученый — Методы определения объектов на изображении / Я. Э. Живрин, Нафе Башар Алкзир. — Текст : непосредственный // Молодой ученый. — 2018. — №7 (193). — С.8-19. [Ссылка]

  2. Метод распознавания эмоций детей дошкольного возраста с использованием мимических выражений

    Батенькина О.В., Иноземцева К.В.

    В статье представлено описание шаблонов для распознавания эмоций, которые представляют собой наборы контрольных точек для определения эмоций детей дошкольного возраста по системе кодирования лицевых движений Пола Экмана с учетом особенностей выражения эмоций через мимику в детском возрасте.

    Батенькина Оксана Васильевна, Иноземцева Ксения Викторовна Метод распознавания эмоций детей дошкольного возраста с использованием мимических выражений // ОНВ. 2017. №6 (156). [Ссылка]

  3. Распознавание ключевых точек лица на изображении человека

    Асташенкова Л.К., Рощупкина С.Н., Кудринская К.В.

    В статье рассматриваются методы, используемые в процессе локализации ключевых точек лица человека.

    Журнал Молодой ученый — Асташенкова, Л. К. Распознавание ключевых точек лица на изображении человека / Л. К. Асташенкова, С. Н. Рощупкина, К. В. Кудринская. — Текст : непосредственный // Молодой ученый. — 2019. — №26 (264). — С.23-25. [Ссылка]

  4. Распознавание эмоций у лиц, совершивших противоправные действия сексуального характера

    Макурин А.А, Булыгина В.Г.

    Статья посвящена анализу эмоционального интеллекта у лиц, совершивших сексуальные ООД. Описаны результаты исследования эмпатических характеристик и уровня эмоционального интеллекта больных.

    Журнал Психология и право www.psyandlaw.ru / ISSN-online: 2222-5196 / E-mail: info@psyandlaw.ru [Ссылка]

  5. Метод распознавания эмоций на основе модели распределения ключевых расстояний

    Жабинский А.В.

    В статье предложен метод распознавания эмоций человека по изображению его лица. В основе метода лежит разработанная статистическая модель эмоций, а также вероятностный алгоритм, основанный на наивном байесовском классификаторе.

    Метод распознавания эмоций на основе модели распределения ключевых расстояний // Доклады БГУИР. 2014. №1 (79). [Ссылка]

  6. Алгоритмы векторизации цветных растровых изображений на основе триангуляции и их реализация

    Костюк Ю.Л., Кон А.Б., Новиков Ю.Л.

    В статье предлагаются усовершенствованные алгоритмы выделения граничных линий, их аппроксимации прямолинейными отрезками и кривыми Безье, а также распознавания объектов.

    Костюк Юрий Леонидович, Кон Алексей Борисович, Новиков Юрий Леонидович. Алгоритмы векторизации цветных растровых изображений на основе триангуляции и их реализация // Вестн. Том. гос. ун-та. 2003. №280. [Ссылка]

  7. Система распознавания базовых эмоций на основе анализа двигательных единиц лица

    Бобе А.С., Конышев Д.В., Воротников С.А.

    В статье описан вариант реализации системы распознавания эмоционального состояния человека для поддержки речевого общения с сервисными антропоморфными роботами.

    Бобе А.С., Конышев Д.В., Воротников С.А. Система распознавания базовых эмоций на основе анализа двигательных единиц лица. Инженерный журнал: наука и инновации, 2016, вып. 9. [Ссылка]

Переводы статей

  1. Моделирование и распознавание мимических проявлений эмоций на лице человека

    Ефимов Г.М.

    В статье предложен целостный подход для моделирования и распознавания мимических проявлений эмоций на лице человека.

    Ефимов Г.М. Таврический государственный агротехнологический университет, Украина [Ссылка]

    Язык оригинала: украинский

  2. Обнаружение обмана по видео

    Zhe Wu, Bharat Signh, Larry S. Davis, V.S. Subrahmanian

    В статье авторы представляют автоматизированную систему скрытого автоматического обнаружения обмана по информации в видео.

    The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18) [Ссылка]

    Язык оригинала: английский

Отчет об информационном поиске

Представленный отчет позволяет оценить информационную ситуацию по теме магистерской работы. Он является основным документальным подтверждением глубины и полноты информационного поиска, а также служит для фиксации текущей ситуации в исследуемой области.

Поиск выполнен с использованием четырех поисковых систем (Google, Яндекс, Bing, Meta). Результаты сведены в таблицу. Всего произведено 12 запросов, имеющих отношение к магистерской работе. Из них три запроса соответствует названию магистерской работы на трех языках, три запроса с ФИО руководителя, а также шесть запросов с ключевыми понятиями по теме магистерской работы.

Ниже приведены две таблицы с отчетами о поиске, которые разделяет временной промежуток в четыре месяца, а также диаграмма, которая позволяет сравнить основные изменения, произошедшие за этот период.

Отчет о описке за 12.09.2019

Строка поиска Поисковая система
Google Yandex Bing META
На русском языке
Система определения достоверности информации по мимике человека на основе видеопотока 4 320 ≈ 2 млн 7 2 390
Секирин Александр Иванович, ДонНТУ 292 ≈ 18 млн 11 243
Система распознавания лжи по лицу 669 000 ≈ 11 млн 18 900 454 000
Определение достоверности информации по мимике 323 000 ≈ 3 млн 9 460 244 000
На украинском языке
Система визначення достовірності інформації по міміці людини на основі відеопотоку 336 ≈ 12 млн 0 144
Секірін Олександр Іванович, ДонНТУ 5 500 ≈ 17 млн 4 230
Система розпізнавання брехні по обличчю 17 200 ≈ 6 млн 44 11 300
Визначення достовірності інформації по міміці 36 500 ≈ 364 тыс 302 23 800
На английском языке
The system for determining the reliability of information on human facial expressions based on the video stream 19 800 000 ≈ 13 млн 251 200 11 200 000
Sekirin Alexander, DonNTU 84 ≈ 13 млн 6 553
Deception detection system 4 700 000 ≈ 5 млн 692 000 2 880 000
Determining the accuracy of information on facial expressions 170 000 000 ≈ 1 млн 67 000 94 000 000

Отчет о поиске за 12.01.2020

Строка поиска Поисковая система
Google Yandex Bing META
На русском языке
Система определения достоверности информации по мимике человека на основе видеопотока 4 370 ≈ 17 млн 8 2 630
Секирин Александр Иванович, ДонНТУ 4 160 ≈ 28 млн 13 221
Система распознавания лжи по лицу 701 000 ≈ 13 млн 18 400 408 000
Определение достоверности информации по мимике 334 000 ≈ 9 млн 8 890 225 000
На украинском языке
Система визначення достовірності інформації по міміці людини на основі відеопотоку 937 ≈ 16 млн 0 212
Секірін Олександр Іванович, ДонНТУ 4 170 ≈ 23 млн 5 245
Система розпізнавання брехні по обличчю 20 800 ≈ 8 млн 40 21 400
Визначення достовірності інформації по міміці 37 800 ≈ 1 млн 274 26 400
На английском языке
The system for determining the reliability of information on human facial expressions based on the video stream 68 800 000 ≈ 24 млн 459 000 49 600 000
Sekirin Alexander, DonNTU 918 ≈ 5 млн 5 519
Deception detection system 4 160 000 ≈ 9 млн 641 000 4 010 000
Determining the accuracy of information on facial expressions 302 000 000 ≈ 4 млн 65 300 161 000 000

Анализ результатов

При анализе полученных результатов по четырем поисковым системам, можно заметить, что наилучшие результаты показали системы Google и Yandex. Во всех поисковых запросах было найдено достаточное количество документов на всех теститруемых языках (русский, украинский и английский).

Заметим, что поисковая система Yandex при большом числе найденных страниц не дает возможности зафиксировать их точное количество. Поэтому в таблице в соответствующей колонке результатов от Yandex приведены приблизительные значения, которые она.

Среди всех поисковых систем для анализа был явный аутсайдер — система Bing, разработанная компанией Microsoft, предоставив наименьшее число результатов на запросы русского и украинского происхождения. Это связано с их главным ориентиром на американский рынок, где ведущим языком является английский язык (в котором система показала большие результаты), а лишь потом на остальной мир.

По результатам поиска ключевых фраз на разных языках можно сказать, что запросы на украинском языке дают результаты намного меньше, чем аналогичные на русском и английском языках.

Для большей информативности и наглядности, были составлены диаграммы (рис.1 - рис.3), показывающие процент изменения количества запросов за период (от 12.09.2019 и 12.01.2020).

Результаты поиска на русском языке

Процент изменения результатов поиска по запросам на русском языке
Процент изменения результатов поиска по запросам на русском языке

Анализ диаграммы показал, что произошло падение результатов выдачи запросов на русском языке только в одной поисковой системе — Meta. Значительный прирост количества результатов замечено в системе Google по запросу Секирин Александр Иванович, ДонНТУ на 132%. Система Yandex показала также большие приросты показателей почти по всем запросам. Результат запросов поисковой системы Bing был почти в стабильном состоянии, наблюдаются незначительные приросты в 10-20%.

Результаты поиска на украинском языке

Процент изменения результатов поиска по запросам на украинском языке
Процент изменения результатов поиска по запросам на украинском языке

Украинский язык, не смотря на самые низкие результаты среди других языков, показал в большей части положительную динамику роста запросов. Значительные увеличения в количестве результатов показала система Meta, что не удивительно, т.к. она является украинским порталом. Наибольший прирост был замечен по запросу Система розпізнавання брехні по обличчю на 89%. Отрицательные результаты показали две системы: Google (-24,2% на запрос о руководителе) и Bing (-9,1% и -9,3% на первый и второй запросы соответственно).

Результаты поиска на английском языке

Процент изменения результатов поиска по запросам на английском языке
Процент изменения результатов поиска по запросам на английском языке

Глядя на диаграмму видно, что на английском языке произошел значительный подъем по всем запросам выдачи. Для запроса Analysis of the distribution of customer flows количество найденных страниц увеличилось с 2 до 8 млн, это может быть связано с популярностью темы за рубежом, где ведутся основные разработки в этой области.

Подводя итоги, можно отметить измения результатов поиск преимущественно в сторону прироста, что является хорошим показателем актуальности темы. Особенно это заметно по запросам на английском языке. Также необходимо отметить, что часть результатов изменилась лишь незначительно, в пределах 5-10% в обе стороны, что скорее всего является результатом каких-то мелких корректировок поисковых алгоритмов.

Индивидуальный раздел

История татуировки

В данном разделе я хочу написать про искусство, которое я хочу воплотить на себе уже 5 лет — искусство татуировки. Как для любого человека, жаждущего татуировку, я столкнулся только с единственной проблемой: выбор эскиза.

Впервые татуировка была упомянута европейцами, когда капитан Кук, который в 1771 году возвращался из путешествия, привез туземца, который был полностью покрыт нательным рисунком. Данное обстоятельство тут же было запремечено моряками и постепенно вся Европа увлеклась нательными украшениями. В переводе с таитянского слово «тату» несет в себе смысл рисунка или знака. Однаок это не самое ранее воспоминание о тату. Они были популярны у большинства племен, так же у египтян. Самому искусству татуировки около 6 тысяч лет. Развивалось оно по всему миру. У славян татуировки обозначали магические знаки, для красоты их никто не наносил. Но после принятия христианства значимость тату пропала и можно было лишь посмотреть примеры на моряках с Европы. Но это был не конец «моды» на тату, надо было всего лишь подождать.

За всю историю тату отношение к ним менялось на абсолютно противоположное огромное количество раз. Они никогда не были признаком одних только моряков, девушек легкого поведения, заключенных или байкеров. Татуировка на протяжении своего существования использовалась моделями, художниками, актрисами. На сегодняшний день, когда в искусстве все переворачивается с ног на голову и наоборот, тату занимает почетное место.

Тату как рисунок

Искусство искусством, но тату, прежде всего, рисунок. Здесь сложностью является то, что татуировщики должны учитывать личность человека, потому что эскиз как таковой татуировкой еще не является. Это интересный симбиоз художества и выявления характера человека, потому что только полный идиот будет бить что попало, лишь бы было. Талант художника состоит не в том, чтобы нарисовать что-то очень красивое и нанести первому захотевшему, а в знакомстве и изучении человека, его особенностей. Искусство предполагает чувства за творчеством, если этого нет, под искусством понятие татуировки не значится.

Сейчас татуировки делает огромное количество людей, они стали еще более разнообразными. Особенно это разнообразие развилось с появлением интернета. Если раньше тату ограничивалось конкретными историческими мотивами, то сейчас люди обмениваются информацией, идеями, перевоплощением. Это привлекает к искусству татуировки все больше дизайнеров, художников. Люди начинают развивать свой потенциал в новой сфере.

Что же в данной сфере является искусством – сам рисунок художника или подача человеком этой работы? Мне кажется, что главное – совместимость человека с работой, гармоничность, когда татуировка дополняет и украшает человека, а человек – данную работу.

На сегодняшнее время татуировка считается искусством, так как искусство не стоит на месте, постепенно расширяет границы и вбирает в себя все больше и больше интересных вещей. Вместе с татуировкой в понятии искусство уже есть граффити и компьютерный дизайн. Людям нравится выражение своего характера, своих чувств.

Список источников

Похожие темы индивидуальных разделов магистров прошлых лет: