Мимика, эмоции и языки жестов

Аннотация

Выражения лица используются людьми для передачи различных типов значений в различных контекстах. Диапазон значений охватывает основные, возможно, врожденные социально-эмоциональные концепции, такие как удивление, до сложных и специфичных для культуры концепций, таких как небрежно. Диапазон контекстов, в которых люди используют выражения лица, охватывает реакции на события в окружающей среде на определенные лингвистические конструкции в жестовых языках. В этом мини-обзоре мы суммируем выводы об использовании и приобретении выражений лица подписавшимися и представляем единый отчет о диапазоне используемых выражений лица со ссылкой на три измерения, по которым выражения лица различаются: семантическое, композиционное и иконическое.

Введение

Люди воспринимают выражения лица как передающие смысл, но откуда они берутся и что именно означают? Основываясь на наблюдениях за выражениями лица, обычно связанными с эмоциями, Дарвин [1] предположил, что они, должно быть, имели какое-то инструментальное значение в истории эволюции. Например, приподнятие бровей могло помочь нашим предкам отреагировать на неожиданные события окружающей среды, расширив поле зрения и, следовательно, позволив им видеть больше. Даже несмотря на то, что их инструментальная функция могла быть утрачена, выражение лица остается у людей как часть нашего биологического дара, и поэтому мы все еще поднимаем брови, когда что-то удивительное происходит в окружающей среде, независимо от того, имеет ли видение больше ценности или нет. Следуя этой традиции, Экман [2],[3] утверждал, что существует набор выражений лица, которые являются врожденными, и они означают, что человек, делающий это лицо, испытывает эмоцию; т.е. поднятие бровей означает Я удивлен. Он также утверждал, что есть культурно приобретенные выражения лица, используемые для модуляции врожденных эмоциональных выражений, так называемые правила отображения, а также другие выражения, используемые для общения. Примеры последнего типа: (а) вспышка бровей означает привет, (б) движения бровей во время речи, подчеркивающие определенные слова. Согласно этой точке зрения, некоторые выражения лица являются считыванием внутренних эмоциональных состояний, и тот факт, что они имеют значение для наблюдателя, является случайным, в то время как другие используются специально для общения и, таким образом, в некотором смысле преднамеренно значимы.

Однако Фридлунд [4] утверждал, что нет никаких считываний внутренних эмоциональных состояний; скорее, то, что обычно считается эмоциональным выражением, эволюционировало для передачи намерений. То есть поднятые брови не означают я удивлен, но могут означать что-то случилось; Я собираюсь узнать что. " С этой точки зрения все выражения лица развивались в коммуникативных целях.

Последние 30 лет лингвистических исследований жестовых языков показали, что существуют выражения лица, которые используются вместе с ручными знаками и функционируют как фонологические признаки, морфемы и синтаксические / просодические маркеры, например, условные предложения, обозначающие приподнятие бровей ( Liddell [5] ; Дачковский, Сандлер [6] ). Эти выражения лица явно коммуникативны по своей природе и используются в сочетании с другими значимыми движениями (движениями рук).

В общем, есть свидетельства того, что выражения лица означают разные вещи, от, возможно, универсальных сообщений, например: Я удивлен / Что-то случилось! к культуре конкретных усвоенных смыслов; то есть, привет, специфическим для культуры значениям, которые могут принимать участие в более крупных составных структурах с другими значимыми элементами, то есть маркером условного предложения в жестовых языках.

Как можно объяснить диапазон значений и употребления выражений лица? Следуя Wierzbicka [7] , мы утверждаем, что выражения лица – это семиотические единицы (пары форма-значение), которые можно анализировать с помощью той же семантической методологии, которая используется для анализа слов (см. Wierzbicka [8] , для описания ее методологии). Два дополнительных рабочих допущения, которые мы принимаем из Вежбицкой ([7] , стр. 185), заключаются в следующем: (а) некоторые конфигурации лица имеют идентифицируемые контекстно-независимые значения; (б) некоторые выражения лица имеют универсальное значение, которое можно интерпретировать без привязки к культуре. Предположение (а) также сделано Дачковским и Сандлером [6]., хотя, насколько мы понимаем, они ограничивают это утверждение выражениями лица, используемыми в качестве просодических единиц. Предположение (б) разделяет Экман. Обратите внимание, что в целом можно привести сильный аргумент в пользу того, что некоторые выражения лица являются врожденными, потому что они также производятся врожденно слепыми людьми ( Matsumoto and Willingham[9] ), но определение их значения является предметом еще больших споров.

Чтобы проиллюстрировать противоречие, мы кратко обсудим значение подъема бровей, поскольку мы используем это выражение лица в качестве примера в этой статье. Экман [3] предполагает, что это означает Я удивлен, но мы принимаем предложение Вежбицкой ([7] , с. 205), что оно означает Я хочу знать (об этом) больше. Мы принимаем интерпретацию Вежбицкой по следующим причинам: Вежбицкая указывает, что термин сюрприз не универсален, он является частью англоязычного языка и культуры. Вместо этого она предлагает, чтобы значения мимики можно было лучше выразить с помощью терминов естественного семантического метаязыка ( Wierzbicka [8]), для чего у нее есть некоторые доказательства универсальности. Более того, нам кажется, что часть значения удивления заключается в том, что на самом деле желание узнать больше об этом [неожиданном событии, которое только что произошло], поэтому эти две интерпретации не являются полностью несовместимыми. Однако мы находим определение Вежбицкой более общим, способным охватить использование подъема бровей в отношении эмоций и языков жестов, поэтому мы принимаем именно это определение, признавая, что в настоящее время нет единого мнения по этому вопросу.

Что касается выражений лица в целом, мы предлагаем объяснить их различия и сходства в трех измерениях: семантическом, иконическом и композиционном. Эти размеры получены из нашего первого рабочего предположения; что некоторые выражения лица являются семиотическими единицами (пары форм-значений). Семантическое измерение относится к смысловой части семиотической единицы, измерение иконичности - к природе отношений между формой и значением, а композиционность - к тому, как семиотическая единица может сочетаться с другими семиотическими единицами для образования сложных семиотических структур. Семантическое измерение охватывает значения, универсальные для тех, которые зависят от культуры. Знаковое измерение охватывает различные степени, в которых выражения лица соответствуют своему значению. Измерение композиционности охватывает степени, в которых выражения лица легко сочетаются с другими семиотическими единицами, образуя сложные структуры. Аналогичное предположение было сделано для учета диапазона движений рук, используемых людьми, включая жесты совместной речи слышащих людей с жестами глухих (Макнил [10]). В этом мини-обзоре мы суммируем данные о приобретении выражений лиц подписавшими, чтобы поддержать нашу точку зрения. Сначала мы представляем краткий обзор роли лица в структуре языка жестов. Затем мы описываем предлагаемые параметры и результаты приобретения выражений лиц глухими подписывающими, которые их поддерживают, после чего мы делаем вывод. Обратите внимание, что, насколько нам известно, в настоящее время существуют данные о приобретении только по не руководствам по американскому языку жестов (ASL), поэтому все приведенные ниже примеры относятся к ASL.

Языки жестов и роль лица

Языки жестов – это естественные лингвистические системы, которые возникают в сообществе глухих и, как и разговорные языки, имеют фонологический, лексический и синтаксический уровни структуры (например, Liddell [11]; Sandler and Lillo-Martin [12]). Когнитивные и нейрокогнитивные данные свидетельствуют о том, что жестовые и разговорные языки обрабатываются аналогичным образом; например, они демонстрируют схожие эффекты лексического доступа ( Baus et al. [13]; Carreiras et al. [14]), и они поддерживаются схожими областями мозга ( Campbell et al. [15]).

Движения лица и головы используются в жестовых языках на всех уровнях языковой структуры. На фонологическом уровне некоторые знаки имеют обязательный лицевой компонент в форме цитирования ( Liddell [5]; Woll [16]). В ASL есть морфемы лица, такие как наречие th, означающее небрежно ( McIntire, Reilly [17]; Crasborn et al. [18]). Действиями лица, среди прочего, отмечаются относительные придаточные предложения, вопросы содержания и условные выражения, хотя есть некоторые разногласия относительно того, следует ли рассматривать эти обозначения как синтаксические или просодические (см. Liddell [5]; Baker-Shenk [19]; Aarons et al. [20]; Nespor и Sandler [21];Сандлер [22]; Уилбур и Патчке [23]; Neidle et al. [24]; Дачковский, Сандлер [6]; Уилбур [25]). Подписывающие также используют лицо для жестов ( Sandler [26]). Ниже мы описываем, как эти варианты использования лица можно описать в трех измерениях; семантические, композиционные и иконические со свидетельствами приобретения выражения лица.

Семантическое измерение

Семантическое измерение относится к смысловой части семиотической единицы. Было высказано предположение, особенно для значений выражений лица, что существуют универсальные значения и значения, специфичные для культуры. Поднятие бровей считается единицей универсального значения, и мы принимаем предположение, что это означает Я хочу знать больше (об этом).

Поднятие бровей, по-видимому, используется как с речью, так и без нее. Контекст может придать ему дополнительное значение помимо Я хочу знать больше (об этом), однако мы утверждаем, что даже когда контекст добавляет больше смысла, он всегда сохраняет свое универсальное значение. Например, слышащие люди могут поднимать брови, задавая вопрос типа да-нет ( Ekman [2]), и когда они сталкиваются с чем-то неожиданным в окружающей среде. В обоих случаях он по-прежнему сохраняет значение Я хочу знать больше (об этом), но в первом случае оно связано со словами в вопросе, а во втором - с событием. В жестовых языках поднятие бровей также используется в разных контекстах; он может отмечать вопросы да-нет и предшествующие условные предложения. Дачковский и Сандлер ([6], п. 300) предполагают, что, несмотря на эти разные языковые контексты, поднятие бровей имеет одно значение, а именно: […] промежуточная или интонационная фраза, отмеченная [поднятием бровей], должна сопровождаться другой фразой, произведенной либо собеседником, либо другим. Мы находим интерпретацию Дачковского и Сандлера совместимой с интерпретацией я хочу знать больше (об этом) или аналогичной формулировкой, такой как больше информации поступает.

На культурно-специфическом конце семантического измерения лежит, например, наречие th на ASL (небрежно), которое передается путем высунувания языка между сомкнутыми губами и наклона головы. Говоря, что небрежно – это понятие, специфичное для данной культуры, мы имеем в виду, что не все языки пометили сложный набор поведений и установок, составляющих значение небрежно, словом / знаком. Однако мы не имеем в виду, что концепция не может быть объяснена кому-то, чей язык не имеет для нее слова.

По логике, семантически универсальные выражения лица появляются в процессе усвоения первыми. К 0: 2 дети поднимают брови в том, что Изард и др.[27] называют выражение интерес, но мы называем это я хочу знать больше (об этом). Специфические для культуры выражения лица, такие как отрицательное дрожание головы, появляются примерно 1: 0, но они еще не сочетаются с жестом ( Anderson and Reilly [28]; Reilly [29]).

Измерение иконичности

Мы используем термин иконичность для обозначения формально-смыслового сходства. Сходство по своей природе зависит от степени. Некоторые выражения лица в большей степени напоминают свое значение, чем другие. Связь между формой поднятия бровей и значением Я хочу знать больше (об этом) является знаковой, поскольку поднятие бровей, чтобы увидеть больше, является метафорическим значком ( Тауб [30]) желания узнать больше. Наречное th (небрежно) также кажется культовым, так как небольшой выпирающий язык и наклон головы могут напоминать лицо человека, который ведет себя неосторожно. У нас нет данных о выражениях лиц слышащих или глухих людей, которые полностью произвольно связаны со своим значением; однако мы думаем, что это в принципе возможно, потому что многие семиотические единицы, особенно в разговорной речи, не проявляют никакого сходства со значением формы. Мы предлагаем подмигивание, используемое в некоторых англоязычных культурах для обозначения я не серьезно, в качестве примера лицевого действия, произвольно связанного со значением.

В процессе усвоения, поскольку универсальные выражения появляются первыми и поскольку универсальные значения, как представляется, обязательно имеют форму, мотивированную значением ( Wierzbicka [7], p. 213), иконичность предшествует произволу. Даже когда подписывающие дети начинают комбинировать выражения со знаками (1: 6), первые типы, которые они используют, – это выражения лица, связанные с эмоциями, с концептуальными знаками эмоций ( Макинтайр и Рейли [17]; Рейли и др. [31]).

Измерение композиционности

Выше мы видели, что подъем бровей может использоваться отдельно или в сочетании с другими семиотическими единицами, такими как слова, т. Е. Это композиционно. В языках жестов подъем бровей можно использовать вместе с жестами (которые эквивалентны произнесенным словам). В разговорных языках подъем бровей также можно использовать вместе со словами, однако в языках жестов, похоже, существует больше ограничений на то, как подъем бровей сочетается со знаками / словами. Первое существенное отличие состоит в том, что в некоторых жестовых языках подъем бровей является обязательным при ответах на вопросы типа да-нет ( Дачковский, Сандлер [6]), а в разговорных языках - нет. Второе отличие заключается в том, что выражения лица, которые участвуют в составных знаковых структурах, кажутся более строго привязанными к появлению и смещению знаков / слов по сравнению с разговорным языком (Вейнберг и Уилбур [32]). Казалось бы, увеличивается количество комбинаторных вариантов выражения лица при переходе от использования лица в разговорной речи к использованию лица в качестве части жестов, аналогично тому, что предлагалось для жестикуляции и языка жестов в McNeill [10].

Не все выражения лица должны появляться в составных структурах; однако мы не знаем о существовании выражения лица, которое запрещает комбинирование во всех случаях. Например, кажется, что даже характерные выражения лица, которые обычно стоят особняком, такие как вспышка бровей привет, упомянутая выше, можно использовать для замены слов в предложении. Однако наша точка зрения заключается в том, что некоторые выражения лица легче комбинируются с другими семиотическими единицами, чем другие, и что существуют степени регулярности составных структур, т. Е. Сочетание поднятия брови со словами на языках жестов встречается чаще и время, чем в разговорных языках.

Полное овладение комбинаторными условными обозначениями мимики на языке жестов длится не менее 7 лет. Первая комбинация выражений лица с другими семиотическими единицами у подписывающих происходит примерно 1: 6. Эти лицевые действия кажутся фонологическими особенностями. Это также происходит, когда появляется ручной знак отрицания, но ребенок не совмещает его со своим рукопожатием до 2 месяцев спустя (1: 8). В 2 года появляются первые наречия на лице. В 2: 5 дети используют мимику, чтобы изобразить эмоции других людей, а в 3: 0 используют перерыв в зрительном контакте и мимику других, чтобы отметить смену ролей. 3: 0 – это также возраст, когда дети используют ручной знак для если, но только в 5: 0 они начинают использовать его, приподняв бровь, и только в 7: 0 они полностью приближаются к взрослым условным выражениям (Reilly et al.[33] ; Рейли [29]).

Заключение

С точки зрения трех предложенных измерений, по мере того, как дети приобретают выражения лица, они переходят от врожденных универсальных концепций, отображенных на иконические формы, созданные в целостных структурах, к концепциям, специфическим для культуры, традиционным сопоставлениям форм и значений и все более сложным составным структурам. Дополнительные данные о приобретении мимики на жестовых языках, отличных от ASL, а также данные о развитии и использовании мимики в устной речи помогут прояснить, какие концепции и формы являются универсальными (если таковые имеются).

Мы считаем важным отметить, что наши континуумы ??не объясняют, как дети приобретают выражения лица, скорее, они четко заявляют о том, что именно усваивают дети: семиотические единицы и знания о том, как объединить их в более сложные семиотические единицы. Эта точка зрения контрастирует с взглядами, утверждающими, что выражения лица, связанные с эмоциями, выражения лиц, используемые людьми, которые слышат во время разговора, и выражения лиц, используемые подписывающими лицами при подписании, должны рассматриваться как отдельные явления. Мы считаем важным сначала точно охарактеризовать что при приобретении выражения лица, поскольку это обязательно ограничивает возможные ответы относительно того, как люди приобретают выражения лица.

Заявление о конфликте интересов

Авторы заявляют, что исследование проводилось в отсутствие каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.

Благодарности

Эта работа была поддержана Международной исследовательской школой Макса Планка Жизненный путь: эволюционная и онтогенетическая динамика (LIFE) и Cluster of Excellence, Languages of Emotion, Freie Universitat Berlin.

Список литературы

1. Дарвин К. (1904). Выражение эмоций у человека и животных . Лондон: Джон Мюррей.
2. Экман П. (1979). О бровях: эмоциональные и разговорные сигналы, в Этологии человека , ред. Дж. Ашуф, М. фон Кранах, К. Фоппа, В. Лепенис и Д. Плоог (Кембридж: издательство Кембриджского университета), 169–202.
3. Экман П. (1992). Аргумент в пользу основных эмоций. Cogn. Эмот. 6, 169–200.
4. Фридлунд AJ (1997). Новая этология выражения лица человека, в Психологии выражения лица , ред. Дж.А. Рассел и Дж. Фернандес-Долс (Кембридж: издательство Кембриджского университета), 103–129.
5. Лидделл С.К. (1980). Синтаксис американского языка жестов . Гаага: Мутон.
6. Дачковский С., Сандлер В. (2009). Визуальная интонация в прозодании жестового языка. Lang. Речь 52, 287–314.
7. Вежбицка А. (1999). Эмоции разных языков и культур . Кембридж: Издательство Кембриджского университета.
8. Вежбицка А. (1996). Семантика: простые числа и универсалии . Нью-Йорк: Издательство Оксфордского университета.
9. Мацумото Д., Уиллингем, Б. (2009). Спонтанное выражение эмоций на лице от рождения и не от рождения слепых людей. J. Pers. Soc. Psychol. 96, 1–10.
10. Макнил, Дэвид. (1992). Рука и разум: что жесты говорят о мысли . Чикаго: Издательство Чикагского университета.
11. Лидделл С.К. (2003). Грамматика, жесты и значения американского языка жестов . Кембридж: Издательство Кембриджского университета.
12. Сандлер В., и Лилло-Мартин Д. (2006). Язык жестов и лингвистические универсалии . Нью-Йорк: Издательство Кембриджского университета.
13. Баус К., Гутьеррес-Сигут Э., Квер Дж., И Каррейрас М. (2008). Лексический доступ в производстве каталонского жестового языка (LSC). Познание 108, 856–865.
14. Каррейрас М., Гутьеррес-Сигут Э., Бакеро С., и Корина Д. (2008). Лексическая обработка в испанском жестовом языке (LSE). J. Mem. Lang. 58, 100–122.
15. Кэмпбелл Р., Максуини, Массачусетс, и Уотерс Д. (2008). Язык жестов и мозг: обзор. J. Deaf Stud. Deaf Educ. 13, 3–20.
16. Волл Б. (2001). Знак, который осмеливается произнести свое имя: эхо-фонология на британском жестовом языке (BSL), в Руки - Голова рта , - редакторы П. Бойс Брэм и Р. Саттон-Спенс (Гамбург: Signum-Verlag) 87–98.
17. Макинтайр М.Л., и Рейли Дж.С. (1988). Неуправляемое поведение у изучающих американский язык жестов L1 и L2. Подпишите Lang. Stud. 61, 351–375.
18. Красборн О., ван дер Кой Э., Уотерс Д., Волл Б., и Меш Дж. (2008). Распределение частот и распространение различных типов движений ртом на трех жестовых языках. Подпишите Lang. Лингвист. 11, 45–67.
19. Бейкер-Шенк К. (1983). Микроанализ не ручных компонентов вопросов на американском жестовом языке . Беркли, Калифорния: Калифорнийский университет.
20. Ааронс Д., Бахан Б., Нейдл К., и Кегл Дж. (1992). Клаузальная структура и уровень грамматической разметки в американском жестовом языке. Nord J. Лингвист. 15, 103–142.
21. Nespor M., and Sandler W. (1999). Просодия на израильском жестовом языке. Lang. Речь 42, 143–176.
22. Сандлер В. (1999). Просодия в двух модальностях естественного языка. Lang. Речь 42, 127–142.
23. Уилбур Р.Б., и Патчке К. (1999). Синтаксические корреляты подъема брови в ASL. Подпишите Lang. Лингвист. 2, 3–40.
24. Нейдл К., Кегл Дж., Мак Лафлин Д., Бахан Б., и Ли, Р.Г. (2000). Синтаксис американского языка жестов . Кембридж, Массачусетс: MIT Press.
25. Уилбур Р.Б. (2009). Влияние разной скорости подписания на ручные знаки ASL и неручные маркеры. Lang. Речь 52, 245–285.
26. Сандлер В. (2009). Симбиотическая символизация рукой и ртом на языке жестов. Семиотика 174, 241–275.
27. Изард C.E, Фантауццо, Калифорния, Касл Дж.М., Хейнс О.М., Райяс М.Ф., и Патнэм PH (1995). Онтогенез и значение мимики младенцев первых 9 месяцев жизни. Dev. Psychol. 31, 997–1013.
28. Андерсон Д.Е., и Рейли Дж.С. (1997). Загадка отрицания: как дети переходят от коммуникативного отрицания к грамматическому в ASL. Appl. Психолингвист. 18, 411–429.
29. Рейли Дж. (2005). Как лица приходят на службу грамматику: развитие нерукотворной морфологии американского языка жестов. Adv. Подпишите Lang. Dev. Глухой ребенок. 11, 262–290.
30. Тауб С. (2001). Язык из тела: иконичность и метафора в американском языке жестов . Нью-Йорк: Издательство Кембриджского университета.
31. Рейли Дж.С., Макинтайр М.Л., и Беллуджи У. (1990b). Лица: взаимосвязь между языком и аффектом, в От жеста к языку у слышащих и глухих детей , редакторы В. Вольтерра и К. Эртинг (Берлин: Springer Verlag), 128–142.
32. Вейнберг С., и Уилбур, РБ (1990). Лингвистический анализ отрицательного ответа на вопрос американского языка жестов. Подпишите Lang. Stud. 68, 217–244.
33. Рейли Дж.С., Макинтайр М., и Беллуджи У. (1990a). Усвоение условных выражений в американском языке жестов - грамматизированных выражений лица. Appl. Психолингвист. 11, 369–392.