Восприятие экспрессий «живого» лица

Статья посвящена экспериментальным исследованиям межличностного восприятия на материале статики и динамики выражений лица как уникального источника информации о внутреннем мире человека. В центре внимания — закономерности восприятия подвижного лица, включенного в процессы общения и совместной деятельности (альтернатива наиболее часто изучаемому восприятию статичных изображений человека вне поведенческого контекста). В обзор вошли четыре взаимосвязанные темы: статика и динамика лица в распознавании эмоциональных выражений; специфика восприятия экспрессий подвижного лица; мультимодальная интеграция эмоциональных проявлений; порождение и восприятие экспрессий лица в процессах общения. Проведенный анализ позволил выявить наиболее перспективные направления исследований лица в движении. Показана взаимодополняемость статического и динамического модусов восприятия лица. Описана роль качественных особенностей динамики экспрессии в оценке эмоционального состояния. Экспрессия лица рассматривается в рамках целостного мультимодального проявления эмоций. Подчеркивается значение движений лица как инструмента социального взаимодействия.

 

Введение

Вряд ли можно спорить с тем, что биологическая роль движений чрезвычайно велика, а информация о движении имеет для выживания видов решающее значение. По тому, как двигается человек, можно определить его пол, возраст, род занятий, социальное положение и многое другое [Gibson, 1979; Gibson, 1966]. Чтобы приспособиться к среде, необходимо уметь выделять и дифференцировать разнообразные виды моторной активности, нередко при низкой освещенности, различного рода окклюзиях, маскировке и изменении ориентации в пространстве. Это касается и распознавания эмоций — состояний людей, определяемых по выражениям лица. Длительное время данная тематика разрабатывалась на материале статических изображений человека: фотографий, портретов, рисунков и схем, а основное внимание уделялось содержательной стороне социальной перцепции, связанной с пространственными характеристиками эмоциональных экспрессий. К восприятию выражений подвижного, или «живого», лица, его изменениям в реальном времени обратились сравнительно недавно. В отличие от статичных изображений, видимые изменения мимики, перемещений глаз, движения губ и челюстей при артикуляции, наклоны головы и др. как бы оживляют неподвижные картины, наделяя их анимическими качествами. Предметом восприятия становятся не столько пространственная организация мгновенных срезов лица, сколько структура их отношений: возникновение, развитие, переходы в иную модальность. Выражения лица описываются в терминах действия — активности человека как целого, которая конституирует межличностную ситуацию и регулирует потоки субъект-субъектного взаимодействия.

Интерес к динамике выражений лица инициировали пионерские работы по распознаванию биологического движения [Johansson, 1973; Johansson, 1980], показавшие, что кинематические паттерны, сопровождающие естественное поведение, способны в отсутствие структурированных поверхностей нести уникальную информацию о содержании воспринимаемого объекта. В частности, в темноте движение 10—12 светящихся точек, установленных на основных сочленениях тела натурщика, вызывает впечатление локомоций человека, позволяет определить их тип (прогулка, бег, прыжки) и гендерную стилистику. При остановке движения впечатление исчезает, а с его началом — проявляется через 100 мс [Cutting, 1977; Runeson, 1983]. Использование метода световых точек при изучении восприятия мимики показало, что во время их движения наблюдатели точно определяют модальность экспрессии невидимого натурщика, но идентифицировать неподвижный набор точек в качестве лица, переживающего эмоции, не в состоянии [Bassili, 1978]. При перемещении световых точек существует высокая вероятность идентифицировать личность известных наблюдателю людей и определить их пол [Bruce, 1988]. Особую роль изменений лица в восприятии состояний и характеристик личности подтвердили и когнитивные исследования [Bruce, 1998; Ekman, 2005; Russell, 1997]. В ходе этих и подобных работ была продемонстрирована самостоятельная роль динамики в восприятии лицевых экспрессий и поставлена проблема соотношения различных модусов лица — статики и динамики — при категоризации его выражений.

На сегодняшний день динамический аспект восприятия эмоциональных проявлений превращается в одно из перспективных течений, охватывающее не только общую, но и социальную психологию, психофизиологию, нейронауки, а также смежные с ними области знаний. Ведущиеся исследования сориентированы на достижение высокого уровня экологической и социальной валидности, системный поиск закономерностей категоризации экспрессий в естественных ситуациях, дифференциацию и углубление представлений о природе невербальной коммуникации, расширение методической базы исследований межличностного восприятия.

Целью статьи является обзор современных исследований восприятия подвижного («живого») лица, его экспрессий и других особенностей, которые опосредуют межличностную коммуникацию. Необходимость подобной работы вызвана значительным ростом экспериментально-психологических исследований восприятия лица в динамике, произошедшим в последнее время. Актуальными становятся систематизация накапливающихся эмпирических данных и определение наиболее перспективных направлений научно-исследовательской деятельности.

Аналитический обзор проводится по четырем взаимосвязанным направлениям, охватывающим значительное число исследований восприятия меняющегося лица: 1) статика и динамика лица в распознавании эмоциональных выражений, 2) специфика восприятия экспрессий подвижного лица, 3) мультимодальная интеграция эмоциональных проявлений, 4) порождение и восприятие экспрессий лица в процессах общения. Их совокупность позволяет представить многомерную картину современного состояния проблемы. Уделяя особое внимание различиям в оценках динамики по сравнению со статикой, попытаемся очертить круг закономерностей восприятия «живого» лица, дальнейшая разработка которых представляется перспективной.

Статика и динамика лица в распознавании экспрессий

Согласно выполненным исследованиям, восприятие подвижного лица по сравнению с фотографиями или схемами имеет ряд существенных отличий. Общая тенденция состоит в том, что эмоция в динамике распознается более эффективно, чем в статике [Alves, 2013; Krumhuber, 2013; Xiao, 2016]. Эффект динамики возникает у новорожденных младенцев [Addabbo, 2018] и сохраняется в течение всей жизни, усиливаясь в пожилом возрасте [Grainger, 2017; Richoz A.-R, 2018]. Данное преимущество выражено тем больше, чем более затруднены условия восприятия. Это отчетливо проявляется при слабой выраженности эмоции [Bould, 2008а; Calvo, 2016]; сверхкоротких экспозициях [Barabanschikov, 2015]; расфокусированно- сти лица [Barabanschikov, 2015а]; его схематизации [Cunningham, 2009а]; исключении информации о текстуре и контуре [Wallraven, 2008]. Так, по сравнению с неподвижным изображением динамическая экспозиция лица с низким пространственным разрешением, а также анимационные и контурные изображения ведут к более точным оценкам эмоций; различия наиболее заметны при использовании метода световых точек [Cunningham, 2009]. С потерей информации о текстуре или строении лица точность оценок компьютерно сгенерированных статических экспрессий резко снижается, тогда как при значительной потере информации и «смазывании» изображений динамических экспрес­сий адекватность ответов сохраняется [Wallraven, 2008]. Понижая уровень детализации (количество опорных точек) либо уменьшая размер изображений анимированных экспрессий, можно добиться большего эффекта динамики по сравнению со статикой, независимо от наличия текстуры [Cunningham, 2009; Cunningham, 2009а]. Подобное явление имеет место и в условиях кажущегося (стробоскопического) движения. В частности, со снижением четкости изображения лица относительная точность категоризации микроэкспрессий возрастает [Barabanschikov, 2015а; Barabanschikov, 2018]. Преимущество динамики подтверждается результатами нейровизуализации: по сравнению с фотоизображениями динамические экспрессии лица увеличивают активацию в зонах мозга, связанных с социальным познанием и анализом эмоций [Fox, 2009; Pitcher, 2011; Sato, 2019].

С усилением экологической валидности условий восприятия, в том числе при экспозиции естественных изображений лица, эффект движения уменьшается либо не проявляется вовсе [Cunningham, 2009; Fiorentini, 2012; Fiorentini, 2011; Kätsyri, 2008], а в условиях ограниченного времени ответа точность распознавания статичных экспрессий может возрастать [Jiang, 2014]. Демонстрация динамических последовательностей, полученных путем покадрового компьютерного морфинга пар видеофрагментов «нейтральное лицо — сильно выраженная экспрессия», систематических различий в категоризации статических либо динамических переходных экспрессий не обнаруживает [Fiorentini, 2011]. Уменьшение угловых размеров видеоизображений экспрессий до 2° также не приводит к значимым различиям [Cunningham, 2004]. При сопоставлении результатов распознавания базовых динамических экспрессий лица актера и его компьютерной реконструкции высокой степени детализации и реалистичности имеют место сходные уровни точности идентификации [Cunningham, 2004; Wallraven, 2008]. Однако при сравнении оценок динамических экспрессий, выраженных натурщиком, и компьютерной анимации более низкого качества, которая не полностью передает детали реального лица и затрудняет распознавание статических экспрессий, динамика обеспечивает более высокую эффективность [Kätsyri, 2008].

Таким образом, статика и динамика выражения лица не столько противостоят, сколько взаимодополняют друг друга, а их роль в восприятии эмоций зависит от конкретных условий экспозиции. Чем выше качество требуемой информации о воспринимаемой эмоции, тем менее заметно влияние подвижной составляющей и выше значение статичного «среза» выражения лица. Верно и обратное: при невозможности извлечь необходимую диагностическую информацию исключительно из статичного изображения ее поиск осуществляется с опорой на динамику экспрессии. Выявленная закономерность объясняет обратную зависимость эффективности восприятия динамических экспрессий от их интенсивности: влияние сильных эмоций менее заметно, чем влияние слабых [Bould, 2008а].

Специфика восприятия экспрессий подвижного лица

В отличие от статики распознавание динамических экспрессий опирается на более широкую информационную основу, обусловленную временной организацией выражения лица. Это открывает возможность наблюдать развитие эмоций «здесь и сейчас», в ходе межличностной коммуникации. Источником динамической информации выступает процесс порождения и развития экспрессий и его характеристики: длительность и плавность изменений, их направление, траектория, темп, интенсивность; гетерохронность проявления диагностических признаков и фазность выражения лица в целом. Необходимым условием адекватного восприятия динамических экспрессий являются событийные сценарии — функциональные образования опыта, отражающие в обобщенной форме типичные способы переживания и реализации эмоциональных состояний [Nelson, 1986].

Самое наличие плавного последовательного движения предоставляет информацию, функционально отличную от набора либо суммирования статических изображений [Ambadar, 2005]. Более эффективному распознаванию экспрессии содействует увеличение кадров динамически меняющихся последовательностей изображений между нейтральным проявлением лица и ярко выраженной эмоцией [Bould, 2008]. Важнейшую роль в подобной ситуации играет направление изменений выражения лица [Ambadar, 2005]. Если кадры динамической экспрессии демонстрируются в произвольном или реверсивном порядке, нарушая привычную последовательность, точность оценок значительно снижается [Cunningham, 2009а]. От траектории, или характера изменений выражения лица, зависит соответствие воспринимаемой экспрессии действительному состоянию ком­муниканта. Например, компьютерная анимация, при которой изменения лица происходят по кратчайшей прямой, приводит к замедленному и менее точному распознаванию эмоций, а также к более низким оценкам интенсивности, искренности и типичности по сравнению с действительным развертыванием экспрессии [Cosker, 2010; Wallraven, 2008]. В силу нелинейности и асинхронии активности мимических мышц при переживании эмоции [Krumhuber, 2016], естественные динамические экспрессии и переходы между ними воспринимаются иначе, чем искусственные динамические последовательности, созданные путем линейного морфинга [Korolkova, 2018а], и приводят к различиям в волновой активности головного мозга [Perdikis, 2017]. Точность категоризации снижается при инверсии естественных видеофрагментов во времени [Korolkova, 2018а; Reinl, 2015]. При увеличении или снижении скорости движения лица наблюдатели по-разному оценивают модальность и естественность выражения [Bould, 2008а; Hill, 2005; Sato, 2004]. Оптимальная эффективность распознавания экспрессии каждой модальности достигается при определенной скорости изменений лица [Kamachi, 2001; Recio, 2013].

Влияние динамики не только затрагивает точность распознавания эмоций и впечатления об их качестве, но и привносит дополнительное содержание [Biele, 2006; Cunningham, 2009; Weyers, 2006]. Например, последнее изображение экспрессии в динамическом ряду воспринимается как проявление более сильной эмоции, чем это имеет место в действительности. По мере возрастания скорости изменения лица переоценка интенсивности эмоции возрастает [Sato, 2007]. В зависимости от того, какая экспрессия предшествовала экспозиции нейтрального лица в динамическом переходе, его восприятие может существенно меняться [Jellema, 2011; Marian, 2013; Yoshikawa, 2008]. Так или иначе, динамика лицевых изменений включается в регуляцию восприятия эмоций сторонним наблюдателем. За пределами экологически валидного диапазона скоростей и способов движения лица воспринимаемые экспрессии теряют плавность и выглядят навязанными, искусственными. Например, в условиях «прямоугольной» стробоскопической экспозиции смена изображений динамических экспрессий вызывает впечатление резкого движения, оформляющегося в лицевые жесты (повороты головы, приближение либо удаление лица, его покачивания из стороны в сторону и др.). Складывается особая ситуация, в которой адекватность оценок кажущегося изменения по сравнению со статикой не возрастает, а снижается. Но даже в этих случаях с падением качества изображений лица относительная точность опознания микроэкспрессий увеличивается [Barabanschikov, 2017; Barabanschikov, 2018].

Наблюдатели способны тонко дифференцировать информацию о подлинности экспрессии — о том, что в действительности должно происходить при реальном переживании. Оказалось, что на начальных стадиях возникновения улыбки меньшая продолжительность и менее упорядоченные лицевые акты говорят скорее о вежливости, чем о веселье, а также о меньшей искренности и непосредственности [Ambadar, 2009; Hess, 1994; Krumhuber, 2005]. Зарегистрировано влияние стадий развертывания экспрессий на оценку личности натурщика [Krumhuber, 2006]. Например, в ответ на улыбку с большей продолжительностью начальной фазы наблюдатель чаще принимает решение о сотрудничестве, устанавливается более позитивный контакт с воспринимающим [Bugental, 1986; Krumhuber, 2009; Krumhuber, 2007]. В зависимости от содержания и логики развития коммуникативной ситуации источники динамической информации по-разному используются как по отдельности, так и в различных сочетаниях друг с другом, образующих динамические паттерны выражений лица.

В отличие от статических изображений признаки эмоций, условия их проявления, интеграции и реализации в рамках «живого» лица получают дополнительный функционал. Так, благодаря временной развертке наряду с размером, формой, межзрачковым расстоянием и цветом глаз, значимыми становятся направленность взора (окуломоторная активность) коммуниканта и его оценка наблюдателем. В зависимости от ориентации лица, его геометрических особенностей, а также распределений яркости одна и та же конфигурация области глаз оценивается по-разному и оказывает разное влияние на восприятие эмоций [Adams, 2003; Bindemann, 2008; Langton, 2011]. Особую роль начинает играть зрительный контакт — обмен взглядами, благодаря которому открывается уникальный информационный канал, связывающий участников общения и позволяющий каждому из них как бы непосредственно проникать во внутренний мир партнера. Не просто взаимное рассматривание (фиксации) области глаз, а стоящие за ним интерес и внимание друг к другу оказываются необходимыми условиями социального взаимодействия и личностной поддержки [Argyle, 1976; Binetti, 2015; Kleinke, 1986]. Включаясь в выражение эмоций, взгляд регулирует процесс коммуникации, обеспечивает обратную связь, участвует в формировании межличностных отношений. Неслучайно в реальной жизненной ситуации глаза коммуникантов фиксируются значительно чаще, чем голова, туловище, одежда или предметы интерьера [Birmingham, 2007]; при распознавании лица его верхняя часть оказывается наиболее информативной [Yuschenkova, 2010] и требует наименьшего времени экспозиции [Barabanschikov, 2012].

Выстраивание зрительного поведения расширяет функционал и других динамических признаков эмоций, особенно в области бровей и рта, которые инициируют и контролируют взаимное внимание и реализуют когнитивно-комммуникативные функции участников. Во время разговора движения губ, языка, нижней челюсти, проглядывания зубов обеспечивают предпосылки адекватного восприятия речи партнера [Bruce, 1998; McGurk, 1976], но одновременно трансформируют эмоциональные экспрессии. Совокупная динамика лица и его элементов образует внутренний контекст восприятия эмоций, при исключении которого остановленное изображение (отдельный кадр) выглядит очень многозначным и чаще описывается в терминах не состояний, а действий [Fernandez-Dols, 1997; Moskowitz, 2005].

Динамика внимания и перемещение взора по поверхности лица натурщика обеспечиваются окуломоторной активностью наблюдателя. При распознавании эмоций свыше двух третей зрительных фиксаций распределяется в зонах глаз, рта и носа. Их соотношение зависит от содержания решаемой задачи, модальности, полноты и выраженности экспрессий, опыта наблюдателя и его индивидуально-психологических особенностей. Особый интерес наблюдателя к состоянию глаз и рта натурщика находит отражение в паттернах (маршрутах) фиксаций, которые носят циклический характер [Barabanschikov, 2012; Yarbus, 1967].

В диадических ситуациях (беседы, интервью и др.) эмоциональные экспрессии слабой либо средней интенсивности проявляются в течение короткого времени (от нескольких десятков миллисекунд до 3—5 секунд), вызывая небольшие (угловые минуты) отклонения лица и расположения его элементов. Для оперативного распознавания эмоций наблюдателю достаточно одной—двух зрительных фиксаций (300—600 мс); в ходе выполнения сак­кад (30—60 мс) этот процесс не прерывается [Barabanschikov, 2019]. Указанные значения сближают условия восприятия статики и динамики лица. При категоризации динамических экспрессий распределение и продолжительность фиксаций сходны с теми, которые регистрируются на фотоизображениях: область глаз и бровей является наиболее информативной зоной для распознавания экспрессий гнева и печали; область рта — для радости; средняя часть лица (нос/щеки) — для отвращения; области глаз/бровей и рта — для страха и удивления [Calvo, 2018]. С сокращением времени экспозиции динамических экспрессий возникает тенденция преимущественной фиксации взора в центральной части лица [Blais, 2017].

Анализ окуломоторной активности наблюдателя во время рассматривания фото и ви­деоизображений лица, переживающего эмоцию, обнаруживает ряд различий. В ходе живого общения «лицом к лицу» внимание прежде всего приковано к области глаз собеседника, смещаясь на область рта при восприятии его речи [Hessels, 2020; Hessels, 2017]. При экспозиции видеофрагмен­тов наибольшее время рассматривания связано с зоной глаз, значительно возрастает вклад повторных фиксаций одной и той же зоны интереса, увеличивается средняя продолжительность и скорость плавного компонента динамических фиксаций, расширяется вариативность маршрутов движений глаз, но уменьшается амплитуда саккад. Полученные данные указывают на более емкий арсенал средств поиска, приема и обработки информации о состоянии партнера, заключенном в динамических паттернах выражений лица [Barabanschikov, 2017а].

Перцептогенез восприятия статических и коротких динамических экспрессий совершается в три этапа: сначала порождается образ эмоции в целом, который уточняется, ретушируется и вписывается в более широкий жизненный контекст. На ранних стадиях проявления эмоции воспринимаются в наиболее общей форме — лица как такового. Экспрессия выделяется на последующих стадиях: сначала как спокойное состояние натурщика, затем — как эмоция той или иной модальности. На более поздних стадиях информационная основа выражения лица достраивается либо перестраивается. Смена стадий восприятия и его темп зависят от модальности и последовательности переживаемых эмоций, а траектория содержательного развития далека от прямолинейной. В то время как экспрессии радости и печали могут быть распознаны уже на ранних стадиях, для различения страха и удивления, а также отвращения и гнева необходима большая продолжительность экспозиции динамического лица [Jack, 2014]. Нисходящая ветвь перцептогенеза совершается в направлении все более обобщенного и менее дифференцированного восприятия эмоций, завершаясь впечатлением спокойного выражения либо обобщенного лица (эффект перцептивной редукции) [Barabanschikov, 2016; Barabanschikov, 2016а]. Описанная динамика сохраняется в условиях, затрудняющих процесс категоризации, в частности, при изменениях эгоцентрической ориентации лица [Barabanschikov, 2010] или экспозиции экс­прессий на фоне шума [Barabanschikov, 2007]. В отличие от восприятия статики, перцептогенез подвижного выражения лица наряду с собственной логикой подчиняется временной структуре акту­ализируемой экспрессии, более пролонгирован и объемен, предполагает взаимодействие с другими проявлениями эмоционального состояния и переходы от одной модальности к другой. На начальной стадии перцептогенеза идентификация лица и выраженное в нем эмоциональное состояние образуют единое целое; сепарация траекторий и связанная с ней константность восприятия различных сторон межличностного восприятия происходят на последующих стадиях [Calder, 2011; Levy, 2008].

Структура категориальных оценок динамических переходных экспрессий более дифференцирована, чем структура искусственных изображений-морфов. В частности, в переход между гневом и страхом включаются впечатления отвращения и удивления, a переход между печалью и отвращением может не иметь четко выраженной границы. Взаимосвязи между категориями базовых эмоций более сложны и устойчивы. Возрастает влияние избирательной адаптации к контексту, который еще бо.льше дифференцирует структуру категориального поля [Barabanschikov, 2016а; Korolkova, 2014; Schiano, 2004]. При восприятии видеофрагментов переходных экспрессий наблюдатели преимущественно категоризуют выражения лица в соответствии с той эмоцией, по направлению к которой совершается переход, однако при этом учитывается и исходная эмоция натурщика[81 ].

При экспозиции динамических экспрессий отмечаются сильные и частые непроизвольные изменения лица наблюдателя, имитирующие демонстрируемые эмоции — эмоциональная мимикрия [Sato, 2008; Sato, 2007а; Weyers, 2006]. Наблюдателям, которым запрещалось имитировать видимые переживания, требовалось больше времени, чтобы определить момент смены модальности экспрессий на противоположную (например, в паре «радость—грусть»), по сравнению с ситуацией, когда имитация разрешалась [Niedenthal, 2001]. При блокировке подражаний подлинность экспрессий и искренность улыбок по их динамическим качествам не определяются [Maringer, 2011]. Уподобление выражения лица наблюдателя выражению лица коммуниканта является одним из механизмов, связывающих функциональные состояния коммуникантов во время прямого зрительного контакта (глаза в глаза). При восприятии статичного выражения лица эмоциональная мимикрия проявляется не столь явно [Barabanschikov, 2016].

Описанные результаты приводят к убеждению, что динамика экспрессий лица несет уникальную информацию не только о модальности и интенсивности эмоции партнера по общению, но и об отношении натурщика к переживаемому содержанию и способам его выражения (метакогнитивный план). Ключевые особенности, наблюдаемые при восприятии лица в динамике, связаны как с характеристиками самого движения (скорость, плавность, последовательность и нелинейность развертывания экспрессии во времени, соответствующие возможностям мимических мышц), так и с особенностями перцептивной системы наблюдателя (эффекты «инерции», приводящие к переоценке интенсивности динамической эмоции). В отличие от статики, динамика выражения лица непосредственно вк.лючена в регуляцию поведения наблюдателя и организацию его восприятия. Открывается возможность визуального поведения участников общения, прямого проникновения во внутренний план каждого из коммуникантов, их понимания друг другом, безмолвный обмен информацией. Благодаря динамике, диагностические признаки эмоций приобретают дополнительные значения и функции; складывается внутренний контекст выражения и восприятия эмоций. Формируется многомерный динамический контекст восприятия коммуниканта. Динамические выражения лица воспринимаются с разных позиций и многократно перестраиваются. Описанные закономерности говорят о высокой чувствительности перцептивной системы к мельчайшим проявлениям естественной динамики эмоциональных выражений лица.

Мультимодальная интеграция эмоциональных проявлений

В повседневной жизни лицо человека редко воспринимается изолированно. Мы судим о состоянии коммуникантов, основываясь не только на выражении их лица, но и на других невербальных признаках переживаемых эмоций: направлении взора, интонации голоса, позе, походке, положении тела, жестах. Когда различные модальности дополняют друг друга, «считывание» эмоций происходит более эффективно, а при рассогласовании эмоциональных сигналов поведение человека воспринимается как неестественное, неискреннее.

В отличие от исследований восприятия экспрессий лица и просодической (интонационной) информации в голосе человека по отдельности, интеграция мультимодальных проявлений эмоций стала предметом изучения сравнительно недавно [Campanella, 2007]. Основываясь на соотношении экспонируемых экспрессий и структуре стимульной ситуации, получаемые в исследованиях эффекты мультимодальной интеграции можно разделить на следующие основные группы.

При одновременной экспозиции конгруэнтных (согласованных по эмоциональному содержанию) экспрессий проявляется эффект кроссмодальной фасилитации. В частности, при категоризации конгруэнтных аудиовизуальных стимулов — комбинаций лица и голоса, выражающих одну и ту же эмоцию — время ответа снижается, а точность возрастает, по сравнению с унимодальными лицами либо голосами [Gelder, 2000; Massaro, 1996]. Эффекты фасилитации наиболее заметны, когда суждение об эмоции на основании одной модальности затруднено — например, в случаях слабо выраженной экспрессии [Dolan, 2001] или высокого уровня шума в одной из мо­дальностей [Collignon, 2008]. В оптимальных условиях экспозиции эффекты фасилитации нивелируются и точность категоризации аудиовизуальных стимулов не отличается от унимодальных [Kokinous, 2015].

При экспозиции амбивалентных (переходных) экспрессий в одной из модальностей наблюдается эффект перцептивного сдвига: одновременная экспозиция базовой экспрессии в другой модальности смещает границу между эмоциональными категориями. В частности, оценки экспрессий в голосе, переходных между базовыми эмоциями радости и печали, сдвигаются в направлении базовой эмоции на изображении лица [Gelder, 1998], а переходные между страхом и радостью экспрессии лица в присутствии речи, произнесенной с интонацией страха, воспринимаются как более негативные по сравнению с унимодально предъявленными лицами [Ethofer, 2006]. Экспрессии лица или голоса, переходные между радостью и страхом, воспринимаются как более радостные, если поза тела также выражает радость [Stock, 2007]. Наконец, позы, амбивалентные между гневом и радостью, воспринимаются как более сходные с эмоцией гнева, выраженной в голосе [Watson, 2019].

При одновременной экспозиции неконгруэнтных по эмоциональному содержанию экс­прессий разных модальностей одна из них может получить преимущество при распознавании. Так, в оптимальных условиях экспозиции неконгруэнтных аудиовизуальных стимулов наблюдается доминирование эмоции, выраженной на лице [Collignon, 2008; Takagi, 2015], однако если экспрессия в зрительной модальности зашумлена, суждения наблюдателей могут в большей степени основываться на экспрессии в голосе. Данный феномен сохраняется, даже если инструкция предполагает направленность внимания только на одну из модальностей [Collignon, 2008]. Вместе с тем доминирование той или иной модальности может зависеть от категории эмоции [Paulmann, 2011] и по- разному проявляться в зависимости от особенностей культуры: известно, что при категориза­ции неконгруэнтных аудиовизуальных экспрессий с инструкцией обращать внимание только на одну из модальностей японские участники, по сравнению с голландскими, демонстрируют большее влияние эмоции в голосе на оценки экспрессии лица и меньшее влияние эмоции на лице на оценки тона голоса [Tanaka, 2010]. На японской выборке также было показано, что при катего­ризации неконгруэнтных аудиовизуальных стимулов доминирует экспрессия лица, если оно выражает радость, удивление или отвращение, а в случае страха наблюдается менее выраженный эффект доминантности экспрессии голоса; для гнева и печали преимущество какой-либо из модальностей не выявлено [Takagi, 2015]. Инструкция направлять внимание только на одну из модальностей не меняла паттерн ответов, за исключением экспрессии гнева, где проявилась доминантность лица при инструкции игнорировать экспрессию голоса.

По сравнению с унимодальными или конгруэнтными мультимодальными эмоциями, при экспозиции неконгруэнтных снижается эффективность и точность их оценки (эффект конгруэнтности). Если эмоция, выраженная в позе, неконгруэнтна экспрессии лица, последняя оценивается менее точно [Meeren, 2005]. Эффект конгруэнтности зависит от степени перцептивного сходства между категориями эмоций: чем ближе две категории находятся в перцептивном пространстве эмоций, тем сильнее экспрессия тела влияет на категоризацию выражения лица. Например, лицо, выражающее отвращение, будет в большинстве случаев оцениваться как гнев, если поза тела при этом выражает гнев, но если поза выражает страх или печаль — категории эмоций, менее сходные с отвращением, — она будет меньше влиять на оценки лица [Aviezer, 2011; Aviezer, 2008].

При последовательном предъявлении изображений лица и звуков голоса могут наблюдаться как эффекты кроссмодальной фасилитации, так и эффекты кроссмодальной адаптации. Предположительно, возникновение того или иного феномена связано с перекалибровкой перцептивного образа и уменьшением рассогласованности между модальностя­ми [Baart, 2018]. Так, в случаях однозначной принадлежности адаптора к определенной эмоциональной категории проявляется кроссмодальная адаптация, или восприятие амбивалентного эмоционального тест-объекта по контрасту с предварительно экспонируемым адаптором. Например, после продолжительной экспозиции конгруэнтного аудиовизуального стимула, имеющего признаки одной и той же базовой эмоции и на лице, и в голосе, оценки последующих амбивалентных звуков голоса смещаются в направлении, противоположном адаптору [Baart, 2018]. Подобные результаты демонстрируются и при адаптации в рамках одной модальности — как для экспрессии лица [Korolkova, 2017; Korolkova, 2015], так и для голоса [Skuk, 2013] и позы тела [Watson, 2019].

Если информация об эмоции, содержащаяся в аудиовизуальном адапторе, рассогла­сована, имеют место эффекты фасилитации [Baart, 2018] — так же, как и при унимодальной адаптации к динамическому лицу, демонстрирующему переход между базовыми экспрессиями [Korolkova, 2018]. Результаты, полученные в исследованиях кроссмодального переноса эмоциональной информации, на сегодняшний день не позволяют сделать однозначного вывода о проявлении адаптации либо фасилитации. Так, в ряде исследований какие-либо эффекты полностью отсутствуют [Fox, 2007; Korolkova, 2018], тогда как в других удалось продемонстрировать кроссмодальную адаптацию, проявляющуюся в зависимости от пола натурщиков и наблюдателей [Skuk, 2013; Wang, 2017]. При наличии эффекта кроссмодальной адаптации он выражен слабее, чем унимодальный, и проявляется только в случае динамического, но не статического, адаптора [Pye, 2015].

Независимо от способа экспозиции, результаты исследований кроссмодальной интеграции эмоций позволяют предположить, что этот процесс в значительной мере автоматизирован, не зависит от представленности всех предъявляемых модальностей в сознании и практически не зависит от особенностей инструкции и задачи [Vroomen, 2001]. В частности, выраженная в тоне голоса эмоция, неконгруэнтная оцениваемой позе, снижает точность оценок даже при сверхкороткой экспозиции изображения тела и его маскировке [Stienen, 2011], а поза тела в равной степени влияет на суждения об экспрессии лица независимо от инструкции игнорировать нерелевантную модальность и наличия либо отсутствия дополнительной задачи [Aviezer, 2011].

Рассмотренные исследования позволяют заключить, что воспринимаемая экспрессия лица как часть целостного мультимодального проявления эмоции получает дополнительное содержание и глубину. Зрительная, аудиальная и другие модальности, содержащие признаки одной и той же эмоции, создают впечатление искренности коммуниканта, его открытости общению, позволяют точнее оценивать его состояние. Если признаки эмоции, получаемые по разным каналам, противоречат друг другу, интегральный образ экспрессии трансформируется с учетом всей доступной информации и приобретает новое качество. Независимо от модальности проявления, предшествующие эмоциональные состояния оказывают влияние на формирование перцептивного образа, образуя временной контекст восприятия.

Порождение и восприятие экспрессии лица в процессе общения

Восприятие лица по своей природе является актом межличностной коммуникации, в котором собеседник может быть представлен как реальный партнер по общению (коммуникация лицом к лицу) либо как его замещающее изображение (викарное общение). Выделяют три основные формы взаимной подстройки поведенческих актов в процессе общения: взаимная синхронизация позы, интонации, экспрессии, движений коммуникантов во времени; имитация, или мимикрия, когда действие одного из собеседников неосознаваемо «копируется» другим; а также целенаправленная координация действий, направленная на совместное решение определенной задачи [Louwerse, 2012]. Синхронизация и координация совместных действий всегда локализованы в определенном временном интервале, тогда как имитация в ряде случаев может быть отложена во времени, не требуя при этом присутствия партнера. В отличие от имитации и синхронизации, скоординированные движения не столько копируют, сколько дополняют друг друга. Синхронизация может включать одновременно несколько различных невербальных каналов, в частности, экспрессии лица и движения головы, которые преимущественно воспроизводятся партнером в интервале нескольких секунд после того, как были продемонстрированы первым участником. Степень синхронизации увеличивается при усложнении совместной задачи, предположительно обеспечивая более эффективное ее решение. Синхронизация, таким образом, представляется неотъемлемой частью процесса коммуникации и выполняет в нем регулятивные и аффилиативные функции.

Интерактивный характер восприятия эмоций в процессе общения в полной мере раскрывается в явлении эмоциональной мимикрии, при которой в ответ на экспрессию одного коммуниканта аналогичная экспрессия возникает и у второго участника общения. Представляется, что в основе эмоциональной мимикрии лежит не столько моторное подражание, сколько взаимная настройка эмоций коммуникантов [Hess, 2013]. В частности, релевантный мимический ответ возникает даже при частичной окклюзии лица, когда конфигурация определенных мимических мышц недоступна для непосредственного восприятия [Fischer, 2012а]. При мимикрии задействованы как моторные, так и эмоциональные структуры мозга [Rymarczyk, 2018], включая зеркальную систему, обеспечивающую понимание действий и эмоций окружающих [Rizzolatti, 2008], а также механизмы гормональной регуляции [Kraaijenvanger, 2017].

Экспрессии, совпадающие по валентности с демонстрируемым изображением лица, появляются в онтогенезе уже в течение первого года жизни, когда младенцы начинают усваивать социальное значение эмоций [Hashiya, 2019; Isomura, 2016; Soussignan, 2018]. Во взрослом возрасте конгруэнтные мимические реакции в значительной степени автоматизированы и наблюдаются даже в отсутствие осознаваемого восприятия экспрессии [Dimberg, 2000; Kaiser, 2016]. Вместе с тем проявления мимикрии не являются полностью автоматическими и опосредуются рядом факторов, в числе которых направленность эмоции коммуниканта, особенности эмоциональной сферы наблюдателя и характер отношений между участниками общения.

Направленность эмоций коммуниканта в условиях лабораторного эксперимента может быть смоделирована через направление его взора. Если взор натурщика и его эмоция обращены на наблюдателя, регистрируется релевантный мимический ответ на экспрессию радости, а если взор отведен в сторону — предположительно, на общего «врага», — наблюдается мимикрия экспрессии гнева [Deng, 2017; Soussignan, 2013]. Особенности эмоциональной сферы наблюдателя, влияющие на интенсивность мимического ответа, включают его актуальное эмоциональное состояние и эмпатию как личностную черту [Rymarczyk, 2019; Wied, 2006]. Характер социальных отношений между коммуни­кантами также определяет наличие конгруэнтной мимической реакции: она преимущественно возникает в ответ на экспрессии представителей «своей» социальной группы. Так, в реальной ситуации общения происходит мимикрия улыбок знакомого человека, но не его экспрессий отвращения. При этом экспрессии незнакомцев такого ответа не вызывают [Fischer, 2012]. Различное положение натурщика и наблюдателя в социальной иерархии обусловливает разные паттерны экспрессивных ответов: наблюдатель, у которого индуцировано более низкое положение в социальной иерархии, отвечает улыбкой независимо от экспрессии натурщика, а при индукции более высокого положения копируется улыбка более низко расположенных натурщиков [Carr, 2014]. Необходимость кооперации усиливает мимический ответ, тогда как в ситуации соперничества либо при оценке действий партнера как нечестных он не формируется [Lanzetta, 1989; Likowski, 2011; Scopa, 2016; Seibt, 2013; Weyers, 2009].

Экспрессии, порождаемые в коммуникативной ситуации, становятся, таким образом, не только сигналами о состояниях собеседников, но и способом регуляции процесса общения и синхронизации поведенческих актов. В них находят отражение личностные особенности коммуникантов, их социальный статус и характер отношений. Разворачиваясь «здесь и сейчас», они обеспечивают непрерывную подстройку реакций коммуникантов в зависимости от действий, невербальных проявлений и намерений участников общения, создавая общий коммуникативный контекст.

Заключение

Проведенный обзор подтверждает, что динамические характеристики выражения лица играют в восприятии состояния человека существенную роль. Экспериментально доказано конструктивное влияние динамической информации на точность распознавания модальности эмоций, наиболее яркое при низком качестве экспонируемых экспрес­сий. Важными источниками динамической информации являются направление, траектория и скорость изменения выражений лица; экспрессии, сохранившие оригинальную последовательность развертывания, воспринимаются более точно и полно. Динамические изображения меняют впечатления об интенсивности эмоций и влияют на представления об их искренности или искусственности. Адекватности восприятия меняющегося состояния содействуют зрительный контакт коммуниканта и эмоциональная мимикрия лица наблюдателя. Эффекты динамики носят избирательный характер, зависят от модальности эмоции и условий ее экспозиции. В отличие от статики, динамика выражения лица непосредственно включена в регуляцию текущего поведения наблюдателя и организацию его восприятия. Благодаря динамике диагностические признаки эмоций приобретают дополнительные значения и функции, складывается многомерный динамический контекст восприятия коммуниканта.

Экспрессии лица не существуют изолированно; они включены в широкий контекст мультимодальных проявлений эмоциональных состояний, что делает рассмотрение целостных динамических актов невербального поведения перспективным направлением исследований. Многомерность эмоций, их ключевая роль в регуляции коммуникативных процессов, совместной деятельности и социальных отношений, выходят на первый план в науке о лице, дополняя и развивая представления о механизмах межличностного познания.

Совокупность рассмотренных работ указывает на формирование новой экспериментальной парадигмы изучения восприятия лица. Место «замороженных» прототипических изображений эмоций занимают естественные лицевые акты, включенные в процессы межличностной коммуникации. Определяющими становятся факторы времени и контекста. Возникает необходимость радикального пересмотра используемых в экспериментах и на практике статических баз данных [Krumhuber, 2013].

Выполненный анализ показывает, что закономерности восприятия подвижного лица не принижают роли статики, пространственных отношений, эмоциональных экспрессий. Статика и динамика «живого» лица характеризуют разные стороны одной и той же реальности, взаимосвязаны, дополняют и поддерживают друг друга.

 

1. Adams R.B., Kleck R.E. Perceived Gaze Direction and the Processing of Facial Displays of Emotion. Psychological Science, 2003. Vol. 14, no. 6, pp. 644—647. DOI:10.1046/j.0956-7976.2003.psci_1479.x
2. Addabbo M., Longhi E., Marchis I.C., Tagliabue P., Turati C. Dynamic facial expressions of emotions are discriminated at birth. PLoS one, 2018. Vol. 13, no. 3, pp. 1—11. DOI:10.1371/journal.pone.0193868
3. Alves N.T. Recognition of static and dynamic facial expressions: a study review. Estudos de Psicologia (Natal), 2013. Vol. 18, no. 1, pp. 125—130. DOI:10.1590/S1413-294X2013000100020
4. Ambadar Z., Cohn J.F., Reed L.I. All Smiles are Not Created Equal: Morphology and Timing of Smiles Perceived as Amused, Polite, and Embarrassed/Nervous. Journal of Nonverbal Behavior, 2009. Vol. 33, no. 1, pp. 17—34. DOI:10.1007/s10919-008-0059-5
5. Ambadar Z., Schooler J.W., Cohn J.F. Deciphering the Enigmatic Face: The Importance of Facial Dynamics in Interpreting Subtle Facial Expressions. Psychological Science, 2005. Vol. 16, no. 5, pp. 403— 410. DOI:10.1111/j.0956-7976.2005.01548.x
6. Argyle M., Cook M. Gaze and mutual gaze. Cambridge: Cambridge University Press, 1976.
7. Aviezer H., Bentin S., Dudarev V., Hassin R.R. The automaticity of emotional face-context integration. Emotion, 2011. Vol. 11, no. 6, pp. 1406—1414. DOI:10.1037/a0023578
8. Aviezer H., Hassin R.R., Ryan J., Grady C., Susskind J., Anderson A., Moscovitch M., Bentin S. Angry, disgusted, or afraid? Studies on the malleability of emotion perception. Psychological Science, 2008. Vol. 19, no. 7, pp. 724—732. DOI:10.1111/j.1467-9280.2008.02148.x
9. Baart M., Vroomen J. Recalibration of vocal affect by a dynamic face. Experimental Brain Research, 2018. Vol. 236, no. 7, pp. 1911—1918. DOI:10.1007/s00221-018-5270-y
10. Barabanschikov V.A. [Dynamics of perception of facial expressions]. Moscow: Cogito-Center, 2016.
11. Barabanschikov V.A. [Facial expressions and their perception]. Moscow: IP RAS Publ., 2012.
12. Barabanschikov V.A., Korolkova O.A., Lobodinskaya E.A. [Dependence of the perception of facial expressions on the spatio-temporal structure of exposure]. Cognitive mechanisms of non-verbal communication. Moscow: Cogito-Center, 2017. P. 48—101.
13. Barabanschikov V.A., Korolkova O.A., Lobodinskaya E.A. [Perception of facial expressions during masking and apparent motion]. Experimental Psychology (Russia), 2015. Vol. 8, no. 1, pp. 7—27.
14. Barabanschikov V.A., Korolkova O.A., Lobodinskaya E.A. [Recognition of blurred images of facial emotional expression in apparent movement]. Experimental Psychology (Russia), 2015. Vol. 8, no. 4, pp. 5—29. DOI:10.17759/exppsy.2015080402
15. Barabanschikov V.A., Korolkova O.A., Lobodinskaya E.A. [Recognition of facial expressions during step-function stroboscopic presentation]. Experimental Psychology (Russia), 2018. Vol. 11, no. 4, pp. 50—69. DOI:10.17759/exppsy.2018110405
16. Barabanschikov V.A., Zhegallo A.V., Ivanova L.A. [Recognition of expression of inverted face image]. Experimental Psychology (Russia), 2010. Vol. 3, no. 3, pp. 66—83.
17. Barabanschikov V.A., Zhegallo A.V., Khoze E.G. [Indicators of oculomotor activity of an observer in the perception of video and photo images of a face]. Cognitive mechanisms of non-verbal communication. Moscow: Cogito-Center, 2017. P. 146—188.
18. Barabanschikov V.A., Zhegallo A. V., Khrisanfova L.A. [Perceptual genesis of facial expressions]. Communication and cognition. Moscow: IP RAS Publ., 2007. P. 44—83.
19. Barabanschikov V.A., Zhegallo A. V., Korolkova O.A. [Perceptual categorization of facial expressions]. Moscow: Cogito-Center, 2016.
20. Barabanschikov V.A., Zherdev I.Y. Visual Perception of Facial Emotional Expressions during Saccades. Behavioral Sciences, 2019. Vol. 9, no. 12, pp. 1—11. DOI:10.3390/bs9120131
21. Bassili J.N. Facial motion in the perception of faces and of emotional expression. Journal of Experimental Psychology: Human Perception and Performance, 1978. Vol. 4, no. 3, pp. 373—379. DOI:10.1037/0096- 1523.4.3.373
22. Biele C., Grabowska A. Sex differences in perception of emotion intensity in dynamic and static facial expressions. Experimental Brain Research, 2006. Vol. 171, no. 1, pp. 1—6. DOI:10.1007/s00221-005-0254-0
23. Bindemann M., Burton A.M., Langton S.R.H. How do eye gaze and facial expression interact? Visual Cognition, 2008. Vol. 16, no. 6, pp. 708—733. DOI:10.1080/13506280701269318
24. Binetti N., Harrison C., Coutrot A., Mareschal I., Johnston A. Reciprocating the gaze of others: how we look and how long we like to be looked at. Journal of Vision, 2015. Vol. 15, no. 12, pp. 172. DOI:10.1167/15.12.172
25. Birmingham E., Bischof W.F., Kingstone A. Why do we look at people’s eyes? Journal of Eye Movement Research, 2007. Vol. 1, no. 1 (SE-Articles). DOI:10.16910/jemr.1.1.1
26. Blais C., Fiset D., Roy C., Saumure Régimbald C., Gosselin F. Eye fixation patterns for categorizing static and dynamic facial expressions. Emotion, 2017. Vol. 17, no. 7, pp. 1107—1119. DOI:10.1037/emo0000283
27. Bould E., Morris N. Role of motion signals in recognizing subtle facial expressions of emotion. British Journal of Psychology, 2008. Vol. 99, no. 2, pp. 167—189. DOI:10.1348/000712607X206702
28. Bould E., Morris N., Wink B. Recognising subtle emotional expressions: The role of facial movements. Cognition & Emotion, 2008. Vol. 22, no. 8, pp. 1569—1587. DOI:10.1080/02699930801921156
29. Bruce V., Valentine T. When a nod’s as good as a wink: The role of dynamic information in facial recognition. Practical Aspects of Memory: Current Research and Issues, 1988. Vol. 1, pp. 169—174.
30. Bruce V., Young A. In the eye of the beholder: the science of face perception. Oxford: Oxford University Press, 1998.
31. Bugental D.B. Unmasking the “Polite Smile”: Situational and Personal Determinants of Managed Affect in Adult-Child Interaction. Personality and Social Psychology Bulletin, 1986. Vol. 12, no. 1, pp. 7—16. DOI:10.1177/0146167286121001
32. Calder A.J., Rhodes G., Johnson M.H., Haxby J. V. The Oxford Handbook of Face Perception. In A.J. Calder, G. Rhodes, M.H. Johnson, J. V Haxby (ed.), Oxford: Oxford University Press, 2011. 916 p.
33. Calvo M.G., Avero P., Fernández-Martín A., Recio G. Recognition thresholds for static and dynamic emotional faces. Emotion, 2016. Vol. 16, no. 8, pp. 1186—1200. DOI:10.1037/emo0000192
34. Calvo M.G., Fernandez-Martin A., Gutierrez-Garcia A., Lundqvist D. Selective eye fixations on diagnostic face regions of dynamic emotional expressions: KDEF-dyn database. Scientific reports, 2018. Vol. 8, no. 1, pp. 1—10. DOI:10.1038/s41598-018-35259-w
35. Campanella S., Belin P. Integrating face and voice in person perception. Trends in Cognitive Sciences, 2007. Vol. 11, no. 12, pp. 535—543. DOI:10.1016/j.tics.2007.10.001
36. Carr E.W., Winkielman P., Oveis C. Transforming the mirror: power fundamentally changes facial responding to emotional expressions. Journal of experimental psychology. General, 2014. Vol. 143, no. 3, pp. 997—1003. DOI:10.1037/a0034972
37. Collignon O., Girard S., Gosselin F., Roy S., Saint-Amour D., Lassonde M., Lepore F. Audio-visual integration of emotion expression. Brain Research, 2008. Vol. 1242, pp. 126—135. DOI:10.1016/j. brainres.2008.04.023
38. Cosker D., Krumhuber E.G., Hilton A. Perception of linear and nonlinear motion properties using a FACS validated 3D facial model. Proceedings of the 7th Symposium on Applied Perception in Graphics and Visualization (APGV 2010). New York, New York, USA: ACM Press, 2010. P. 101. DOI:10.1145/1836248.1836268
39. Cunningham D.W., Nusseck M., Wallraven C., Bülthoff H.H. The role of image size in the recognition of conversational facial expressions. Computer Animation and Virtual Worlds, 2004. Vol. 15, no. 34, pp. 305— 310. DOI:10.1002/cav.33
40. Cunningham D.W., Wallraven C. Dynamic information for the recognition of conversational expressions. Journal of Vision, 2009. Vol. 9, no. 13, pp. 1—17. DOI:10.1167/9.13.7
41. Cunningham D.W., Wallraven C. The interaction between motion and form in expression recognition. Proceedings of the 6th Symposium on Applied Perception in Graphics and Visualization (APGV 2009). New York, New York, USA: ACM Press, 2009. P. 41. DOI:10.1145/1620993.1621002
42. Cutting J.E., Kozlowski L.T. Recognizing Friends by Their Walk: Gait Perception Without Familiarity Cues. Bulletin of the Psychonomic Society, 1977. Vol. 9, pp. 353—356. DOI:10.3758/BF03337021
43. Deng H., Hu P. Matching Your Face or Appraising the Situation: Two Paths to Emotional Contagion. Frontiers in Psychology, 2017. Vol. 8, pp. 1—9. DOI:10.3389/fpsyg.2017.02278
44. Dimberg U., Thunberg M., Elmehed K. Unconscious Facial Reactions to Emotional Facial Expressions. Psychological Science, 2000. Vol. 11, no. 1, pp. 86—89. DOI:10.1111/1467-9280.00221
45. Dolan R.J., Morris J.S., Gelder B. De. Crossmodal binding of fear in voice and face. Proceedings of the National Academy of Sciences of the United States of America, 2001. Vol. 98, no. 17, pp. 10006—10010. DOI:10.1073/pnas.171288598
46. Ekman P., Rosenberg E.L. What the Face Reveals: Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System (FACS). N.Y.: Oxford University Press, 2005. 486 p. DOI:10.1093/ acprof:oso/9780195179644.001.0001
47. Ethofer T., Anders S., Erb M., Droll C., Royen L., Saur R., Reiterer S., Grodd W., Wildgruber D. Impact of voice on emotional judgment of faces: An event-related fMRI study. Human Brain Mapping, 2006. Vol. 27, no. 9, pp. 707—714. DOI:10.1002/hbm.20212
48. Fernandez-Dols J., Carroll J.M. Is the meaning perceived in facial expression independent of its context? The Psychology of Facial Expression. Cambridge: Cambridge University Press, 1997. P. 275—294. DOI:10.1017/CBO9780511659911.014
49. Fiorentini C., Schmidt S., Viviani P. The identification of unfolding facial expressions. Perception, 2012. Vol. 41, no. 5, pp. 532—555. DOI:10.1068/p7052
50. Fiorentini C., Viviani P. Is there a dynamic advantage for facial expressions? Journal of Vision, 2011. Vol. 11, no. 3, pp. 1—15. DOI:10.1167/11.3.17
51. Fischer A.H., Becker D., Veenstra L. Emotional Mimicry in Social Context: The Case of Disgust and Pride. Frontiers in Psychology, 2012. Vol. 3, pp. 1—9. DOI:10.3389/fpsyg.2012.00475
52. Fischer A.H., Gillebaart M., Rotteveel M., Becker D., Vliek M. Veiled emotions: The effect of covered faces on emotion perception and attitudes. Social Psychological and Personality Science, 2012. Vol. 3, no. 3, pp. 266—273. DOI:10.1177/1948550611418534
53. Fox C.J., Barton J.J.S. What is adapted in face adaptation? The neural representations of expression in the human visual system. Brain research, 2007. Vol. 1127, no. 1, pp. 80—89. DOI:10.1016/j.brainres.2006.09.104
54. Fox C.J., Iaria G., Barton J.J.S. Defining the face processing network: Optimization of the functional localizer in fMRI. Human Brain Mapping, 2009. Vol. 30, no. 5, pp. 1637—1651. DOI:10.1002/hbm.20630
55. Gelder B. De, Vroomen J. The perception of emotions by ear and by eye. Cognition & Emotion, 2000. Vol. 14, no. 3, pp. 289—311. DOI:10.1080/026999300378824
56. Gelder B. De, Vroomen J., Bertelson P. Upright but not inverted faces modify the perception of emotion in the voice. Cahiers de Psychologie Cognitive, 1998. Vol. 17, no. 4—5, pp. 1021—1032.
57. Gibson J.J. The Ecological Approach to Visual Perception. Boston: Houghton Mifflin, 1979.
58. Gibson J.J. The Senses Considered as Perceptual Systems. Boston: Houghton Mifflin, 1966.
59. Grainger S.A., Henry J.D., Phillips L.H., Vanman E.J., Allen R. Age Deficits in Facial Affect Recognition: The Influence of Dynamic Cues. The Journals of Gerontology. Series B, Psychological Sciences and Social Sciences, 2017. Vol. 72, no. 4, pp. 622—632. DOI:10.1093/geronb/gbv100
60. Hashiya K., Meng X., Uto Y., Tajiri K. Overt congruent facial reaction to dynamic emotional expressions in 9—10-month-old infants. Infant Behavior & Development, 2019. Vol. 54, pp. 48—56. DOI:10.1016/j. infbeh.2018.12.002
61. Hess U., Fischer A. Emotional Mimicry as Social Regulation. Personality and Social Psychology Review, 2013. Vol. 17, no. 2, pp. 142—157. DOI:10.1177/1088868312472607
62. Hess U., Kleck R.E. The cues decoders use in attempting to differentiate emotion - elicited and posed facial expressions. European Journal of Social Psychology, 1994. Vol. 24, no. 3, pp. 367—381. DOI:10.1002/ ejsp.2420240306
63. Hessels R.S. How does gaze to faces support face-to-face interaction? A review and perspective. Psychonomic Bulletin & Review, 2020. Vol. 27, no. 5, pp. 1—26. DOI:10.3758/s13423-020-01715-w
64. Hessels R.S., Cornelissen T.H.W., Hooge I.T.C., Kemner C. Gaze behavior to faces during dyadic interaction. Canadian Journal of Experimental Psychology/Revue canadienne de psychologie expérimentale, 2017. Vol. 71, no. 3, pp. 226—242. DOI:10.1037/cep0000113
65. Hill H.C.H., Troje N.F., Johnston A. Range- and domain-specific exaggeration of facial speech. Journal of vision, 2005. Vol. 5, no. 10, pp. 793—807. DOI:10.1167/5.10.4
66. Isomura T., Nakano T. Automatic facial mimicry in response to dynamic emotional stimuli in five-month-old infants. Proceedings of the Royal Society B: Biological Sciences, 2016. Vol. 283, no. 1844, pp. 1—9. DOI:10.1098/rspb.2016.1948
67. Jack R.E., Garrod O.G.B., Schyns P.G. Dynamic Facial Expressions of Emotion Transmit an Evolving Hierarchy of Signals over Time. Current Biology, 2014. Vol. 24, no. 2, pp. 187—192. DOI:10.1016/j.cub.2013.11.064
68. Jellema T., Pecchinenda A., Palumbo L., Tan E.G. Biases in the perception and affective valence of neutral facial expressions induced by the immediate perceptual history. Visual Cognition, 2011. Vol. 19, no. 5, pp. 616—634. DOI:10.1080/13506285.2011.569775
69. Jiang Z., Li W., Recio G., Liu Y., Luo W., Zhang D., Sun D. Time Pressure Inhibits Dynamic Advantage in the Classification of Facial Expressions of Emotion. PLoS ONE, 2014. Vol. 9, no. 6, pp. 1—7. DOI:10.1371/ journal.pone.0100162
70. Johansson G. Visual perception of biological motion and a model for its analysis. Perception & Psychophysics, 1973. Vol. 14, no. 2, pp. 201—211. DOI:10.3758/BF03212378
71. Johansson G., Hofsten C. von H., Jansson G. Event Perception. Annual Review of Psychology, 1980. Vol. 31, no. 1, pp. 27—63. DOI:10.1146/annurev.ps.31.020180.000331
72. Kaiser J., Davey G.C.L., Parkhouse T., Meeres J., Scott R.B. Emotional facial activation induced by unconsciously perceived dynamic facial expressions. International Journal of Psychophysiology, 2016. Vol. 110, pp. 207—211. DOI:10.1016/j.ijpsycho.2016.07.504
73. Kamachi M., Bruce V., Mukaida S., Gyoba J., Yoshikawa S., Akamatsu S. Dynamic properties influence the perception of facial expressions. Perception, 2001. Vol. 30, no. 7, pp. 875—887. DOI:10.1068/p3131
74. Kätsyri J., Sams M. The effect of dynamics on identifying basic emotions from synthetic and natural faces. International Journal of Human-Computer Studies, 2008. Vol. 66, no. 4, pp. 233—242. DOI:10.1016/j. ijhcs.2007.10.001
75. Kleinke C.L. Gaze and eye contact: A research review. Psychological Bulletin, 1986. Vol. 100, no. 1, pp. 78—100. DOI:10.1037/0033-2909.100.1.78
76. Kokinous J., Kotz S.A., Tavano A., Schröger E. The role of emotion in dynamic audiovisual integration of faces and voices. Social Cognitive and Affective Neuroscience, 2015. Vol. 10, no. 5, pp. 713—720. DOI:10.1093/ scan/nsu105
77. Korolkova O.A. [Perceptual Space and Predictors of Emotional Facial Expression Discrimination]. The Russian Journal of Cognitive Science, 2014. Vol. 1, no. 4, pp. 82—97.
78. Korolkova O.A. [The effect of perceptual adaptation to dynamic facial expressions]. Experimental Psychology (Russia), 2017. Vol. 10, no. 1, pp. 67—88. DOI:10.17759/exppsy.2017100106
79. Korolkova O.A. Adaptation or Assimilation? Sequential Effects in the Perception of Dynamic and Static Facial Expressions of Emotion. The Russian Journal of Cognitive Science, 2018. Vol. 5, no. 2, pp. 18—34.
80. Korolkova O.A. The role of dynamics in visual adaptation to emotional facial expressions. The Russian Journal of Cognitive Science, 2015. Vol. 2, no. 4, pp. 38—57.
81. Korolkova O.A. The role of temporal inversion in the perception of realistic and morphed dynamic transitions between facial expressions. Vision Research, 2018. Vol. 143, pp. 42—51. DOI:10.1016/j. visres.2017.10.007
82. Kraaijenvanger E.J., Hofman D., Bos P.A. A neuroendocrine account of facial mimicry and its dynamic modulation. Neuroscience & Biobehavioral Reviews, 2017. Vol. 77, pp. 98—106. DOI:10.1016/j. neubiorev.2017.03.006
83. Krumhuber E., Manstead A.S.R., Cosker D., Marshall D., Rosin P.L. Effects of Dynamic Attributes of Smiles in Human and Synthetic Faces: A Simulated Job Interview Setting. Journal of Nonverbal Behavior, 2009. Vol. 33, no. 1, pp. 1—15. DOI:10.1007/s10919-008-0056-8
84. Krumhuber E., Manstead A.S.R., Cosker D., Marshall D., Rosin P.L., Kappas A. Facial dynamics as indicators of trustworthiness and cooperative behavior. Emotion, 2007. Vol. 7, no. 4, pp. 730—735. DOI:10.1037/1528-3542.7.4.730
85. Krumhuber E.G., Kappas A. Moving Smiles: The Role of Dynamic Components for the Perception of the Genuineness of Smiles. Journal of Nonverbal Behavior, 2005. Vol. 29, no. 1, pp. 3—24. DOI:10.1007/ s10919-004-0887-x
86. Krumhuber E.G., Kappas A., Manstead A.S.R. Effects of Dynamic Aspects of Facial Expressions: A Review. Emotion Review, 2013. Vol. 5, no. 1, pp. 41—46. DOI:10.1177/1754073912451349
87. Krumhuber E.G., Manstead A.S.R., Kappas A. Temporal Aspects of Facial Displays in Person and Expression Perception: The Effects of Smile Dynamics, Head-tilt, and Gender. Journal of Nonverbal Behavior, 2006. Vol. 31, no. 1, pp. 39—56. DOI:10.1007/s10919-006-0019-x
88. Krumhuber E.G., Scherer K.R. The Look of Fear from the Eyes Varies with the Dynamic Sequence of Facial Actions. Swiss Journal of Psychology, 2016. Vol. 75, no. 1, pp. 5—14. DOI:10.1024/1421-0185/ a000166
89. Langton S.R. Gaze perception and visually mediated attention. In J. Adams, R. B., N. Ambady, K. Nakayama, S. Shimojo (ed.), The Science of Social Vision. N.Y.: Oxford University Press, 2011. P. 108— 132.
90. Lanzetta J.T., Englis B.G. Expectations of cooperation and competition and their effects on observers’ vicarious emotional responses. Journal of Personality and Social Psychology, 1989. Vol. 56, no. 4, pp. 543— 554. DOI:10.1037/0022-3514.56.4.543
91. Levy Y., Bentin S. Interactive processes in matching identity and expressions of unfamiliar faces: evidence for mutual facilitation effects. Perception, 2008. Vol. 37, no. 6, pp. 915—930. DOI:10.1068/p5925
92. Likowski K.U., Weyers P., Seibt B., Stöhr C., Pauli P., Mühlberger A. Sad and Lonely? Sad Mood Suppresses Facial Mimicry. Journal of Nonverbal Behavior, 2011. Vol. 35, no. 2, pp. 101—117. DOI:10.1007/ s10919-011-0107-4
93. Louwerse M.M., Dale R., Bard E.G., Jeuniaux P. Behavior Matching in Multimodal Communication Is Synchronized. Cognitive Science, 2012. Vol. 36, no. 8, pp. 1404—1426. DOI:10.1111/j.1551-6709.2012.01269.x
94. Marian D.E., Shimamura A.P. Contextual Influences on Dynamic Facial Expressions. The American Journal of Psychology, 2013. Vol. 126, no. 1, pp. 53—66. DOI:10.5406/amerjpsyc.126.1.0053
95. Maringer M., Krumhuber E.G., Fischer A.H., Niedenthal P.M. Beyond smile dynamics: Mimicry and beliefs in judgments of smiles. Emotion, 2011. Vol. 11, no. 1, pp. 181—187. DOI:10.1037/a0022596
96. Massaro D.W., Egan P.B. Perceiving affect from the voice and the face. Psychonomic Bulletin & Review, 1996. Vol. 3, no. 2, pp. 215—221. DOI:10.3758/BF03212421
97. McGurk H., McDonald J. Hearing lips and seeing voices. Nature, 1976. Vol. 264, no. 5588, pp. 746—748. DOI:10.1038/264746a0
98. Meeren H.K.M., Heijnsbergen C.C.R.J. van, Gelder B. De. Rapid perceptual integration of facial expression and emotional body language. Proceedings of the National Academy of Sciences, 2005. Vol. 102, no. 45, pp. 16518—16523. DOI:10.1073/pnas.0507650102
99. Moskowitz G.B. Social cognition: understanding self and others. New York: Guilford Press, 2005. 612 p.
100. Nelson K. Event Knowledge: Structure and Function in Development. Hillsdale, N.J.: Lawrence Erlbaum Associates, 1986. 288 p.
101. Niedenthal P.M., Brauer M., Halberstadt J.B., Innes-Ker Å.H. When did her smile drop? Facial mimicry and the influences of emotional state on the detection of change in emotional expression. Cognition and Emotion, 2001. Vol. 15, no. 6, pp. 853—864. DOI:10.1080/02699930143000194
102. Paulmann S., Pell M.D. Is there an advantage for recognizing multi-modal emotional stimuli? Motivation and Emotion, 2011. Vol. 35, no. 2, pp. 192—201. DOI:10.1007/s11031-011-9206-0
103. Perdikis D., Volhard J., Müller V., Kaulard K., Brick T.R., Wallraven C., Lindenberger U. Brain synchronization during perception of facial emotional expressions with natural and unnatural dynamics. PLoS one, 2017. Vol. 12, no. 7, pp. 1—23. DOI:10.1371/journal.pone.0181225
104. Pitcher D., Dilks D.D., Saxe R.R., Triantafyllou C., Kanwisher N. Differential selectivity for dynamic versus static information in face-selective cortical regions. NeuroImage, 2011. Vol. 56, no. 4, pp. 2356—2363. DOI:10.1016/j.neuroimage.2011.03.067
105. Pye A., Bestelmeyer P.E.G. Evidence for a supra-modal representation of emotion from cross-modal adaptation. Cognition, 2015. Vol. 134, pp. 245—251. DOI:10.1016/j.cognition.2014.11.001
106. Recio G., Schacht A., Sommer W. Classification of dynamic facial expressions of emotion presented briefly. Cognition & Emotion, 2013. Vol. 27, no. 8, pp. 1486—1494. DOI:10.1080/02699931.2013.794128
107. Reinl M., Bartels A. Perception of temporal asymmetries in dynamic facial expressions. Frontiers in Psychology, 2015. Vol. 6, pp. 1—8. DOI:10.3389/fpsyg.2015.01107
108. Richoz A.-R., Lao J., Pascalis O., Caldara R. Tracking the recognition of static and dynamic facial expressions of emotion across the life span. Journal of Vision, 2018. Vol. 18, no. 9, pp. 1—27. DOI:10.1167/18.9.5
109. Rizzolatti G., Sinigaglia C. Mirrors in the Brain — How Our Minds Share Actions and Emotions. Oxford: Oxford Univ Press, 2008. 242 p.
110. Runeson S., Frykholm G. Kinematic specification of dynamics as an informational basis for person-and-action perception: Expectation, gender recognition, and deceptive intention. Journal of Experimental Psychology: General, 1983. Vol. 112, no. 4, pp. 585—615. DOI:10.1037/0096-3445.112.4.585
111. Russell J.A., Fernández-Dols J.M. The Psychology of Facial Expression. In J.A. Russell, J.M. Fernández- Dols (ed.), Cambridge: Cambridge University Press, 1997. DOI:10.1017/CBO9780511659911
112. Rymarczyk K., Żurawski Ł., Jankowiak-Siuda K., Szatkowska I. Empathy in Facial Mimicry of Fear and Disgust: Simultaneous EMG-fMRI Recordings During Observation of Static and Dynamic Facial Expressions. Frontiers in Psychology, 2019. Vol. 10, pp. 1—20. DOI:10.3389/fpsyg.2019.00701
113. Rymarczyk K., Żurawski Ł., Jankowiak-Siuda K., Szatkowska I. Neural Correlates of Facial Mimicry: Simultaneous Measurements of EMG and BOLD Responses during Perception of Dynamic Compared to Static Facial Expressions. Frontiers in Psychology, 2018. Vol. 9, pp. 1—17. DOI:10.3389/fpsyg.2018.00052
114. Sato W., Fujimura T., Suzuki N. Enhanced facial EMG activity in response to dynamic facial expressions. International Journal of Psychophysiology, 2008. Vol. 70, no. 1, pp. 70—74. DOI:10.1016/j.ijpsycho.2008.06.001
115. Sato W., Kochiyama T., Uono S., Sawada R., Kubota Y., Yoshimura S., Toichi M. Widespread and lateralized social brain activity for processing dynamic facial expressions. Human Brain Mapping, 2019. Vol. 40, no. 13, pp. 3753—3768. DOI:10.1002/hbm.24629
116. Sato W., Yoshikawa S. Enhanced experience of emotional arousal in response to dynamic facial expressions. Journal of Nonverbal Behavior, 2007. Vol. 31, no. 2, pp. 119—135. DOI:10.1007/s10919-007-0025-7
117. Sato W., Yoshikawa S. Spontaneous facial mimicry in response to dynamic facial expressions. Cognition, 2007. Vol. 104, no. 1, pp. 1—18. DOI:10.1016/j.cognition.2006.05.001
118. Sato W., Yoshikawa S. The dynamic aspects of emotional facial expressions. Cognition & Emotion, 2004. Vol. 18, no. 5, pp. 701—710. DOI:10.1080/02699930341000176
119. Schiano D.J., Ehrlich S.M., Sheridan K. Categorical imperative NOT: Facial Affect is Perceived Continuously. Proceedings of the 2004 conference on Human factors in computing systems - CHI ’04. New York, New York, USA: ACM Press, 2004. P. 49—56. DOI:10.1145/985692.985699
120. Scopa C., Palagi E. Mimic me while playing! Social tolerance and rapid facial mimicry in macaques (Macaca tonkeana and Macaca fuscata). Journal of Comparative Psychology, 2016. Vol. 130, no. 2, pp. 153— 161. DOI:10.1037/com0000028
121. Seibt B., Weyers P., Likowski K.U., Pauli P., Mühlberger A., Hess U. Subliminal Interdependence Priming Modulates Congruent and Incongruent Facial Reactions to Emotional Displays. Social Cognition, 2013. Vol. 31, no. 5, pp. 613—631. DOI:10.1521/soco.2013.31.5.613
122. Skuk V.G., Schweinberger S.R. Adaptation aftereffects in vocal emotion perception elicited by expressive faces and voices. PloS one, 2013. Vol. 8, no. 11, pp. 1—13. DOI:10.1371/journal.pone.0081691
123. Soussignan R., Chadwick M., Philip L., Conty L., Dezecache G., Grèzes J. Self-relevance appraisal of gaze direction and dynamic facial expressions: Effects on facial electromyographic and autonomic reactions. Emotion, 2013. Vol. 13, no. 2, pp. 330—337. DOI:10.1037/a0029892
124. Soussignan R., Dollion N., Schaal B., Durand K., Reissland N., Baudouin J.-Y. Mimicking emotions: how 3—12-month-old infants use the facial expressions and eyes of a model. Cognition and Emotion, 2018. Vol. 32, no. 4, pp. 827—842. DOI:10.1080/02699931.2017.1359015
125. Stienen B.M.C., Tanaka A., Gelder B. De. Emotional voice and emotional body postures influence each other independently of visual awareness. PloS one, 2011. Vol. 6, no. 10, pp. 1—7. DOI:10.1371/journal. pone.0025517
126. Stock J. Van den, Righart R., Gelder B. De. Body expressions influence recognition of emotions in the face and voice. Emotion, 2007. Vol. 7, no. 3, pp. 487—494. DOI:10.1037/1528-3542.7.3.487
127. Takagi S., Hiramatsu S., Tabei K., Tanaka A. Multisensory perception of the six basic emotions is modulated by attentional instruction and unattended modality. Frontiers in Integrative Neuroscience, 2015. Vol. 9, pp. 1—10. DOI:10.3389/fnint.2015.00001
128. Tanaka A., Koizumi A., Imai H., Hiramatsu S., Hiramoto E., Gelder B. De. I Feel Your Voice. Cultural differences in the multisensory perception of emotion. Psychological Science, 2010. Vol. 21, no. 9, pp. 1259— 1262. DOI:10.1177/0956797610380698
129. Vroomen J., Driver J., Gelder B. De. Is cross-modal integration of emotional expressions independent of attentional resources? Cognitive, Affective, & Behavioral Neuroscience, 2001. Vol. 1, no. 4, pp. 382—387. DOI:10.3758/CABN.1.4.382
130. Wallraven C., Breidt M., Cunningham D.W., Bülthoff H.H. Evaluating the perceptual realism of animated facial expressions. ACM Transactions on Applied Perception, 2008. Vol. 4, no. 4, pp. 1—20. DOI:10.1145/1278760.1278764
131. Wang X., Guo X., Chen L., Liu Y., Goldberg M.E., Xu H. Auditory to Visual Cross-Modal Adaptation for Emotion: Psychophysical and Neural Correlates. Cerebral Cortex, 2017. Vol. 27, no. 2, pp. 1337—1346. DOI:10.1093/cercor/bhv321
132. Watson R., Gelder B. de. The representation and plasticity of body emotion expression. Psychological Research, 2019. pp. 1—7. DOI:10.1007/s00426-018-1133-1
133. Weyers P., Mühlberger A., Hefele C., Pauli P. Electromyographic responses to static and dynamic avatar emotional facial expressions. Psychophysiology, 2006. Vol. 43, no. 5, pp. 450—453. DOI:10.1111/ j.1469-8986.2006.00451.x
134. Weyers P., Mühlberger A., Kund A., Hess U., Pauli P. Modulation of facial reactions to avatar emotional faces by nonconscious competition priming. Psychophysiology, 2009. Vol. 46, no. 2, pp. 328—335. DOI:10.1111/j.1469-8986.2008.00771.x
135. Wied M. de, Boxtel A. van, Zaalberg R., Goudena P.P., Matthys W. Facial EMG responses to dynamic emotional facial expressions in boys with disruptive behavior disorders. Journal of Psychiatric Research, 2006. Vol. 40, no. 2, pp. 112—121. DOI:10.1016/j.jpsychires.2005.08.003
136. Xiao N. The role of facial movements in face processing and its development. Graduate Department of Applied Psychology and Human Development. University of Toronto Thesis Ph.D. 2016.
137. Yarbus A.L. Eye Movements and Vision. N.Y.: Plenum, 1967. DOI:10.1007/978-1-4899-5379-7
138. Yoshikawa S., Sato W. Dynamic facial expressions of emotion induce representational momentum. Cognitive, Affective, & Behavioral Neuroscience, 2008. Vol. 8, no. 1, pp. 25—31. DOI:10.3758/CABN.8.1.25
139. Yuschenkova D.V., Meshcheryakov B.G. [Recognition of individual facial features as a basis for identification of the whole face]. Experimental Psychology (Russia), 2010. Vol. 3, no. 3, pp. 84—92.

PlumX

Метрики публикации