Распознавание эмоций в условиях ступенчатой стробоскопической экспозиции выражений лица

Введение

При восприятии выражений реального лица его динамика и статика взаимоопределяют друг друга. Чем ниже качество и интенсивность требуемой информации, тем более заметна роль динамической составляющей и ниже значение статического «среза» выражения лица (Ambadar et al., 2005; Cunningham, Wallraven, 2009; Wallraven et al., 2008). Изображенная мимика передает достаточный объем информации о модальности эмоции. Динамика позволяет наблюдать ее развитие во времени. Преимущества динамики определяются не столько наличием двигательных сигналов или их сменой, сколько направлением, в котором изменяется выражение лица (Ambadar et al., 2005; Leonard, Voeller, Kuldau, 1991). От траектории изменения зависит восприятие адекватности (подлинности) состояния партнера по коммуникации (Cosker, Krumhuber, Hilton, 2010). При увеличении или снижении скорости изменений экспрессии наблюдатели по-разному оценивают модальность и естественность выражения эмоций (Sato, Yoshikawa, 2004; Hill, Troje, Johnston, 2005). Влияние динамики выражения лица носит дифференцированный характер, зависит от модальности эмоции и условий ее проявления (Recio, Sommer, Schacht, 2011).

Восприятие эмоционального состояния человека обусловливается не только реальными, но и кажущимися изменениями мимики. При стробоскопической экспозиции статических изображений лица, локализованных в одной и той же области зрительного поля, возникает впечатление быстрого непрерывного движения, которое включается в идентификацию модальности эмоций. По сравнению с восприятием изолированных изображений кажущееся изменение сильно выраженных экспрессий не увеличивает точность распознавания. В диапазоне коротких длительностей (50—100 мс) она снижается до уровня прямой и обратной маскировки, но отличается от нее избирательностью. Кажущаяся динамика снижает точность распознавания печали, гнева и страха; прямая и обратная маскировка — удивления и отвращения. С увеличением длительности экспозиции лица до 200 мс уровни ответов выравниваются, соответствуя оценкам неподвижных изображений эмоциональных экспрессий (Барабанщиков, Королькова, Лободинская, 2015).

В экспериментах, проведенных на группе экспертов, мы показали, что влияние маскировки и стробоскопической экспозиции на опознание экспрессий имеет разную природу. Если в первом случае основным фактором снижения точности является прерывание естественного хода перцептогенеза, то во втором — появление дополнительных признаков, обнаруживаемых наблюдателями в смещениях элементов лица и головы. В условиях кажущегося движения распознавание эмоционального состояния натурщика опосредовано «лицевым жестом», отвлекающим внимание наблюдателя (Барабанщиков, Королькова, Лободинская, 2015).

Важной детерминантой восприятия эмоциональных экспрессий в микроинтервалах времени является качество стимульного материала, особенно четкость изображения лица. До тех пор, пока в условиях стробоскопической экспозиции экспрессия видится отчетливо, она подвержена маскировке, но как только результат восприятия становится неопределенным (достигает зоны нижнего порога четкости) относительная точность оценок начинает расти. Меняя условия экспозиции, можно добиться как эффекта стробоскопической маскировки, так и эффекта стробоскопической сенсибилизации. Последний наиболее выра­
жен для низкоаттрактивных экспрессий: отвращения, печали и гнева. Высокоаттрактивные экспрессии (радость, удивление, а также спокойное состояние) распознаются наиболее адекватно в широком пространственно-временном диапазоне условий, включая сильную размытость изображений лица. Предпосылкой более точного распознавания кажущегося изменения мимики расфокусированного изображения является конгруэнтность содержа­ний тест-объекта и его контекста, их соответствие логике реальных проявлений эмоций, которая воспроизводится в ходе перцептогенеза (Барабанщиков, Королькова, Лободинская, 2016, 2017).

В психологической науке вклад кажущегося движения в распознавание эмоционального состояния человека исследован слабо. Разрабатывая эту тему, мы провели эксперименты, в которых попытались «развернуть» стробоскопическое движение, увеличив число опорных изображений меняющегося выражения лица. В наших предыдущих исследованиях мы моделировали ситуацию кажущегося изменения экспрессии лица с помощью прямоугольной функции (стробоскопической) быстрой экспозиции: сильно выраженная экспрессия мгновенно появлялась и затем исчезала на фоне нейтрального лица. В настоящей работе применялась ступенчатая функция смены экспрессии, когда изменения относительно нейтрального лица происходят в несколько шагов и воспринимаются наблюдателем как более плавное движение.

Нас интересовали следующие вопросы. Сохраняются ли тенденции восприятия, обнаруженные при резкой, прямоугольной смене изображений мимики при более плавных, ступенчатых изменениях лица? Если да, то в какой форме? Как влияет на восприятие эмоций снижение интенсивности их проявления? Согласно литературным данным при реальных изменениях выражения лица каждый из его показателей — скорость (резкость/плавность) и интенсивность — способны нести значимую информацию об эмоциональном состоянии натурщика.

Роль формы стробоскопической экспозиции выражений лица
в восприятии базовых эмоций.

Эксперимент 1

В эксперименте 1 сделана попытка изучить специфику восприятия сильных экспрес­сий лица при ступенчатой организации стробоскопической стимуляции, которая предполагает последовательную экспозицию неподвижных выражений лица сначала возрастающей, затем снижающейся интенсивности.

Методика

Описываемые исследования опираются на процедуру и результаты предшествующих экспериментов, в которых использовалась прямоугольная форма стробоскопической экспозиции лица (Барабанщиков, Королькова, Лободинская, 2015, 2016, 2017). В данной работе план эксперимента и его процедура воспроизведены с учетом изменений формы стробоскопической стимуляции: 1) длительности экспозиции эмоциональных экспрессий — 50, 100 и 200 мс — разбивались на временные паттерны: 10+30+10 мс, 20+60+20 мс, 40+120+40 мс; 2) интенсивность дополнительных экспрессий уменьшалась в два раза.

Стимульный материал. Использовались цветные фотопортреты высокого разрешения (1024^681 пикселей), отобранные из базы RaFD (Langner et al., 2010) — изображения трех мужчин и трех женщин. Размеры экспонируемых изображений — 450x564 пикселей или 16° *20°. Наблюдателям в определенном порядке экспонировались экспрессии шести базовых эмоций (радость, удивление, печаль, отвращение, страх, гнев), имеющих различную интенсивность, а также спокойное выражение лица. Программа FantaMorph позволила сгенерировать серию промежуточных фотоизображений экспрессий. На рис. 1 показан пример линейного морфинга лица, выражающего эмоцию страха разной интенсивности.

Оборудование. Стимульные изображения предъявлялись на экране ЭЛТ-монитора с частотой 100 Гц (ViewSonic G90f), подключенного к ПК в условиях нормальной освещенности. Испытуемые располагались на расстоянии 60 см от экрана и смотрели на изображения бинокулярно.

Испытуемые. Участниками исследования были студенты московских вузов (35 человек: 6 мужчин, 29 женщин; возраст 18—45 лет, медиана 22 года) с нормальным или скорректированным до нормального зрением.

Процедура. Испытуемые выполняли задачу идентификации шести базовых эмоциональных экспрессий лица, которые динамически появлялись и исчезали на нейтральном лице натурщика. После ознакомления с заданием и короткой тренировки участники переходили к выполнению основной сессии. На экране монитора в каждой пробе последовательно предъявлялись разные фотоизображения одного и того же лица. Они демонстрировались в течение 450, 500 либо 600 мс и состояли из 5 кадров: первый (300 мс) и последний (100 мс) появлялись во всех пробах, демонстрируя спокойное выражение лица; кадры 2 и 4 (в зависимости от длительности центральной экспрессии время экспозиции варьировалось: 10, 20 либо 40 мс) являлись линейными морфами нейтрального лица и базовой экспрессии (50/50%); кадр 3 (длительность экспозиции — 30, 60 либо 120 мс) демонстрировал сильно выраженную (100%) экспрессию. Пространственно-временная структура создавала впечатление относительно плавного динамического перехода, совершаемого с различной скоростью (длительность экспозиции в «быстром» переходе — 50 мс: 10/30/10 мс; в переходе со «средней» скоростью — 100 мс: 20/60/20 мс; в «медленном» переходе — 200 мс: 40/120/40 мс). В отличие от прямоугольной стробоскопической стимуляции перепад длительностей отдельных кадров создавал эффект мелькания яркости изображений. Экспозиция завершалась слайдом с перечнем базовых эмоций (радость, гнев, страх, удивление, отвращение, печаль, другая эмоция). Модальность выбранной эмоции, а также время ответа регистрировались путем нажатия клавиши «пробел» на клавиатуре ПК. Порядок проб носил псевдослучайный характер. На рис. 2 представлена последовательность предъявления стимульного материала в эксперименте 1. Основной эксперимент включал 432 пробы, разделенные на 4 блока, между которыми делались небольшие паузы.

Обработка данных. Полученные данные анализировались в среде статистической обработки R. Оценивалось влияние модальности динамической экспрессии и длительности ее экспозиции на точность и время ответа. Из анализа исключались пробы, в которых время ответа было больше 95% квантиля. Использовался метод логистической регрессии со смешанными эффектами (Bates et al., 2015); рассчитывались линейные контрасты для сопоставления точности оценок одной и той же экспрессии при различном времени экспозиции (50vs100 мс; 50vs200 мс; 100vs200 мс.) Уровни значимости приведены с поправкой на множественные сравнения Бенджамини—Хохберга.

Результаты эксперимента

Точность распознавания экспрессий. При всех длительностях экспозиции точнее всего идентифицируются эмоции радости (0,84) и удивления (0,79), менее точно оценивается эмоция печали (0,62); существенно ухудшается точность распознавания эмоции отвращения (0,49), страха (0,36) и гнева (0,34). С увеличением длительности экспозиции базовых экспрессий точность их распознавания монотонно возрастает (p<0,01), за исключением экспрессии отвращения (p<0,185). Средние значения эффективности распознавания в зависимости от модальности эмоции и длительности экспозиции представлены в табл. 1 и на рис. 3.

Таблица 1

Средняя точность оценок сильно выраженных экспрессий в зависимости
от модальности эмоций и длительности экспозиции

Примечание. В скобках даны значения оценок сильно выраженных экспрессий для прямоугольной формы стробоскопической экспозиции (Барабанщиков, Королькова, Лободинская, 2016, с. 364, табл. 1).

Таблица 2

Линейные контрасты между оценками сильно выраженных экспрессий
при различных длительностях экспозиций

Полученная смешанная регрессионная модель для точности ответа объясняет 40% дисперсии данных (для фиксированных факторов R²_m = 0,26; для полной модели R²_c  = 0,40). Линейные контрасты показали, что для всех экспрессий за исключением отвращения и частично удивления (100 vs 200 мс) имеют место значимые различия между точностью оценок при разных длительностях экспозиций. Результаты (z-оценки и скорректированные уровни значимости линейных контрастов) приведены в табл. 2.

Категориальные профили оценок. На рис. 4 представлены три группы ответов: «верные», «случайные» и «ошибочные». «Верные» ответы совпадают с основной модальностью демонстрируемой эмоции. Наиболее точно оцениваются эмоции радости и удивления привсех условиях экспозиции. Редкие, «случайные» ответы не совпадают с демонстрируемой эмоцией, «ошибочные» носят регулярный характер и, как правило, выше случайного уровня. Так, эмоция отвращения воспринимается как гнев; страх — чаще как удивление, реже — как отвращение; гнев принимается за печаль. «Верные» и «ошибочные» ответы связаны отношением реципрокности: снижение долей точных оценок ведет к избирательному повышению долей неадекватных распознаваний этих же экспрессий и, наоборот, особенно на самых коротких экспозициях.

Время ответа. Полученные данные демонстрируют наиболее быстрое распознавание экспрессий радости (1398 мс) и удивления (1447 мс) и увеличение времени ответа для экс­прессий отвращения (1497 мс) и печали (1655 мс). Наибольшее время требуется при оценке экспрессий гнева (1823 мс) и страха (1830 мс). Данный рейтинг согласуется с распределением точности оценок. При снижении длительности экспозиции среднее время решения перцептивной задачи (ВР) монотонно возрастает (200 мс — 1550 мс, 100 мс — 1602 мс, 50 мс — 1675 мс) для большинства экспрессий за исключением гнева (1823 мс) и страха (1830 мс), для которых ВР остается неизменным. Среднее время ответа в зависимости от модальности эмоции и длительности экспозиции представлено на рис. 5 и в табл. 3. Регрессионная модель для точности ответа объясняет 17% дисперсии данных (для фиксированных факторов R2m = 0,04; для полной модели R2c = 0,17). Сравнение времени ответа методом линейных контрастов показало, что значимые различия присутствуют только при сопоставлении времени опознания экспрессий радости, удивления и печали, демонстрируемых на 200 либо 50 мс, а также экспрессии удивления при экспозиции 50 либо 100 мс (табл. 2).

Таблица 3

Среднее время оценки сильно выраженных экспрессий
в зависимости от модальности эмоций и времени экспозиции

Похожие результаты были получены в ранее проведенных исследованиях в условиях прямоугольной формы стробоскопической экспозиции. Наиболее быстро распознавались экспрессии радости (1134 мс) и спокойствия (1157 мс), тогда как при оценке печали (1289 мс), удивления (1309 мс) и отвращения (1374 мс) ВР увеличивалось. Самыми продолжительными являются оценки экспрессий гнева (1575 мс) и страха (1665 мс). При уменьшении продолжительности экспозиции среднее для всех экспрессий ВР монотонно возрастает (при 200 мс — 1308 мс; при 100 мс — 1357 мс; при 50 мс — 1408 мс). С изменением длительности экспрессий страха и гнева ВР не меняется (Барабанщиков, Королькова, Лободинская, 2015).

Показательным является различие во времени верных и ошибочных ответов при ступенчатой стробоскопической экспозиции. Как правило, уровень ВР для верных ответов существенно ниже ошибочных (исключения: экспрессии страха и гнева (частично)). С падением точности оценок различия во ВР снижаются и становятся неразличимыми.

Обсуждение результатов

По результатам исследований, проведенных ранее (Барабанщиков, Королькова, Лободинская, 2015; 2016; 2017), при экспозиции сильно выраженных ступенчатых стробоскопических экспрессий можно ожидать двух противоположных тенденций. Во-первых, снижения средней точности распознавания эмоций по отношению к восприятию неподвижных изображений. Во-вторых, возрастания относительной точности распознавания этих же экспрессий. Первое вызвано эффектом стробоскопической маскировки, проявляющимся в условиях резко меняющейся сильно выраженной эмоции, второе — постепенностью нарастания и снижения интенсивности конгруэнтных изображений, влияние которых обнаруживается при усложнении условий экспозиции. В зависимости от модальности эмоций выраженность тенденций может быть различной.

Согласно данным эксперимента 1, достаточно полно реализуется лишь первая тенденция. Динамика изменений точности в условиях сильно выраженных прямоугольных и ступенчатых стробоскопических экспозиций практически совпадает: 1) с увеличением длительности экспозиций точность распознавания эмоций возрастает; 2) независимо от уровня длительности экспрессий имеет место один и тот же рейтинг базовых эмоций (наиболее точно воспринимаются экспрессии радости и удивления, наименее точно — страха и печали). Совпадения касаются не только общих закономерностей, но и исключений из них: при всех тестируемых условиях точность оценки экспрессии отвращения с увеличением длительности экспозиции остается неизменной. Сходными оказываются и категориальные профили оценок. Полностью воспроизводятся регулярные ошибки восприятия (отвращение путается с гневом, страх — с удивлением, печаль — со спокойным состоянием), а также зависимость содержания и объема ошибок от длительности экспозиции экспрессий.

Как и в других исследованиях, средняя продолжительность выполнения отдельной пробы с увеличением длительности экспозиции уменьшается. Чем точнее распознается модальность кажущейся эмоции, тем быстрее совершается ее оценка. За исключением экс­прессий страха и гнева длительность верных оценок существенно ниже ошибочных.

Полученные результаты говорят о том, что независимо от формы стробоскопи - ческой экспозиции эмоций определяющим фактором точности оценок является отно - шение длительностей неизменной (спокойное лицо) и меняющейся (экспрессии лица) частей стимульной ситуации, создающее общее впечатление о быстроте эмоциональ - ных проявлений. Влияние временной структуры меняющейся части возможно лишь на «втором шаге» обработки информации. Обратим внимание, что время ответа, несмотря на более низкую чувствительность к требованиям статистики, подчиняется той же са - мой системе детерминант, что и точность оценок, а следовательно, является еще одним показателем эффективности восприятия выражений лица в условиях стробоскопиче - ской экспозиции любой формы. При этом диагностическое значение имеют не только средние значения ВР, но и степень расхождения/совпадения длительностей верных и ошибочных оценок.

Безусловно, речь не идет об абсолютном совпадении данных. На уровне слабой тенденции точность оценок в условиях ступенчатой сильно выраженной стробоскопической экспрессии имеет более низкие значения, указывая на наличие чуть более сильного маскирующего эффекта. Феноменологическим основанием последнего служит восприятие мерцающей яркости изображений, отсутствующее при прямоугольной стробоскопической экспозиции. Аргументом в пользу своеобразия влияний ступенчатой формы стробоскопической экспозиции является и то, что в этих условиях оценка эмоции совершается на 14—16% медленнее, чем при прямоугольной экспозиции.

Зависимость восприятия базовых эмоций от их интенсивности.
Эксперимент 2

Эксперимент 2 был направлен на поиск обстоятельств, которые могли бы содействовать повышению относительной точности распознавания эмоций при ступенчатой стробоскопической экспозиции лица. В исследованиях восприятия реальных изменений выражений лица к числу подобных обстоятельств относят снижение интенсивности эмоциональных экспрессий.

Методика

Планируя это исследование, авторы воспользовались стимульным материалом, оборудованием, процедурой и способами обработки данных, использованных в эксперименте 1. Основные изменения коснулись выраженности экспрессий: она понизилась в два раза. Интенсивность дополнительных экспрессий (кадры 2 и 4) составила 25%, центральной экспрессии (кадр 3) — 50%. Экспозиция динамических паттернов ограничивалась наиболее трудным для оценки временем — 50 мс (10+30+10 мс). В исследовании участвовала новая группа испытуемых — студентов московских вузов (42 человека: 13 мужчин и 28 женщин, 17— 35 лет, медиана — 19 лет) с нормальным или скоррекгироваыным до нормального зрением. Эксперимент включал 144 пробы, которые были равномерно распределены по 1 четырем блокам (36 проб в каждом). Анализировалось влияние модальности слабых динамических экспрессий на точность и продолжительность их оценок. Результаты эксперимента 2 сопоставлялись с результатами эксперимента 1, полученными при минимальном времени экспозиции сильно выраженных динамических экспрессий (50 мс). По данным обоих экспериментов строилась регрессионная модель, рассчитывались линейные контрасты межу оценками точности сильно и слабо выраженных экспрессий в условиях ступенчатой стробоскопической экспозиции.

Результаты исследования

Точность распознавания экспрессий. Рейтинги точности распознавания слабых и сильных экспрессий в условиях ступенчатой стробоскопической экспозиции в целом совпадают. Наиболее адекватно оцениваются экспрессии радости (0,76), удивления (0,66), отвращения (0,62); значительно хуже — экспрессии печали (0,27), гнева (0,24) и особенно страха (0,16). Главное отличие состоит в существенном возрастании точности оценок экспрессии отвращения (на 0,17) и одновременном снижении точных оценок экспрессий печали (0,16) и страха (0,11). С увеличением количества проб (номера блока) точность распознавания слабо выраженных экспрессий незначительно возрастает. Точность оценок слабо выраженных экспрессий в зависимости от их модальности и количества проб приведена в табл. 4 и на рис. 10.

Таблица 4

Средняя точность оценок слабо выраженных экспрессий
в зависимости от модальности эмоции и номера блока

Примечание. В скобках показаны средние значения сильно выраженных экспрессий минимальной длительности (50 мс, данные эксперимента 1).

Смешанная регрессионная модель, построенная по данным первого и второго экспериментов (для проб с минимальным временем экспозиции), объясняет 35% дисперсии данных (для фиксированных факторов R2m = 0,23; для полной модели R2c = 0,35). Анализ линейных контрастов показывает, что по сравнению с распознаванием сильно выраженных экспрессий точность оценок экспрессий радости, удивления и гнева не изменилась, экспрессий страха и печали значимо снизилась, а экспрессии отвращения возросла. Результаты (z-оценки и скорректированные уровни значимости линейных контрастов) приведены в табл. 5.

Таблица 5

Линейные контрасты между оценками сильно и слабо выраженных ступенчатых стробоскопических экспрессий

Категориальные профили оценок. С минимальными «ошибками» в эксперименте 2 оцениваются экспрессии радости, удивления и отвращения. Экспрессия удивления иногда принимается за страх, экспрессия отвращения принимается за гнев. Наиболее низкие оценки точности возникают при экспозиции экспрессий страха, печали и гнева. Экспрессия  страха воспринимается в основном как удивление, реже — как спокойное состояние. Печаль и гнев по-разному смешиваются с другими базовыми эмоциями, уступая лишь спокойному состоянию лица. Профили оценок на рис. 8 с небольшими изменениями воспроизводят похожие паттерны, которые обнаружились при экспозиции сильно выраженных ступенчатых стробоскопических экспрессий (рис. 4). Основные отличия состоят в том, что в условиях слабо выраженных экспрессий: 1) для высокоаттрактивных экспрессий увеличивается относительное число верных ответов; 2) для низкоаттрактивных экспрессий число этих ответов сокращается, а доминантное значение приобретают альтернативные категории: для экспрессии страха — удивление, для экспрессий гнева и печали — спокойное состояние лица.

Время ответа. Полученные результаты показывают, что наиболее быстро распознаются эмоции радости (2144 мс), удивления (2299 мс) и отвращения (2211 мс), существенно медленнее — гнева (2630 мс), страха (2518 мс) и печали (2515 мс). У/1>,<'/1и,1('Ч1Г1с количества проб приводит к снижению времени ответа для всех экспрессий. Регрессионная модель, связывающая точность ответа с модальностью эмоции и номером блока (1—4), объясняет 21% дисперсии данных (для фиксированных факторов R2m = 0,08; для полной модели R2c = 0,21). Линейные контрасты показали, что значимые различия во времени ответа наблюдаются при переходе от первого блока эксперимента ко второму (контрасты между первым блоком и каждым из последующих значимы для экспрессий всех модальностей, p< 0,01).

По сравнению с данными эксперимента 1 (экспозиция сильно выраженной экспрессии 50 мс) время ответа для каждой из протестированных модальностей увеличивается в среднем на 41—48%. При экспозиции высокоаттрактивных эмоций (радость, удивление, отвращение) верные оценки делаются быстрее ошибочных, причем, чем точнее оценка, тем больше величина рассогласования. При экспозиции паттернов низкоаттрактивных эмоций (страх, печаль, гнев) эта тенденция сменяется переплетением значений верных и ошибочных оценок: каждая из них может выполняться и быстрее, и медленнее, а в каких-то случаях совпадать друг с другом; каждой эмоции соответствует общий уровень значения ВР. Среднее время ответа в соответствии с модальностью эмоций, адекватностью ответов и номером блока представлено на рис. 9 и 10 и в табл. 6.

Обсуждение результатов

Главный результат выполненного исследования состоит в обнаружении возможности повышения относительной точности распознавания базовых эмоциональных экс - прессий при ослаблении их интенсивности в условиях ступенчатой стробоскопической экспозиции лица. Эффект сенсибилизации носит избирательный характер и непосредственно проявляется при демонстрации эмоции отвращения. 

Таблица 6

Среднее время оценки слабо выраженных экспрессий в зависимости
от модальности эмоции и номера блока

Примечание. В скобках показаны средние значения времени ответа при экспозиции сильно выраженных экспрессий (50 мс, данные эксперимента 1).

Средняя величина эффекта по отношению к уровню восприятия сильной экспрессии — 27%. Две другие слабо выраженные эмоции — печаль и страх — в этих же условиях подвержены стробоскопической маскировке — воспринимаются менее адекватно, чем сильно выраженные. Точность распознавания снижается на 37% (печаль) и 41% (страх). Оба эффекта находят отражение во времени решения зрительной задачи. Общая тенденция состоит в том, что чем точнее распознается модальность экспрессий, тем короче длится его оценка. Усложнение условий — укороченная длительность, низкая интенсивность, ступенчатая форма стробоскопической экспозиции экспрессий усиливают неопределенность зрительной задачи и расширяют требования к когнитивным ресурсам наблюдателя. Длительность перцептивного процесса возрастает.