Окуломоторная активность при восприятии динамических и статических выражений лица

1250

Аннотация

Проведено сопоставление параметров окуломоторной активности при восприятии статических и динамических изображений лица. Показано, что и в условиях статики, и в условиях динамики траектория движения глаз определяется внутренней структурой лица рассматриваемого человека и функциональными связями мимических зон его лица. Различия обнаружены на уровне отдельных показателей окуломоторной активности: продолжительности рассматривания зон лица, длительности фиксаций и амплитуды саккад. Маршруты обзора статических изображений имеют полносвязный циклический характер. Возвратные фиксации в одной и той же зоне интереса выражены слабо, а их вклад в общую структуру движений незначителен. При восприятии динамических изображений маршруты обзора имеют вырожденный, частично редуцированный характер, определяемый текущей динамикой мимики рассматриваемого лица; возрастает вклад повторных фиксаций в одной и той же зоне интереса.

Общая информация

Ключевые слова: окуломоторная активность, саккада, фиксация, маршрут обзора, статические и динамические экспрессии лица, коммуникативная ситуация

Рубрика издания: Психология восприятия

Тип материала: научная статья

DOI: https://doi.org/10.17759/exppsy.2018110101

Для цитаты: Барабанщиков В.А., Жегалло А.В. Окуломоторная активность при восприятии динамических и статических выражений лица // Экспериментальная психология. 2018. Том 11. № 1. С. 5–34. DOI: 10.17759/exppsy.2018110101

Полный текст

Введение

Традиционно анализ восприятия лица ограничивается ситуацией викарного общения, когда наблюдателя просят определить состояние либо индивидуально-психологические особенности человека по фотопортрету (Барабанщиков, 2012, 2016; Барабанщиков, Жегалло, Королькова, 2016; Bruce, Young, 2000; Russel, Fernandez-Dols, 2002). Подобный подход позволяет раскрыть ряд важных аспектов межличностной перцепции, но игнорирует динамику выражения эмоций и проявления свойств личности в реальном поведении. Исследования показывают, что значительная часть информации о человеке заключена в стилистике исполнения коммуникативных актов (Бодалев, 1996; Bruce, Valentine, 1989; Wallraven et al, 2008). Модальность, интенсивность и реалистичность эмоций других людей становятся доступными наблюдателю благодаря изменениям их позы, направленности взора, мимических экспрессий, жестов и т. п. При определенных условиях не только реальные

Цель данной работы состоит в описании характера окуломоторной активности наблюдателей при восприятии лица, меняющего выражение и положение в пространстве так, как это происходит в реальном общении. Нас интересовали основные показатели перемещений взора (продолжительность рассматривания, частота и длительность фиксации частей и элементов лица, маршруты обзора, логика переходов между зонами интереса) и степень их соответствия показателям, зарегистрированным при экспозиции статических выражений лица. Ожидалось, что оценки экспрессий и динамика в разных условиях будут носить согласованный и закономерный характер, что означает наличие набора общих признаков, на которые наиболее часто ориентируются наблюдатели, и возможность переноса данных, получаемых в исследованиях восприятия статических изображений лица, на ситуации восприятия экспрессий лица, его меняющихся выражений. Различие показателей указывало бы на ограничения подобного переноса и наличие условий, специфичных для восприятия подвижного лица.

Учитывая высказанные соображения, мы провели два эксперимента. В первом наблюдателям экспонировались видеофрагменты профессионального интервью, в котором участники в игровой ситуации (1) правдиво описывали значимые для себя события, (2) скрывали их, либо (3) отвечали на вопросы, касающиеся их собственной биографии. Регистрировались показатели окуломоторной активности наблюдателей и их доверие к воспринимаемому человеку (говорит ли он, с их точки зрения, правду или лжет). Во втором эксперименте от испытуемых требовалось распознать состояния людей по фотоизображениям их лица, которые экспонировались на короткое время. Регистрировались основные показатели движений глаз и адекватность ответов наблюдателей.

Организация движений глаз при восприятии динамических изображений лица
(Эксперимент 1)

В качестве стимульного материала использовались фрагменты видеозаписей искусственных и естественной коммуникативных ситуаций (рис. 1).

В искусственно сконструированных ситуациях, проходивших в форме профессионального интервью, испытуемый должен был описать лицо якобы знакомого ему человека, отобранного им из набора имеющихся фотоизображений. В одном случае надо было дать такое описание, чтобы экспериментатор не догадался о ком идет речь, а в другом — чтобы узнал описываемого человека. Подчеркивалось, что участнику грозила «смертельная опасность», если в первом случае интервьюер догадается, кого скрывает интервьюируемый. Во втором случае эта угроза отсутствовала. Естественная коммуникативная ситуация представляла собой фрагмент структурированной автобиографической беседы, основанной на выявлении факторов риска и вредных привычек (Барабанщиков, Носуленко, Самойленко, Хозе, 2015).

Несмотря на то, что искусственные ситуации носили игровой характер и в реальности респондентам ничего не угрожало, испытуемые отмечали, что в ходе беседы стремились максимально точно исполнить требования инструкции, испытывая яркие эмоциональные переживания. Важную роль в создании внутреннего напряжения сыграли как значимость легенды («смертельно опасная ситуация»), так и артистизм интервьюера, ведущего «допрос террориста».

Процедура. В основной серии эксперимента 1 последовательно демонстрировались 15 цветных видеофрагментов «живого лица» (без звукового сопровождения): 5 — ситуация «правда», 5 — ситуация «ложь», 5 — естественная коммуникативная ситуация. Продолжительность каждого фрагмента составляла 60 с. Задача испытуемого состояла в том, чтобы во время просмотра видеофрагментов определить по выражению лица натурщика те фрагменты беседы, когда последний выглядит искренним и вызывает доверие у наблюдателя — говорит правду (ответ — на клавиатуре ПК «стрелка вправо»), или не вызывает доверие, лжет (ответ — «стрелка влево»).

Предъявление стимульного материала, регистрация ответов и организация работы с айтрекером — устройством видеорегистрации движений глаз — выполнялись с помощью ПО PsychoPy. Видеофрагменты демонстрировались на 17” ЖК-мониторе в полноэкранном режиме. Размер экрана 1280x1024 pxl, разрешение — 38 pxl на см. Расстояние до экрана — 60 см, угловые размеры изображения при данном расстоянии 30°x24°.

Голова испытуемых фиксировалась лобно-подбородной опорой. Допустимое расстояние до экрана, при котором возможна эффективная регистрация движений глаз, составляло от 50 до 70 см, соответственно угловые размеры изображения варьировали от 26° *20° до 30° *36°.

Испытуемые. В исследовании приняли участие 12 мужчин и 23 женщины в возрасте от 18 до 49 лет (средний возраст 24,7 лет) с нормальным или скорректированным до нормального зрением. У всех испытуемых отсутствовал опыт оценки достоверности сообщаемой информации по невербальным признакам.

Айтрекинг. Регистрация движений глаз при рассматривании динамических изображений выполнялась с помощью айтрекера RED-m, частота регистрации 120 Гц, режим регистрации smart binocular (усредненные координаты взора для левого и правого глаза). Анализ глазодвигательной активности при восприятии фотопортретов человека предполагает разметку изображений по зонам интереса и учет показателей каждой из зон (время рассматривания, число фиксаций, продолжительность фиксаций). Примеры исследований, выполненных по данной схеме, можно найти в ряде работ (Барабанщиков, 2012, 2016; Жегалло, 2015). При восприятии динамических изображений особую трудность вызывает разметка зон интереса. В проведенном ранее исследовании (Жегалло, Хозе, 2015) мы строили усредненные на 60- секундном интервале изображения натурщика и выполняли по ним элементарную разметку зон интереса (лево — право , верх — низ). В настоящей работе апробирована методика разметки динамических зон интереса. Исходные видеозаписи подвергались анализу с помощью ПО CSIRO Face Analysis SDK (Cox et al, 2013). В результате разметки на каждом кадре видеозаписи были локализованы 66 точек, привязанных к контуру лица, позициям глаз, переносицы, носа и рта (рис. 2).

Дальнейшая разметка зон интереса выполнялась на основе контрольных точек. Осевая линия, разделяющая левую и правую половины лица (оЛП), проводилась через середину отрезка [22; 23] (внутренние точки бровей) и середину отрезка [8; 10] (подбородок). Линии, ограничивающие лицо слева и справа, проводились параллельно через точки 1 и 17. Осевая линия, разделяющая верхнюю и нижнюю части лица (оВН), проводилась параллельно отрезку [37; 46] (внешние углы глаз) через точку 30; нижняя ограничительная линия — параллельно ей через точку 9 (центр подбородка); верхняя ограничительная линия — через точку на оЛП, находящуюся выше отрезка [22; 23] на половинном расстоянии от дистанции между отрезками [22; 23] и [8; 10].

Разметка зон глаз, переносицы, носа и рта выполнялась параллельно оЛП и оВН. Верхний уровень зоны глаз определялся серединой отрезка [20; 25], нижний — серединой отрезка [29; 30]. Верхний уровень разделения зон носа и рта определялся серединой отрезка [34; 52] (кончик носа, середина верхней губы). Нижний уровень зоны носа находится ниже точки 58 (середина нижней губы) на половинном расстоянии от дистанции между точками 58 и 34.

Внешние края зон глаз определяются точками 18 и 27, внутренние — серединами отрезков [40; 28] и [28; 43]. Края зоны носа располагаются левее точки 32 на расстоянии, равном отрезку между точками 32 и 34, и правее точки 36 на расстоянии, равном отрезку между точками 34 и 36. Края зоны рта находятся левее точки 49 на расстоянии, равном удвоенному отрезку между точками 49 и 50, и правее точки 55 на расстоянии, равном удвоенному отрезку между точками 54 и 55.

Необходимо отметить, что предлагаемая разметка представляет собой компромиссный вариант, позволяющий, согласно данным визуального контроля, получить для большинства видеокадров разметку зон интереса, соответствующую естественным представлениям о локализации и размерах зон интереса. Совершенствование автоматической динамической разметки требует повышения точности локализации ключевых элементов лица. Анализ результатов основан на данных локализации сторон лица и зон интереса относительно натурщика для облегчения сопоставления с ранее полученными данными (Барабанщиков, 2012, 2016; Жегалло, 2015).

Детекция фиксаций выполнялась с использованием алгоритма Dispersion Threshold Identification, минимальная продолжительность фиксации — 50 мс, пороговая дисперсия — 40 pxl (1°). Для анализа окуломоторной активности из общей выборки 35*15 = 525 экспериментальных ситуаций (ЭС) было отобрано 369 (70%). Критерии отбора: суммарная продолжительность фиксаций не менее 40 с (при времени экспозиции 60 с); суммарная продолжительность фиксаций в зонах глаз, переносицы, носа и рта более 60% от общей суммарной продолжительности фиксаций; отсутствие артефактов при визуальном контроле. Для каждой отобранной ЭС рассчитывались время рассматривания каждой из половин лица (верхняя/нижняя, правая/левая) и зон интереса (глаза, рот, нос, переносица), медианная продолжительность фиксаций, число фиксаций, число переходов между выделенными зонами.

Результаты эксперимента

Оценка видеофрагментов, значимых для наблюдателя. Для отдельных видеофраг­ментов медианное число оценок, даваемых участниками исследования, составляет от 4 до 7, различия не являются статистически значимыми (критерий Краскала—Уоллеса, х2(16) = 15,6; p > 0,05). Можно, следовательно, утверждать, что выбор видеофрагментов для использования в эксперименте является сбалансированным, т. е. эпизоды содержат одинаковое количество деталей, потенциально привлекающих внимание участников исследования.

Анализ соотношения ответов наблюдателей в различных экспериментальных ситуациях (рис. 3) показал неоднородность оценок. Из 5 эпизодов типа «правда» один эпизод оценивался и как ситуация, в которой сообщается преимущественно истинная информация, и как ситуация, в которой сообщается преимущественно ложная информация. Из 5 эпизодов типа «ложь» 2 оцениваются как ситуации, в которых сообщается преимущественно ложная информация. Из 5 эпизодов «автобиографического интервью» 2 оцениваются как ситуации, в которых сообщается преимущественно истинная информация. В целом по выборке наблюдается тенденция к оценке сообщаемой информации как правдивой (ответы «правда» составляют 53% от общего числа ответов).

На основании вышеописанных данных можно сделать вывод, что испытуемые столкнулись с трудновыполнимой задачей: невербальные признаки, содержащиеся в искусственно сконструированных эпизодах «правда» и «ложь», не содержат достаточной информации для их эффективного анализа неподготовленными наблюдателями.

В связи с высокой сложностью оценки отдельных видеофрагментов для дальнейшего анализа данных были выделены отдельные блоки коммуникативных ситуаций. Для каждого из участников исследования вычислялась доля ответов «правда» по отношению к общему числу ответов для трех случаев: блок из 5 искусственно сформированных эпизодов «правда»; блок из 5 искусственно сформированных эпизодов «ложь»; блок из 5 естественных коммуникативных ситуаций. Статистический анализ показал, что для блоков искусственно сформированных ситуаций «правда» и «ложь» статистически значимые различия в доле ответов «правда» отсутствуют (критерий Вилкоксона, p>0,05). В то же время при просмотре блока эпизодов, относящихся к естественным ситуациям коммуникации, испытуемые чаще оценивают поведение натурщика как искреннее, чем при просмотре блока эпизодов, относящихся к искусственным ситуациям «правда» (критерий Вилкоксона, p<0,001, межвыборочный сдвиг 0,13), и чаще, чем при просмотре блока эпизодов, относящихся к искусственным коммуникационным ситуациям «ложь» (критерий Вилкоксона, p<0,01, межвыборочный сдвиг 0,12).

Можно сделать вывод, что испытуемые не смогли различить два варианта искусственно сформированных коммуникативных ситуаций, в которых от натурщика требовалось либо «говорить правду», либо «лгать». В то же время естественное поведение того же натурщика (ситуация автобиографической беседы) оценивалось наблюдателями как правдивое, искреннее (рис. 4).

Показатели окуломоторной активности наблюдателей при рассматривании правой/левой и верхней/нижней сторон лица. Согласно статистическому анализу, распределение продолжительностей фиксаций не является нормальным (тест 111 аин|.)оВн.лка, р<0,001). Медианная продолжительность фиксаций 308 мс, межквартильный размах от 250 мс до 388 мс.

Суммарное время рассматривания правой половины подвижного лица натурщика значимо больше, чем левой половины (рис. 5); критерий Вилкоксона, p<0,001, межвыбо­рочный сдвиг по Ходжесу—Леману А=8046 мс. Более продолжительное рассматривание связано с увеличением числа фиксаций (p<0,001, А=16,5). Значимые различия в продолжительности фиксаций отсутствуют.

Время рассматривания верхней части лица значимо больше, чем нижней (рис. 6); критерий Вилкоксона, p<0,001; А=25442 мс. Более продолжительное рассматривание связано с увеличением числа фиксаций (p<0,001; А=54,5) и их продолжительности (p<0,001; А=25 мс).

Показатели окуломоторной активности в зонах интереса. Зрительные фиксации подвижного лица локализуются преимущественно в области основных лицевых признаков (глаз, рта, носа и переносицы), образующих ориентировочную основу восприятия экспрессий (рис. 7). Наиболее продолжительное время рассматривается зона правого глаза натурщика (медианная продолжительность m=15375 мс); с меньшей продолжительностью рассматривается зона левого глаза, m=9017 мс; для остальных зон лица время рассматривания существенно ниже: переносица — m=3925 мс, нос — m=5525 мс, рот — m=3733 мс.

Продолжительность отдельных фиксаций в зонах интереса значимо различается (критерий Фридмана, p<0,001). Наиболее продолжительные фиксации связаны с зонами правого глаза и рта (m = 337 мс), более короткими по продолжительности являются фиксации в зоне левого глаза (m=317 мс). Наиболее короткие фиксации связаны с зонами переносицы (m=242 мс) и носа (m=267 мс) (рис. 8).

Маршруты обзора. Данные по частотам переходов между основными зонами интереса были подвергнуты кластерному анализу методом к-средних. Разбиение на 8 кластеров объясняет 62% дисперсии. Диаграммы перехода между зонами интереса, соответствующие центрам кластеров, представлены на рис. 9.

Наиболее часто встречается (28% ЭС) полносвязанный способ рассматривания (рис. 9 а) с опорой на правый глаз натурщика. В этом случае в осмотр включаются все выделенные зоны интереса (глаза, переносица, нос, рот), повторные фиксации одной и той же зоны интереса относительно редки.

Частично связанный способ рассматривания, включающий как верхнюю часть, так и зоны носа или(и) рта представлен в трех вариантах (рис 9 b, c, f), которым в общей сложности соответствуют 42% ЭС. В зоне доминирующего при рассматривании глаза имеют место повторные фиксации. Переходы между зоной доминирующего при рассматривании глаза и зоной рта практически отсутствуют.

Циклическое рассматривание верхней части лица (глаза и переносица) присутствует в трех модификациях (рис 9 d, f, g), в общей сложности соответствующих 23% ЭС. Зоны носа и рта практически полностью исключаются из осмотра. Остаток приходится на вырожденные варианты: циклический осмотр зон носа и правого глаза (рис 9 e) (11% ЭС) или зон рта и носа (рис 9 h) (2% ЭС).

Амплитуда саккад и продолжительность фиксаций при восприятии динамики лица. Амплитуда саккад определяется угловыми расстояниями между ключевыми элементами лица. Медианная амплитуда составляет 2,1°; в 95% случаев амплитуда саккад не превышает 4,9°. Распределение амплитуд характеризует структуру переходов от одной зоны интереса к другой; при этом малоамплитудные (менее 1°) саккады соответствуют повторным фиксациям в одной и той же зоне интереса (рис. 10). Совокупная доля коротких саккад составляет около 25% от общего числа.

Медианная амплитуда саккад варьирует: от 0,75° до 3,89°, отражая индивидуальные изменения в структуре переходов между ключевыми зонами интереса (рис. 11). На представленных иллюстрациях показаны индивидуальные траектории рассматривания лиц натурщиков, полученные путем усреднения данных оценок по всем экспериментальным ситуациям (не менее 10 ЭС на каждого участника). Испытуемые, результаты которых свидетельствуют о небольшой амплитуде взора, характеризуются рассматриванием и переходом между ближайшими зонами лица. С увеличением амплитуды возрастает вклад «дальних» переходов: возвратно — циклический просмотр зон глаз и рта. Вместе с тем отсутствуют значимые корреляционные связи между числом ответов испытуемых, с одной стороны, и индивидуальными показателями глазодвигательной активности (амплитуда саккад, продолжительность фиксаций) — с другой.

Так или иначе, амплитуда саккад при рассматривании подвижного лица является характеристикой общей тенденции восприятия выражения лица («синтетический» способ), которое осуществляется субъектом либо как целостный, «симультанный», акт, либо как процесс выделения отдельных мимических зон («аналитический» способ) (Барабанщиков, 2009; Хрисанфова, 2004; Barabanschikov, 2015).

Анализ амплитуд саккад в зависимости от локализации начальной и конечной позиций в выделенных зонах интереса (табл. 1) показывает, что характерная амплитуда саккад пропорциональна угловому расстоянию между центрами зон интереса. Коэффициент пропорциональности варьирует от 0,75 до 1,05, большие значения коэффициента соответствуют малым расстояниям между центрами зон.

Таблица 1

Характеристика динамических изображений и амплитуд саккад в зависимости от локализации начальной и конечной позиций взора. Указаны средние расстояния и стандартные отклонения в градусах, значения коэффициента пропорциональности

 

Расстояние между центрами зон интереса

Амплитуда саккад

k пропорциональности

Левый глаз—переносица

2.0 (0.2)

1.8 (0.7)

0.90

Левый глаз—правый глаз

3.9 (0.4)

3.2 (0.8)

0.82

Левый глаз—нос

3.2 (0.3)

2.7 (1.1)

0.84

Левый глаз—рот

5.2 (0.6)

4.3 (0.8)

0.83

Переносица—правый глаз

1.9 (0.2)

2 (0.9)

1.05

Переносица—нос

2.5 (0.3)

2.2 (1.0)

0.88

Переносица—рот

4.9 (0.6)

3.9 (0.7)

0.91

Правый глаз—нос

3.1 (0.3)

2.4 (0.9)

0.77

Правый глаз—рот

5.3 (0.6)

4.0 (0.7)

0.75

Нос—рот

2.4 (0.4)

2.2 (1.0)

0.91

 

Для первых 100—110 последовательных фиксаций, производимых испытуемыми в ходе просмотра видеофрагментов, сохраняется высокая стабильность медианной амплитуды (рис. 12).

Распределение продолжительности фиксаций является бимодальным с максимумами, соответствующим продолжительности 50—100 мс и 200—250 мс (рис. 13). Если первый максимум можно объяснить спецификой работы использовавшегося алгоритма детекции, то второй отражает фактические характеристики глазодвигательной активности при рассматривании подвижного лица. Медианная продолжительность фиксаций — 283 мс, межквартильный размах — от 167 мс до 475 мс. Максимальная продолжительность фиксации — 9283, 95% фиксаций длятся не более 1113 мс.

Индивидуальная длительность фиксаций отличается широкой вариабельностью: медианная продолжительность фиксаций составляет от 133 до 508 мс, однако взаимосвязи длительности фиксаций со способом рассматривания и числом оценок обнаружены не были.

Результаты расчета медианных значений и межквартильного размаха для последовательно выполняемых фиксаций свидетельствуют о тенденции к снижению продолжи - тельности фиксаций по ходу просмотра (рис. 14). Анализ данных выборки из 369 экспериментальных ситуаций (всего 50055 фиксаций) позволил определить медианную продолжительность фиксаций — продолжительность первых 10 фиксаций составляет от 267 до 350 мс, медианная продолжительность фиксаций с 160 по 170 составляет от 175 до 242 мс.

Продолжительность фиксации частично определяется амплитудой предшествующей саккады. После малоамплитудных (не более 1°) саккад следуют фиксации более короткойпродолжительности (рис. 15). Максимум амплитуды саккад соответствует фиксациям продолжительностью 300—600 мс.

В исследованиях восприятия многофигурных композиций (Unema et al, 2005) было показано, что коротким (не более 180 мс) фиксациям предшествуют высокоамплитудные саккады максимальной величины (до 8° и более). При рассматривании лица во время поиска невербальных признаков достоверности/недостоверности сообщаемой информации имеет место обратная картина: амплитуда саккад не превышает 5°, а для отдельных наблюдателей — не более 1,5—2°. Амплитуда саккад подчиняется структуре и привычному способу рассматривания лица, причем низкоамплитудные саккады связаны с переходами внутри одной мимической зоны лица, а высокоамплитудные — с переходами между разными зонами. Повторным фиксациям низкой продолжительности (мене 200 мс), как правило, предшествуют саккады амплитудой не более 1°.

Особенности окуломоторной активности при оценке достоверности воспринимаемой информации. Приступая к анализу окуломоторной активности, непосредственно связанной с оценками достоверности/недостоверности сообщаемой информации, мы поставили задачу выделить наиболее общие, существенные особенности движений глаз.

Согласно полученным результатам, величина индивидуальной медианной продолжительности фиксаций взора в ситуации видеопросмотра, когда испытуемые долж - ны были выразить свое мнение относительно искренности поведения натурщика, зна - чимо выше медианной продолжительности всех фиксаций, выполненных наблюдателем за все время исследования (рис. 17); критерий Вилкоксона, p<O,001 ; межвыборочный сдвиг — 325 мс.

Индивидуальная пропорция числа фиксаций в верхней части лица к общему числу фиксаций составляет от 0,15 до 0,93. Лишь у четырех участников из 26 величина пропорции меньше 0,5, т. е. большинством участников преимущественно рассматривается верхняя часть лица. Индивидуальная пропорция числа фиксаций в верхней части лица в ситуациях, когда испытуемые выражали свои оценки поведения натурщиков, к общему числу фиксаций при ответах значимо выше индивидуальной пропорции фиксаций в верхней части лица (критерий Вилкоксона, p=,02; межвыборочный сдвиг — ,04). Таким образом, при выполнении оценок взор наблюдателя локализуется в верхней части лица еще чаще, чем при осмотре лица в целом (рис. 18).

Аналогичный анализ для пропорции числа фиксаций в левой/правой части лица не показал значимых различий.

Поиск предикторов эффективности индивидуальной работы обнаружил тенденцию к связи между количеством ответов, даваемых наблюдателями в отдельной ЭС, и медианной продолжительностью фиксаций Dur.sjs; коэффициент корреляции Спирмена r=0.21.

Организация движений глаз при восприятии статических изображений лица
(Эксперимент 2)

Для определения специфики окуломоторной активности наблюдателей при экспозиции видеоизображений лица мы провели сопоставление показателей такой активности с показателями окуломоторной активности при рассматривании статического фотоизображения, который наиболее часто используется при изучении закономерностей восприятия эмоциональных экспрессий (Барабанщиков, 2012, 2016).

Методика исследования

Айтрекинг. Как и в эксперименте 1 регистрация движений глаз выполнялась с помощью айтрекера RED-m, частота регистрации 120 Гц, режим регистрации smart binocular (усредненные координаты взора для левого и правого глаза). Определялись основные показатели окуломоторной активности наблюдателя: время рассматривания частей и элементов неподвижного лица, длительность и частота зрительных фиксаций, маршруты обзора, частота переходов между зонами интереса.

В качестве стимульного материала использовались цветные фотоизображения базовых экспрессий (радость, страх, гнев, удивление, печаль, отвращение, спокойное лицо) из базы RaFD (Langer et al, 2010); натурщики № 7, 10, 12, 31, 33, 36, 61. Исходные изображения кадрировались до размера 455x570 pxl, так что на них оставалась только голова и шея натурщика на нейтральном фоне.

Процедура. Фотографии предъявлялись на 17” ЖК мониторе. Размер экрана 1024x768 pxl, разрешение 28.5 pxl на см, расстояние до экрана — 60 см, угловые размеры изображений лица 15°x17°. Голова испытуемых фиксировалась лобно — подбородной опорой. Согласно инструкции требовалось определить модальность экспонируемой эмоции. Последовательность предъявления включала: фиксационную точку (время экспозиции 2 с), пустой межстимульный интервал (время экспозиции 1.1—1.6 c), целевое изображение (время экспозиции 3 с). Испытуемый выбирал соответствующий вариант эмоциональной экспрессии из списка на экране и нажимал клавишу пробел. Предъявление стимульного материала, фиксация ответов, взаимодействие с айтрекиром выполнялись с помощью модифицированного ПО PxLab.

Испытуемые. В исследовании принимали участие 15 человек (возраст 18—35 лет, 6 мужчин, 9 женщин); студенты московских вузов с нормальным или скорректированным зрением. Исследование состояло из тренировочного — 7 экспериментальных ситуаций (ЭС) и основного (42 ЭС) блоков. Основной блок включал экспозицию изображений 7 базовых экспрессий в 6 вариантах (6 различных натурщиков, из них 3 мужчины и 3 женщины).

Анализ результатов выполнялся в среде статистической обработки R (R Core Team, 2015). Детекция фиксаций проводилась с использованием алгоритма I-DT (dispersion threshold identification), минимальная продолжительность фиксации — 50 мс, максимальная дисперсия — 30 pxl (1° при расстоянии до экрана 60 см).

Разметка фотопортретов по зонам интереса выполнялась в полуавтоматическом режиме. Граница верхней/нижней и левой/правой частей лица проводилась по точке 30 (середина носа), автоматически определяемой CSIRO Face Analysis SDK. Первоначальная разметка зон интереса по высоте и ширине выставлялась на основании расположения опорных точек, затем корректировалась вручную (рис. 19). Такой способ разметки связан с тем, что детекция опорных точек на фотоизображениях из базы RAFD была выполнена с меньшей точностью, чем для видеоизображений.

Результаты исследования

Средняя точность распознавания экспрессий по изображениям лица составляет 84% (рис. 20). Хуже всего распознается экспрессия гнева (57%), чаще всего испытуемые путают ее с экспрессиями печали (25%), отвращения (10%) и страха (6%). Страх (75%) также распознается как удивление (17%) и отвращение (6%). Отвращение (81%) распознается как гнев (17%). Остальные экспрессии распознаются с высокой точностью: радость — 98%, удивление — 96%, печаль — 90%, спокойное лицо — 89%. Медианное время ответа составляет 1994 мс, наиболее продолжительное медианное время ответа характерно для экспрессии гнева — 3002 мс и печали — 2343 мс.

Данный результат хорошо согласуется с результатами проведенного ранее на том же стимульном материале исследования, в котором время экспозиции составляло 200 мс (Барабанщиков, Королькова, Лободинская, 2015): средняя точность — 82%, гнев — 60%, страх — 66%, отвращение — 75%, радость — 97%, удивление — 92%, печаль — 87%, спокойное лицо — 92%). Увеличение точности решения при возрастании времени экспозиции достигается в основном за счет возрастания точности распознания страха и отвращения.

Показатели окуломоторной активности при рассматривании правой/левой и верхней/нижней сторон лица. Распределение продолжительностей фиксаций не является нормальным (тест Шапиро—Вилка, p<0,001). Медианная продолжительность фиксаций 264 мс, межквартильный размах от 230 мс до 308 мс. Время рассматривания правой половины лица натурщика значимо больше, чем левой половины (рис. 21); критерий Вилкоксона, p<0,001, межвыборочный сдвиг по Ходжесу—Леману А=429 мс. Более продолжительное рассматривание связано с увеличением числа фиксаций (p<0,001, А=2) и сокращением их продолжительности (p<0,001; А=16).

Время рассматривания верхней части лица значимо больше, чем нижней (рис. 22); критерий Вилкоксона, p<0,001; А=871 мс. Более продолжительное рассматривание связано с увеличением числа фиксаций (p<0,001; А=3,5) при сокращении их продолжительности (p<0,007; А=-14 мс).

Показатели окуломотороной активности в зонах интереса. Сопоставление продолжительности рассматривания по зонам интереса (рис. 23) показывает, что наиболее продолжительное время приходится на зоны левого глаза (медианная продолжительность m=704 мс) и правого глаза (m=667 мс); несколько меньше — на область рта (m=571 мс). Для зон носа (m=342 мс) и переносицы (m=192 мс) время рассматривания существенно ниже.

Продолжительность фиксаций в выделенных зонах интереса значимо различается (критерий Фридмана, p<0,001). Наиболее продолжительные фиксации связаны с зонами правого глаза (m=308 мс) и рта (m = 333 мс), короче фиксации в зоне левого глаза (ш=265 мс). Наиболее короткие фиксации связаны с зонами переносицы и носа (m=225 мс) (рис. 24.).

Маршруты обзора. Данные по частотам переходов между основными зонами интереса были подвергнуты кластерному анализу методом к-средних. Разбиение на 12 кластеров объясняет 40% дисперсии. Диаграммы перехода между зонами интереса, соответствующие наборам частот для центров кластеров, представлены на рис. 25. Как видно из рисунка, выделенные стратегии рассматривания в основном представляют собой различные варианты полносвязного способа рассматривания, т. е. наблюдатель циклически просматривает все основные зоны интереса. Различия вариантов обусловлены конкретными частотами переходов между отдельными зонами и распределением времени пребывания между отдельными зонами интереса.

Амплитуда саккад и продолжительность фиксаций при рассматривании фотоизображений лица. Медианная амплитуда саккад при рассматривании статических изображений лица составляет 3,6°; в 95% случаев амплитуда саккад не превышает 6,4°. Доля малоамплитудных (менее 1°) саккад составляет менее 5% (рис. 26); в отдельных случаях (по данным отдельных участников исследования) медианная амплитуда саккад варьирует от 2,5° до 4,7°.

Анализ амплитуд саккад в зависимости от локализации начальной и конечной позиций в выделенных зонах интереса (табл. 2) показывает, что так же, как и в случае восприятия выражений лица в динамике, характерная амплитуда саккад пропорциональна угловому расстоянию между центрами зон интереса. Величина коэффициента пропорциональности несколько ниже и составляет от 0,65 до 1,00.

Распределение продолжительности фиксаций имеет единственный максимум, соответствующий продолжительности фиксаций от 200 до 250 мс (рис. 27). Медианная продолжительность фиксаций составляет 266 мс, межквартильный размах — от 192 мс до 383 мс. Максимальная продолжительность фиксации — 1775 мс, 95% фиксаций имеют продолжительность до 608 мс.

Таблица 2

Характеристика статических изображений и амплитуд саккад в зависимости от локализации начальной и конечной позиций. Указаны средние расстояния и стандартные отклонения в градусах, значения коэффициента пропорциональности

 

Расстояние между центрами зон интереса

Амплитуда саккад

k пропорциональности

Левый глаз—переносица

2.6 (0.1)

2.1 (0.8)

0.81

Левый глаз—правый глаз

5.2 (0.2)

3.7 (0.8)

0.71

Левый глаз—нос

4.0 (0.3)

2.8 (0.9)

0.65

Левый глаз—рот

6.3 (0.4)

5.0 (0.9)

0.79

Переносица—правый глаз

2.6 (0.1)

2.0 (0.6)

0.77

Переносица—нос

3.0 (0.3)

2.6 (0.9)

0.87

Переносица—рот

5.8 (0.5)

4.6 (0.9)

0.79

Правый глаз—нос

4.0 (0.3)

2.8 (1.0)

0.70

Правый глаз—рот

6.3 (0.4)

5.0 (0.8)

0.79

Нос—рот

2.7 (0.2)

2.7 (0.9)

1.00

Медианная продолжительность фиксаций у отдельных участников составляет от 225 мс до 325 мс. Зависимость продолжительности отдельных фиксаций от амплитуды предшествующей саккады близка к линейной (рис. 28).

Максимум амплитуды саккад соответствует фиксациями продолжительностью 400— 700 мс (рис. 29).

Таким образом, в случае распознавания статических изображений эмоциональных экспрессий амплитуда саккад оказывается несколько выше, чем при рассматривании динамических изображений. Это проявляется в том, что практически у всех участников исследования имеет место полносвязная структура рассматривания, включающая прямые переходы между зонами рта и глаз (рис. 30, 31).

Организация движений глаз в условиях статики и динамики лица:
сравнительный анализ

Сравнительный анализ показателей окуломоторной активности при рассматривании статических и динамических изображений лица в независимости от выполняемой субъектом восприятия задачи указывает в большей степени на сходство в этих показателях, нежели на различия. Главный результат состоит в том, что и в условиях восприятия статики, и в условиях восприятия динамики движения глаз подчиняются внутренней структуре лица и функциональным связям мимических зон. Имеет место общая ориентировочная основа решения задачи восприятия лицевых экспрессий. В обоих случаях зарегистрирована доминантность верхней части лица натурщика по отношению к нижней, правой половины по отношению к левой. Так же как и фиксации, маршруты обзора пролегают внутри фото- либо видеоизображений, редко соприкасаясь с контуром лица. Амплитуды саккад соразмерны локализации глаз, носа и губ, а маршруты обзора носят циклический характер.

Явные различия обнаруживаются на уровне показателей движений глаз по отдельным зонам интереса. При экспозиции видеофрагментов наибольшее время рассматривания связано с зонами глаз, время рассматривания зон рта и носа значительно короче. При экспозиции статических изображений время рассматривания рта сопоставимо с временем рассматривания левого и правого глаза.

Структура осмотра зон интереса при восприятии статических изображений имеет полносвязный циклический характер, за счет чего возникает высокая вариативность стратегий рассматривания. Возвратные фиксации в той же зоне интереса выражены слабо, а их вклад в общую структуру незначителен. При восприятии динамических изображений маршруты осмотра имеют вырожденный, частично редуцированный характер, определяемый текущей динамикой мимики лица. При этом значительно возрастает вклад повторных фиксаций в той же зоне интереса. В целом, стратегия осмотра менее вариативна, чем при экспозиции статических изображений.

Медианная продолжительность фиксаций статических изображений (266 мс) оказывается несколько ниже, чем динамических (283 мс). В то же время индивидуальная вариативность продолжительности фиксаций во втором случае значительно выше. Распределение длительностей фиксаций динамических изображений имеет бимодаль­ный характер. Максимум длительности фиксации, соответствующий 200—250 мс, зарегистрирован при восприятии как статических, так и динамических изображений. Максимум длительности, равный 50—100 мс, проявляется только в случае динамических изображений и связан с повторными короткими фиксациями в одной и той же зоне интереса. Длительные фиксации (вплоть до 9 с) совпадают с выделением наблюдателем признаков сообщения достоверной/недостоверной информации и формированием соответствующего ответа.

Анализ соотношения продолжительности фиксаций и амплитуды предшествующих им саккад показывает отсутствие максимума амплитуды, связанного с относительно короткими фиксациями (порядка 180 мс). Подобная зависимость описана ранее на материале движений глаз при рассматривании многофигурных композиций (Unema et al, 2005). По мнению исследователей, паттерн окуломоторной активности, включающий короткие фиксации и высокоамплитудные саккады, является амбъентным способом восприятия, позволяющим «схватить» изображение в целом; фиксации большой продолжительности, следующие за малоамплитудными саккадами, характеризуют фокальный способ восприятия — выделение наблюдателем фрагментов изображения. Величины как средней, так и максимальной амплитуды саккад ниже в случае рассматривания лица, нежели при рассматривании многофигурных композиций. Эффективное восприятие выражения лица, позволяющее «достраивать» целостное выражение по его парциальным проявлениям, допускает локальную концентрацию внимания на отдельных зонах лица. При экспозиции статического лица наблюдатель выполняет циклические переходы между зонами, несущими согласованную информацию об эмоциях коммуниканта. В случае восприя - тия экспрессий лица в динамике может происходить выбор наиболее информативной, с точки зрения наблюдателя, зоны интереса, последующее «считывание» динамической информации посредством нескольких фиксаций и лишь затем переход в новую зону интереса. Первые 25—30 с глазодвигательной активности могут быть проинтерпретирова­ны как время формирования интегративного образа выражения лица в данной ситуации (Барабанщиков, 2009).

Медианная амплитуда саккад при экспозиции динамических изображений (2,1°) меньше, чем при экспозиции статических (3,6°). Данный результат объясняется несколько меньшими дистанциями между центрами зон интереса для динамических изображений и снижением доли высокоамплитудных саккад при их восприятии. Напротив, при восприятии динамического изображения возрастает доля малоампли­тудных саккад, связанных с переходами внутри одной и той же зоны интереса . Также при восприятии динамических изображений выше и индивидуальная вариативность амплитуды саккад.

Ожидаемые различия в характере окуломоторной активности связаны, с одной стороны, с особенностями стимульного материала (подвижное/статичное лицо), с другой стороны — со спецификой решаемой наблюдателем задачи. При экспозиции статических изображений задача оказывается сравнительно простой и отличается высокой долей правильных ответов. Напротив, оценка достоверности/недостоверности сообщаемой информации по невербальным признакам представляет собой сложную для неподготовленного наблюдателя задачу. В целом, естественная коммуникативная ситуация (автобиографическая беседа) оценивается наблюдателями как более достоверная по сравнению с искусственной (игровой). Оценка достоверности/недостоверности сообщаемой информации выполняется наблюдателями по верхней части лица. При этом доля связанных с ответами фиксаций в верхней части лица, как правило, больше, чем суммарная доля фиксаций в этой же части. Показатели вариативности оценок довольно высоки и связаны с индивидуально-психологическими особенностями конкретных наблюдателей. Зрительные фиксации подвижного лица, сопровождающиеся ответами наблюдателей и предшествующие им, имеют более высокую продолжительность. Выявленные особенности окуломоторной активности являются предикторами не столько истинности информации, сообщаемой коммуникантом, сколько искренности его поведения.

Заключение

Организация окуломоторной активности при восприятии экспрессий подвижного лица и его статического изображения действительно носит согласованный и закономерный характер. И в том и в другом случае движение взора подчиняется внутренней структуре лица и функциональным связям мимических зон. Несмотря на существенные различия в содержании выполняемых задач, их ориентировочная основа остается неизменной, доминируют одни и те же части лица, соразмерны амплитуды саккад, связывающие локализацию глаз и рта, на которые приходится основное время рассматривания; в обоих случаях выражена цикличность маршрутов обзора. Различия касаются распределения показателей движений глаз по зонам интереса. При экспозиции статических изображений наибольшее время рассматривания связывается с зонами глаз и рта, при экспозиции динамических изображений — только глаз. В первом случае структуры осмотра имеют полносвязанный циклический характер и высокую вариативность стратегий рассматривания, во втором — вырожденный, редуцированный характер, определяемый текущей динамикой мимики лица; значимо возрастает вклад повторных фиксаций, а стратегия осмотра менее вариативна. Продолжительность фиксации статических изображений несколько ниже динамических, распределение которых имеет бимодальный характер. Взаимосвязь амплитуды саккад и длительности фиксаций как при статике, так и при динамике лица не выявлена. Устойчивое разделение длительностей фиксаций на относительно короткие (зоны носа и переносицы) и относительно длинные (зоны рта и глаз) допускает их взаимосвязь со способом восприятия: амбъентным либо фокальным. Описанные различия определяются не только динамикой лица, но и содержанием
решаемой наблюдателем задачи. Анализ их соотношения требует дополнительных исследований.

 


           Финансирование

Работа выполнена при поддержке РФФИ. Проект 16-06-01101, «Оценка эмоциональных состояний и индивидуально-психологических особенностей личности в процессе общения».

Литература

  1. Барабанщиков В.А. Психология восприятия: организация и развитие перцептивного процесса. М.: Когито-Центр; Высшая школа психологии, 2006. 240 с.
  2. Барабанщиков В.А. Экспрессии лица и их восприятие. М.: Институт психологии РАН, 2012. 341 с.
  3. Барабанщиков В.А. Динамика восприятия выражений лица. М.: Когито-центр, 2016. 378 с.
  4. Барабанщиков В.А., Жегалло А.В., Королькова О.А. Перцептивная категоризация выражений лица. М.: Когито-центр, 2016. 376 с.
  5. Барабанщиков В.А., Королькова О.А., Лободинская Е.А., Зависимость восприятия лицевых экспрессий от пространственно-временной структуры экспозиции // Когнитивные механизмы невербальной коммуникации / В.А. Барабанщиков. М.: Когито-центр, 2017. С. 48—101.
  6. Барабанщиков В.А,, Королькова О.А., Лободинская Е.А. Восприятие эмоциональных экспрессий различной степени четкости при стробоскопической экспозиции лица и его маскировке // Российский психологический журнал. 2016. № 4. С. 197—217.
  7. Барабанщиков В.А., Носуленко В.Н., Самойленко Е.С., Харитонов А.Н., Хозе Е.Г. Оценка психологических характеристик человека по особенностям внешне наблюдаемого поведения // Психология и педагогика XXI века: теория, практика и перспективы / Н.Б. Карабущенко, Н.П. Сунгурова. М.: РУДН, 2015. С. 132—168.
  8. Барабанщиков В.А., Носуленко В.Н., Самойленко Е.С., Хозе Е.Г. Полипозиционное наблюдение за поведением людей в процессе целенаправленной структурированной беседы // Психология и педагогика XXI века: теория, практика и перспективы / Н.Б. Карабущенко, Н.П. Сунгурова. М.: РУДН, 2015. С. 109—131.
  9. Бодалев А.А. Психология общения. М.: Воронеж: АПСН, 1996. 225 с.
  10. Жегалло А.В. Специфика содержания зрительных фиксаций при опознании эмоциональных экспрессий по выражению лица // Айтрекинг в психологической науке и практике / В.А. Барабанщиков. М.: Когито-Центр, 2015. С. 240—255.
  11. Жегалло А.В., Хозе Е.Г. Движение глаз при оценке лица передающего достоверную и не достоверную информацию // Айтрекинг в психологической науке и практике / В.А. Барабанщиков. М.: Когито-Центр, 2015. С. 256—259.
  12. Хрисанфова Л.А. Динамика восприятия экспрессий лица: дисс. … канд. психол. наук. М., 2004.
  13. Alves N.T. Recognition of static and dynamic facial expression: a study review // Estudos de Psicologia. 2013. Vol. 18. P. 125—130.
  14. Barabanschikov V.A. Gaze dynamics in the recognition of facial expressions of emotion // Perception. 2015. Vol. 44. P. 1007—1019.
  15. Bruce V., Young A. In the eye of beholder. The science of face perception. N.Y.: Oxford University Preess, 2000.
  16. Cox M., Nuevo-Chiquero J., Saragih JM., Lucey S. CSIRO Face Analysis SDK. 10th IEEE International Conference on Automatic Face and Gesture Recognition. Shangai, China, 2013.
  17. Krumhuber E., Wansteed A., Cosker D., Warshall D. Effects of dynamic aspects of facial expression: a review // Emotion Review. 2013. Vol. 5. P. 41—46.
  18. Langner O., Dotsch R., Bijlstra G., Wigboldus D.H.J., Hawk S.T., van Knippenberg A. Presentation and validation of the Radboud Faces Database // Cognition & Emotion. 2010. Vol. 24. № 8. P. 1377—1388.
  19. R Core Team. R: A language and environment for statistical computing [Электронный ресурс] // R Foundation for Statistical Computing, Vienna, Austria, 2015. URL http://www.R-project.org
  20. Russell J.A., Fernandez-Dols J.M. The psychology of facial expression. L.: Cambridge University Press, 2002.
  21. Unema P., Pannasch S., Joos M., Velichkovsky B. Time cource of information processing during scene perception: The relationship between saccade amplitude and fixation duration. Visual Cognition. 2005. Vol. 12. P. 473—494.
  22. Wallraven C., Breidt M., Cunningham D., Bulthoff H.H. Evaluating the perceptual realism of animated facial expressions // ACM Transactions on Applied Perception. 2008. Vol. 4. P. 1—20.

Информация об авторах

Барабанщиков Владимир Александрович, доктор психологических наук, профессор, директор, Институт экспериментальной психологии, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), декан факультета психологии, Московский институт психоанализа (НОЧУ ВО «МИП»), Москва, Россия, ORCID: https://orcid.org/0000-0002-5084-0513, e-mail: vladimir.barabanschikov@gmail.com

Жегалло Александр Владимирович, кандидат психологических наук, Старший научный сотрудник лаборатории системных исследований психики, Институт психологии Российской академии наук (ФГБУН ИП РАН), Научный сотрудник центра экспериментальной психологии МГППУ, Москва, Россия, ORCID: https://orcid.org/0000-0002-5307-0083, e-mail: zhegalloav@ipran.ru

Метрики

Просмотров

Всего: 2480
В прошлом месяце: 22
В текущем месяце: 11

Скачиваний

Всего: 1250
В прошлом месяце: 13
В текущем месяце: 1