Холистические процессы восприятия лица: метод айтрекинга

Введение

За последнее десятилетие в психологии восприятия значительно возрос интерес к процессам восприятия лица и лицевой экспрессии. Этот интерес связан с большим числом новых практических задач, возникших при разработке автоматизированных систем распознавания лиц и лицевых экспрессий, при развитии технологий биоуправления и робототехники, а также при разработке биометрических систем безопасности нового поколения.

Восприятие лиц является сложным перцептивным процессом, имеющим свои специфические особенности по сравнению с восприятием других объектов [26; 37]. Было высказано предположение о существовании двух базовых процессов перцепции лица [32]. Один из них, названный аналитическим процессом, основан на последовательном анализе отдельных черт (глаз, губ, овала лица и др.). Другой процесс, обозначенный как холисти­ческий, предполагает, что лицо воспринимается как относительно недифференцированное целое, в котором отдельные черты не играют доминирующей роли.

Для изучения аналитических и холистических процессов в задачах раотознавания и различения лиц было разработано несколько экспериментальных процедур, позволяющих уменьшать влияние холистических процессов [для обзора см.: 9; 30]. К ним следует отнести так называемые парадигмы «часть—целое» (the part-whole paradigm), композитных лиц (the composite face paradigm) и инверсии (the inversion paradigm). Одной из наиболее эффективных является процедура инверсии, в которой сравнивается эффективность распознавания лиц, изображения которых предъявляются в привычной (прямой) и перевернутой на 180° (инвертированной) ориентации. Ее применение позволило выявить эффект инверсии лица (the face inversion effect), при котором значимо хуже и медленнее распознаются лица при инвертированном изображении в сравнении с лицами, изображения которых предъявляются в обычной ориентации [18; 37]. Аналогичный эффект был получен и при распознавании экс­прессий лиц при инвертированном изображении [3]. Полученные результаты продемонстрировали, что восприятие и распознавание лица при естественном его расположении происходит при непосредственном участии холистических процессов: в условиях инверсии влияние холистических процессов нивелируется, а роль аналитических процессов возрастает.

В последнее десятилетие для более детального изучения холистических процессов восприятия лица исследователи использовали технологии регистрации движения глаз (ай- трекинга), совмещая их с ранее разработанными экспериментальными парадигмами [8; 11; 24; 29]. Эффективность использования метода айтрекинга для изучения процессов восприятия лица была впервые продемонстрирована в работах А.Л. Ярбуса [10], результаты которых указали на особенности движений глаз в задачах восприятия лица. Позднее технология айтрекинга неоднократно эффективно использовалась в исследованиях, направленных на изучение распознавания и различения лица и лицевых экспрессий [2; 12; 23; 27].

В научной литературе были предложены различные гипотезы о том, можно ли путем оценки стратегии движения глаз определить, какие из процессов являются доминирующими — холистические или аналитические. Термин «стратегия движения глаз» понимается как пространственный паттерн распределения взора в процессе восприятия лица. В ряде работ были высказаны предположения о том, что глазодвигательные стратегии должны изменяться в случае уменьшения влияния холистических процессов [17; 22; 36]. Полученные результаты оказались противоречивыми с точки зрения интерпретации движения глаз, а именно с точки зрения понимания того, какие именно изменения глазодвигательных паттернов могут являться критерием уменьшения влияния холистических процессов. Так, в одних исследованиях было показано, что при повышении влияния холистических процессов наблюдаются более длительные фиксации в центральной зоне лица (нос, переносица) наряду с непродолжительными фиксациями других базовых черт [4; 17; 24]. Действительно, такая стратегия кажется наиболее оптимальной с точки зрения оценки лица как единого гештальта, поскольку позволяет из центральной позиции более точно оценивать конфигурацию базовых черт. В случае доминирования аналитических процессов формируется альтернативная стратегия, для которой характерно равномерное распределение непродолжительных фиксаций по базовым зонам лица. Одним из подтверждений этой гипотезы явилось исследование [17], в котором авторы использовали оригинальную методику предъявления изображений лица.

В первом случае изображения предъявлялись при сильно суженном поле зрения (<2°), что приводило к необходимости применения аналитической стратегии движения глаз, тогда как во втором случае изображения лица предъявлялись в условиях обычного наблюдения (поле зрения >8°), что задействовало холистическую стратегию восприятия лица.

В ряде исследований была предложена альтернативная гипотеза, согласно которой аналитические и холистические механизмы восприятия лица слабо связаны с паттернами движений глаз [34; 35]. Для доказательства этого предположения авторы сравнивали стратегии движения глаз при восприятии лиц, изображения которых предъявлялись в привычной и инвертированной ориентации. Предполагалось, что при уменьшении влияния холистических процессов при инверсии изображения лица стратегия движения глаз должна изменяться, а именно должно наблюдаться меньше фиксаций в центральной части лица. Результаты этих исследований показали, что распределение фиксаций на базовых чертах, а также количество переключений взора с одной черты на другую практически не различается в обоих случаях предъявления изображений лица — как при прямо ориентированном, так и при инвертированном. В других работах также была подтверждена гипотеза слабо выраженной связи хо­листических процессов и движений глаз. Так, в одной из них было показано, что число переключений взора в задаче распознавания является относительно постоянной величиной вне зависимости от ориентации предъявляемого изображения лица [7].

Таким образом, в современной научной литературе остается открытым вопрос о связи между стратегиями движений глаз и интенсивностью протеканием холистических и аналитических перцептивных процессов. Мы предположили, что противоречия в данных, подтверждающих или опровергающих влияние холистических процессов на движения глаз, обусловлены несколькими причинами. Одна из них — отсутствие учета индивидуальных стратегий движения глаз, в частности и в задачах считывания информации при восприятии лица. В некоторых современных работах было высказано предположение о том, что некоторые характеристики движений глаз носят индивидуальный и неизменный характер [5; 13; 25], что позволяет использовать их в задачах психометрики. Известно, что когнитивный навык считывания информации при восприятии лица формируется очень рано и постепенно совершенствуется в процессе социального общения [14; 19]. Можно предположить, что этот навык носит индивидуальный характер и остается относительно неизменным. В научной литературе встречается немало работ, в которых анализировались индивидуальные глазодвигательные стратегии в процессе восприятия лица [2; 8; 17; 24; 27]. Мы предположили, что анализ движений глаз при инверсии изображения лица должен осуществляться с учетом индивидуальных стратегий движения глаз наблюдателей. С нашей точки зрения, выявление специфики изменения глазодвигательных характеристик при эффекте инверсии у разных индивидуумов может предоставить более точную информацию относительно влияния холистических процессов на особенности движения глаз. Кроме того, этот анализ может помочь объяснить противоречия между данными различных авторов при интерпретации вклада глазодвигательных функций при инверсии изображения. Тестированию этой гипотезы и было посвящено наше исследование.

Целью данной работы являлось изучение индивидуальных стратегий движения глаз в задаче оценки привлекательности лиц, изображения которых предъявляются в привычно ориентированном варианте и в инверсии.

Были высказаны следующие гипотезы. Изучение влияния эффекта инверсии на характеристики движения глаз проводилось в задаче оценки привлекательности лица. Предполагалось, что эта задача в большей степени соответствует цели нашего исследования, поскольку она тесно связана с оценкой гармоничности лица, а значит с оценкой целостной конфигурации всех черт. В условиях восприятия лица при инвертированном изображении глазодвигательные стратегии будут изменяться в силу уменьшения влияния холи­стических процессов. Кроме того, динамика изменений будет зависеть от индивидуальных стратегий движения глаз наблюдателя. Эффективным критерием для анализа специфики глазодвигательных стратегий является интегральный показатель соотношения длительности фиксаций и амплитуды саккад, зарегистрированных в процессе восприятия лица.

Метод

Участники. В эксперименте принимали участие 57 человек (30 мужчин, 27 женщин, средний возраст 22,2±4,1). Все участники имели нормальное или скорректированное до нормального зрение.

Стимуляция. В качестве стимулов были использованы фотографии лиц из базы изображений лиц WSEFEP (http://www.emotional-face.org). Для эксперимента были отобраны 10 фотографий: пять мужских и пять женских лиц, принадлежащих одной возрастной категории и имеющих нейтральное эмоциональное выражение. С помощью программы Adobe Photoshop CC изображения были переведены в черно-белый формат для снижения эффектов колористики, а также оконтурены овальной рамкой для снижения влияния вторичных признаков лица. Для уменьшения привлекательности лиц использовался метод изменения геометрических пропорций черт лица, предложенный Э. Брунсвиком [16]. Были разработаны варианты искажений черт лица, приводящие к снижению его привлекательности. На рис. 1 представлены все типы искажений для изображения одного лица. Для каждого из 10 изображений были созданы 8 модификаций, в которых либо увеличивалось и уменьшалось расстояние между глазами (рис. 1.2, 1.3), либо увеличивалось и уменьшалось расстояние между носом и губами (рис.1.4, 1.5), либо применялась комбинация указанных выше искажений (рис. 1.6—1.9). Изменения расстояний составляли ±10% от величины расстояний между глазами, а также между носом и губами. Таким образом, было подготовлено 90 стимулов (10 лиц х 9 вариантов искажений) привычно ориентированных изображений лиц. Для каждого стимула была создана его инвертированная версия — лицо было повернуто на 180° по вертикали.

Аппаратура. Для записи движений глаз использовалась аппаратура для регистрации движения глаз SMI iViewX Red-500. Регистрация осуществлялась в монокулярном режиме с частотой дискретизации 500 Гц и разрешением < 0,1°. Стимулы предъявлялись на мониторе с диагональю 23 дюйма, установленном на расстоянии 65 см от наблюдателя. Разрешение экрана составляло 1920х1080 pxl. Угловые размеры стимулов составляли 9,3°x14,1°.

Процедура. Участнику предлагалась инструкция: «Вам будут предъявляться изображения лиц в прямой или обратной ориентации. Ваша задача — оценить степень привлекательности лица по шкале от 1 до 9 (1 — наименьшая привлекательность, 9 — наибольшая)» Схема стандартной экспериментальной пробы представляла собой следующий алгоритм: в левом или правом углу монитора появлялся фиксационный крест. Если фиксация сохранялась в течение 500 мс, в центре экрана автоматически на 2000 мс предъявлялось изображение лица в прямой или обратной ориентации. Затем на экране предъявлялась числовая шкала для оценки степени привлекательности. После ответа запускалась очередная экспериментальная проба. Всего было проведено 180 проб. Последовательность предъявлений была квазислучайной. Процедура предъявления всех 180 стимулов занимала в среднем 20 минут. Во время предъявления изображений осуществлялась регистрация движения глаз.

Рис. 1. Типы искажений одного лица: 1) отсутствие искажений; 2) раздвинутые глаза; 3) сдвинутые глаза; 4) приподнятые губы; 5) опущенные губы; 6) раздвинутые глаза + приподнятые губы;

7) раздвинутые глаза + опущенные губы; 8) сдвинутые глаза + приподнятые губы; 9) сдвинутые глаза + опущенные губы

Обработка результатов. Статистическая обработка данных осуществлялась в программе SPSS Statistics. Для анализа глазодвигательных показателей использовалась программа BeGaze. Основными параметрами анализа являлись усредненное время длительности фиксаций и амплитуды саккад, а также время пребывания взора в зонах интереса (AOIs). Для каждого изображения были выделены стандартные зоны лица — глаз (правый и левый глаза выделялись отдельно, но в анализе использовалась сумма показателей), носа, переносицы, губ и зона White space, куда попадали все остальные фиксации (рис. 2).

Рис. 2. Зоны интереса лица (AOIs), для которых проводился анализ времени пребывания взора
в зонах интереса: 1 — правый и левый глаза; 2 — нос; 3- переносица; 4 — губы; 5 — White space

Результаты

Оценки привлекательности лиц

Для изучения влияния холистических процессов на восприятие привлекательности лица рассчитывались усредненные по всей выборке значения привлекательности раздельно для условий прямой и обратной ориентации. Предполагалось, что эффект инверсии проявится в снижении эффективности оценки привлекательности лица в силу уменьшения влияния холистических процессов. Чтобы проверить эту гипотезу, сравнивались показатели рейтинговых оценок привлекательности лиц, изображенных в прямой и обратной ориентации. Согласно статистическому анализу, оценки в обоих случаях не являются нормально распределенными (тест Колмогорова-Смирнова, p <,001). Медианный балл показателей оценки привлекательности лиц составил 4 (межквартильный размах от 2 до 6 баллов) для прямой ориентации и также 4 (межквартильный размах от 3 до 5 баллов) для инвертированной ориентации изображения. С помощью расчета критерия Ливиня было выявлено значимое различие дисперсий рейтинговых оценок (F=41,94; df = 9966; p <,01): в случае инвертированных изображений показатели дисперсии были значимо ниже. Снижение дисперсии означало, что лица, которые в условиях прямой ориентации расценивались как очень привлекательные (8—9 баллов) или очень непривлекательные (1—2 балла), в условиях инвертированной ориентации стали оцениваться существенно более близкими по привлекательности баллами в диапазоне от 3 до 5. Этот результат позволил сделать вывод о том, что эффект инверсии лица проявляется не только в ухудшении распознавания лица, но и в снижении эффективности оценки его привлекательности. Таким образом, холисти­ческие механизмы играют важную роль не только в базовых когнитивных процессах распознавания и различения лиц, но и в более высокоуровневых процессах оценки их привлекательности.

Регистрация глазодвигательной активности и анализ полученных данных

Для изучения специфики взаимосвязи интенсивности влияния холистических процессов и глазодвигательных стратегий были рассчитаны усредненные по выборке длительности фиксаций и амплитуды саккад раздельно для привычно ориентированных и инвертированных изображений. Анализ полученных данных на основании теста Колмогорова— Смирнова показал, что распределение показателей длительности фиксаций для привычно ориентированных и инвертированных изображений не является нормальным (p <,001). Были рассчитаны медианная длительность фиксаций для привычно ориентированных изображений М1= 241 мс (межквартильный размах от 187 мс до 274 мс) и для инвертированных изображений М2= 218 мс (межквартильный размах от 188 мс до 261 мс). Расчет критерия Вилкоксона выявил, что величина М1 была значимо выше величины М2 (Z=-2,962; p=,003). Аналогичный анализ был проведен для показателей амплитуды саккад, выполненных в процессе восприятия привычно ориентированных и инвертированных изображений лиц. Согласно тесту Колмогорова—Смирнова, распределение амплитуд саккад не являлось нормальным при наблюдении лиц в привычной и инвертированной ориентации (p<,001). Значение медианы амплитуды саккад было равно А1= 5° (межквартильный размах — от 4,3° до 5,8°) для лиц на нормально ориентированном изображении и А2 = 5,2° (межквар­тильный размах от 4,5° до 6°) для лиц на инвертированном изображении. Расчет критерия Вилкоксона показал, что величины А2 были значимо выше (Z=-8,664; p <,001). Эти результаты свидетельствуют о том, что уменьшение влияния холистических процессов в эффекте инверсии может проявляться в изменении стратегий движения глаз.

Затем было рассчитано усредненное по всей выборке время пребывания взора в зонах интереса (в мс) для условий привычного и инвертированного расположения лиц (рис. 3). Как видно из рис. 3, для условий инверсии наблюдается снижение времени пребывания взора в зонах глаз и переносицы (верхняя часть лица) и увеличение времени пребывания в зонах носа и губ (нижняя часть лица). Эти изменения оказались значимыми для всех выделенных зон, а именно: для областей глаз (Z=-16,225; p<,001), губ (Z=-16,701; p<,001), носа (Z=-6,994; p<,001) и переносицы (Z=-8,800; p<,001), df = 5128. Показатели времени пребывания взора в области White space были настолько низкими (< 0,5%), что мы не проводили их дальнейший анализ. Полученные нами данные об изменении времени пребывания взора в зонах интереса при инверсии изображения лица свидетельствуют о влиянии холистиче­ских процессов на динамику глазодвигательных стратегий и согласуются с результатами других работ [36].

Рис. 3. Время пребывания взора (в мс) в зонах интереса лица: горизонтальные линии внутри прямоугольников отображают медианы, вертикали прямоугольников — межквартильный размах и «усы» — 95% доверительный интервал; белыми прямоугольниками представлены данные для нормально ориентированных изображений лиц, серыми прямоугольниками — для инвертированных изображений лиц

Далее мы проверили гипотезу о роли индивидуальных стратегий движения глаз в процессе восприятия лица. Мы предполагали, что глазодвигательные стратегии будут зависеть не только от влияния холистических процессов, но и от индивидуальных стратегий движения глаз. Согласно высказанной нами гипотезе, особенности распределения фиксаций по зонам интереса зависят от индивидуального навыка распознавания и различения как экспрессий лица, так и его черт. Предполагалось, что индивидуальные особенности стратегий распознавания экспрессий и черт лица могут проявиться в различиях в длительности пребывания взора в выделенных зонах интереса. Для проверки этой гипотезы мы изучили параметры глазодвигательной активности, которые могли бы стать наилучшими критериями оценки индивидуального стиля распознавания и различения экспрессий и черт лица. Для этого мы обратились к идее выделения двух способов восприятия — амбьентного и фокального [33], или, в другой терминологии, — охватывающего и сканирующего [1]. При доминировании первого способа восприятия оценивается конфигурация лица в целом, что проявляется в более долгих фиксациях в центральной части лица, тогда как при доминировании второго типа осуществляется анализ отдельных черт лица, что должно отражаться в фиксации отдельных черт (глаз, губ). В результате в качестве такого критерия был выбран показатель R, отражающий отношение средней длительности фиксаций к средней амплитуде саккад, зарегистрированных во время наблюдения лица. Этот показатель, с нашей точки зрения, позволил разделить всю выборку на группы, использующие разные (амбьентную/ фокальную или охватывающую/сканирующую) стратегии распознавания лица. Для оценки значений R для каждого участника был рассчитан интегральный показатель, усредненный по данным оценки всех привычно ориентированных изображений. Индивидуальные интегральные показатели были сортированы по возрастанию, после чего данные первого и третьего квартилей в этой последовательности были использованы для выделения двух групп. Первая группа — 15 участников, чьи паттерны глазодвигательной активности состояли в долгих фиксациях (260—274 мс) и коротких амплитудах саккад (4,4—5,0°), — была обозначена как группа со статической стратегией движения глаз. Другая группа — 15 участников, чьи паттерны глазодвигательной активности состояли в относительно коротких фиксациях (200—218 мс) и более длинных амплитудах саккад (5,5—5,8°), — была обозначена как группа с динамической стратегией.

Далее для каждой группы раздельно был проведен анализ длительности пребывания взора в зонах интереса лица для условия привычно ориентированных изображений (рис. 4). Данные, представленные на рис. 4, показывают, что группа, использующая статическую стратегию, проводила больше времени в зоне носа (Z=-11,71; p<,001) и переносицы (Z=-13,42; p<,001), а группа с динамической стратегий — в зоне глаз (Z=-16,45; p<,001) и губ (Z=-8,09; p<,001). Различия в стратегиях движения глаз очевидны: участники, использующие статическую стратегию, практически одинаково долго рассматривают все базовые черты лица — глаза, нос и переносицу, тогда как участники, использующие динамическую стратегию, предпочитают дольше рассматривать зону глаз по сравнению с другими зонами.

Следующим этапом нашего анализа стало изучение влияния холистических процессов на стратегии движения глаз раздельно для двух выделенных групп. Было рассчитано время пребывания взора (в %) в зонах интереса для условий привычной и инвертированной ориентации изображений лица для обеих групп (использующей статическую стратегию — рис. 5 а и использующей динамическую стратегию — рис. 5 б). Анализ показателей участников первой группы свидетельствует об отсутствии существенных различий в показателях времени пребывания взора в зоне глаз (Z=-,760; p=,450) и зоне носа (Z=-,324; p=,746) и наличии более длительного времени пребывания взора в зоне губ (Z=-5,;27; p <,001) и менее длительного — в области переносицы (Z=-5,927; p <,001). При анализе показателей участников второй группы (динамическая стратегия восприятия) не было найдено значимых различий во времени пребывания взора в зоне переносицы (Z=-472; p=,637), при этом показатели длительности пребывания взора в зоне глаз существенно ниже (Z=-14,771; p <,001) и существенно выше в зоне носа (Z=-4,140; p<,001) и губ (Z=-12,701; p <,001).

Рис. 4. Время пребывания взора (в мс) в зонах интереса для двух выделенных групп для условия привычно ориентированных лиц: прямоугольниками с точками помечены результаты анализа показателей первой группы; прямоугольниками с наклонной штриховкой — результаты анализа показателей второй группы

Рис. 5. Время пребывания взора (в мс) в зонах интереса: а) для группы со статической стратегией для условий привычно ориентированных и инвертированных изображений лиц (соответственно, белые и серые прямоугольники с точками); б) для группы с динамической стратегией для условий привычно ориентированных и инвертированных изображений лиц (соответственно, белые и серые прямоугольники со штриховкой)