Окуломоторная активность при выполнении задачи невербальной идентификации переходных экспрессий лица^*

Исследование направлено на изучение особенностей окуломоторной активности при выполнении невербальной идентификации экспрессий лица. Испытуемым предлагалось определить соответствие между фотоизображениями комбинированных экспрессий и графическими схемами базовых экспрессий лица. Полученные предварительные результаты указывают на возможность использования показателей окуломотороной активности для определения положения границы между категориями (базовыми экспрессиями).

Проблема

Экспериментальное изучение категориальности восприятия экспрессий лица предполагает одновременное выполнение испытуемыми задач дискриминации и идентификации на стимульном материале, представляющем собой построенные с помощью морфинга переходные ряды между фотоизображениями базовых экспрессий лица. В проводившихся нами исследованиях (Барабанщиков, Жегалло, 2007) использовались переходные ряды между экспрессиями радости, страха и гнева, а также страха и удивления по Экману (Ekman, 2004; Ekman, Friesen, 1975). Поскольку данный стимульный материал аналогичен использованному в ранее проводившихся исследованиях категориальности восприятия экспрессий (Calder et al., 1996), наше внимание было сосредоточено на особенностях выполнения испытуемыми задачи дискриминации изображений. Тем не менее проведение исследований, связанных с выполнением задачи идентификации на данном стимульном материале, представляется актуальным, а в случае применения метода регистрации окуломоторной активности позволяет получить дополнительную информацию об особенностях решения задач такого типа.

Методика

В качестве стимульного материала были использованы: переходный ряд между экспрессиями страха и удивления (опорные фотоизображения JJ4-13 и JJ5-13 из набора Pictures of Facial Affect) и переходные ряды между экспрессиями радости, страха и гнева (опорные фотоизображения JJ4-7, JJ5-13, JJ3-12), ранее использовавшиеся нами при изучении особенностей решения дискриминационной задачи (рис. 1, 2). Каждый переходный ряд состоял из двух опорных изображений и четырех переходных (морфы 20/80; 40/60; 60/40; 80/20), таким образом, в общей сложности стимульный материал включал 21 изображение.

Рис. 1. Переходный ряд «страх – удивление»

Рис. 2. Переходные ряды «радость – страх – гнев – радость»

Для каждого из предъявлявшихся изображений испытуемые должны были выполнить задачу невербальной идентификации, т.е. назвать номера одного или нескольких эталонных изображений, выражающих то же эмоциональное состояние, что и на предъявленном ранее фотоизображении. В качестве эталонов использовались графические схемы экспрессий лица по В.А. Барабанщикову и Т.Н. Малковой (рис. 3) из набора Г (мимические проявления во всех зонах лица): 23 – удивление, 24 – страх, 25 – отвращение, 26 – гнев, 27 – радость, 28 – горе, 29 – нейтральное; нумерация по Малковой (1981).

Рис. 3. Эталонные графические схемы: 1– удивление, 2 – страх, 3 – отвращение, 4 – гнев, 5 – радость, 6 – горе, 7 – нейтральное

Стимульная последовательность состояла из фиксационной точки (время предъявления 1 с), идентифицируемого изображения (угловые размеры 5.5ºх7.8º, время предъявления 5 с), набора эталонных схем (угловые размеры каждой из схем 6.3ºх9.5º, время предъявления не ограничивалось); ответы испытуемых фиксировались на специальном бланке.
Эксперимент проводился с помощью установки для регистрации движений глаз SMI High Speed в монокулярном режиме с частотой регистрации 500 Гц. Голова испытуемого в ходе эксперимента занимала фиксированное положение. Стимульная последовательность предъявлялась с помощью ПО SMI Experiment Center на 19'' ЭЛТ мониторе ViewSonic 90Gf, расположенном на расстоянии 58 см от глаз испытуемого. Размеры экрана: ширина – 37 см, высота – 27 см. Сбор данных проводился с помощью ПО SMI iView. В эксперименте участвовали студенты московских вузов (первое и второе высшее образование): 31 человек в возрасте от 19 до 40 лет, 6 мужчин и 25 женщин.

Обработка данных

Первичные данные (ответы испытуемых) вводились в компьютер вручную в программе Excel; таблица для каждой экспериментальной ситуации включала фамилию и порядковый номер испытуемого, а также семь ответов «да/нет» (1/0), соответствующих выбору каждой из семи графических схем.

Выделение фиксаций выполнялось по алгоритму Dispersion Threshold Identification при следующих параметрах: предельная величина дисперсии – 20 пикселей, минимальная продолжительность фиксации – 50 мс.

Для выделения последовательности фиксаций исходные файлы данных, получаемые в ходе эксперимента, предварительно конвертировались из формата IDF (iView Data Files) в текстовый формат с помощью утилиты IDF Converter, входящей в состав системы SMI High Speed. Дальнейшая обработка осуществлялась с помощью специально написанной дополнительной программы FixDetect, использующей референсный исходный код реализации алгоритма Dispersion Threshold Identification, поставляемый вместе с системой видеорегистрации Eyegaze Analyzing System при следующих параметрах: предельная величина дисперсии – 20 пикселей, минимальная продолжительность фиксации – 50 мс. Фиксации, начинающиеся при предъявлении одного изображения, а заканчивающиеся при предъявлении следующего, искусственно разбивались на две части (Жегалло, 2009).

Следует отметить, что по умолчанию величина раскрытия зрачка фиксируется системой SMI High Speed в виде числа пикселей исходного видеоизображения, соответствующих ширине и высоте зрачка. При проведении дальнейших исследований для получения величины раскрытия зрачка в миллиметрах необходимо предварительно выполнить процедуру калибровки диаметра зрачка с помощью калибровочного эталона заданного размера.

Первичная статистика для выделенных зон интереса

На фотоизображениях лица были выделены следующие зоны интереса: полное изображение; целое лицо; две прямоугольные зоны, соответствующие левой и правой половинам лица; две прямоугольные зоны, соответствующие верхней и нижней частям лица; пять прямоугольных зон, соответствующих левому глазу, правому глазу, переносице, носу и рту (рис. 4).

Рис. 4. Зоны интереса, выделяемые при рассматривании фотоизображений

На изображениях графических схем были выделены семь прямоугольных зон интереса, соответствующих каждой из схем (рис. 5), а также зона интереса, соответствующая полному изображению.

Координаты зон интереса определялись путем просмотра соответствующих изображений в графическом редакторе с увеличением 400%.

Для каждой из выделенных зон интереса в каждой из экспериментальных ситуаций (оценка испытуемым отдельного фотоизображения) рассчитывались следующие параметры: продолжительность рассматривания зоны интереса в мс (как сумма продолжительностей отдельных фиксаций, относящихся к заданной зоне интереса); число фиксаций, относящихся к данной зоне интереса; средний диаметр раскрытия зрачка в пикселях.

Рис.5. Зоны интереса, выделяемые при рассматривании набора графических схем

Дальнейшая обработка

Для каждой экспериментальной ситуации рассчитывалась суммарная длина пути при рассматривании фотоизображения и набора графических схем в пикселях (как сумма расстояний между соседними фиксациями).

Далее полученные и обработанные данные (ответы испытуемых, статистика по зонам интереса, статистика по длине пути) были объединены в сводную таблицу, характеризующую особенности рассматривания фотоизображения и набор графических схем для каждой из 651 экспериментальной ситуации (31 испытуемый, 21 ситуация оценки для каждого испытуемого). Предварительный анализ в части расчета статистики по зонам интереса, расчета длины пути и создания сводной таблицы проводился с использованием статистического пакета R. Дальнейшая статистическая обработка (описательная статистика и непараметрический анализ) выполнялась в пакете SPSS. Подготовка графиков и диаграмм выполнялась в пакете R.

Результаты и их обсуждение

Рассматривание фотоизображений экспрессий лица
Время предъявления фотоизображений экспрессий лица составляло 5 с. При этом зарегистрированное общее время рассматривания экрана при предъявлении фотоизображений варьировалось от 0 до 5012 мс (рис. 6). Низкие значения времени рассматривания связаны с помехами при регистрации. Максимальное время рассматривания, несколько превышающее 5000 мс, связано с тем, что фактическое время экспозиции в некоторых экспериментальных ситуациях превышало 5000 мс. В целом по данному показателю качество регистрации можно считать удовлетворительным, в 90% случаев общее время рассматривания было больше 3 с.

Общее время рассматривания предъявляемого лица также варьировалось от 0 до 5012 мс, однако доля экспериментальных ситуаций с низким временем рассматривания лица была несколько выше (рис. 7), время рассматривания лица, превышающее 3 с, было достигнуто в 80% случаев.

Данный результат связан, по-видимому, с относительно низким качеством калибровки системы, предшествовавшей эксперименту, и относительно общего времени рассматривания экрана при предъявлении фотоизображений небольшими угловыми размерами предъявляемого фотоизображения. В дальнейших исследованиях целесообразно более тщательно выполнять калибровку (после проведения эксперимента был осуществлен переход на новую версию ПО iView 2.2, позволяющую, в частности, получать более подробную информацию о качестве выполненной калибровки). Другой возможный путь повышения качества регистрируемых данных времени рассматривания лица при предъявлении фотоизображений состоит во введении в эксперимент элементов обратной связи: предъявление фотоизображения лица производится только после того, как система определила, что испытуемый действительно смотрит на фиксационную точку, как предписано инструкцией.

Для проведения дальнейшего анализа окуломоторной активности при рассматривании фотоизображений экспрессий лица было выбрано 517 экспериментальных ситуаций, в которых общее время рассматривания лица составляло 3000 мс и более.
При сопоставлении характеристик рассматривания левой и правой половин лица выявлена выраженная асимметрия (см. табл. 1). Левая половина лица характеризуется бóльшим временем рассматривания, бóльшим числом фиксаций и бóльшей величиной раскрытия зрачка. Анализ по отдельным испытуемым показал, что для 13 человек характерна бóльшая продолжительность рассматривания левой половины фотоизображения лица, для 10 человек – правой стороны, у 8 человек значимых различий во времени рассматривания левой и правой сторон не обнаружено. Значимо бóльшая величина раскрытия зрачка при рассматривании левой половины изображения характерна для 18 человек, обратный эффект обнаружен у одного человека, для 11 человек значимые различия в величине раскрытия зрачка отсутствуют. Данные результаты в целом согласуются с результатами, полученными ранее при анализе рассматривания фотоизображений натурщиков, принадлежащих к разным расовым типам (Барабанщиков, Ананьева, 2008).

Таблица 1. Показатели окуломоторной активности при рассматривании левой и правой половин лица

Сопоставление характеристик рассматривания верхней и нижней частей лица (табл. 2) показало отсутствие значимых различий для времени рассматривания и числа фиксаций. Величина раскрытия зрачка для верхней половины несколько меньше, чем для нижней.

Таблица 2. Показатели окуломоторной активности при рассматривании верхней и нижней частей лица

Сопоставление характеристик рассматривания для пяти зон лица (табл. 3) показало, что величина раскрытия зрачка для разных зон значимо различается (критерий Хи-квадрат Фридмана, p=.008, χ2(4) = 13.771). Поскольку площадь зон в данном случае существенно различается, проводить сопоставление по длительности рассматривания и числу фиксаций некорректно.

Таблица 3. Показатели окуломоторной активности при рассматривании пяти зон лица

Ответы испытуемых

Анализ распределения ответов испытуемых при выполнении задачи идентификации для каждого из 21 фотоизображения (рис. 8, 9) позволяет выделить две группы фотоизображений. Для изображений первой группы можно выделить один доминирующий ответ, т.е. предъявляемые изображения оценивались как «чистые» экспрессии; к ней относятся изображения 1 (страх); 4, 5, 6 (удивление); 7, 8 (радость); 10, 11, 13, 14 (страх); 16, 17, 18 (гнев); 21 (радость). Для изображений второй группы выделяются два и более равнозначных ответа, т.е. предъявляемые изображения оценивались как комбинированные экспрессии; ко второй группе относятся изображения 2, 3 (страх – удивление); 9 (радость – страх); 12 (страх – удивление); 15 (страх – гнев); 19 (страх – отвращение – гнев); 20 (страх – радость – нейтральное).

Рис. 8. Переходный ряд «страх – удивление»; распределение ответов испытуемых при выполнении задачи идентификации; масштаб: 1 деление – 5 ответов

Рис. 9. Переходные ряды «радость – страх – гнев – радость»; распределение ответов испытуемых при выполнении задачи идентификации; масштаб: 1 деление – 5 ответов

В целом картина ответов согласуется с принципом построения переходных рядов, однако в некоторых случаях наблюдаются расхождения:
1. Смешанные экспрессии, в которых к страху добавлены радость или гнев (изображения 10, 11, 13, 14), воспринимаются как более соответствующие схеме страха, чем «чистая» экспрессия страха (изображения 1, 12), при этом для одинаковых изображений 1 и 12 распределение ответов несколько различается. Среднее время рассматривания графических схем составило  6549 мс (рис. 10).

Рис. 10. Распределение продолжительности времени рассматривания экрана при выборе Короткое время рассматривания экрана связано с ситуациями, когда испытуемые в ходе эксперимента запоминали расположение графических схем и в нарушение инструкции досрочно называли номера схем, соответствующие предъявляемому фотоизображению. Чтобы избежать в дальнейшем подобных ситуаций, следует изменить схему эксперимента таким образом, чтобы испытуемые давали ответ путем нажатия на кнопки, причем выбор ответа мог бы быть осуществлен только по предъявлении набора графических схем.

Для проведения дальнейшего анализа окуломоторной активности при рассматривании графических схем было выбрано 627 экспериментальных ситуаций, в которых общее время рассматривания составляло от 1000 до 20000 мс.
Сопоставление характеристик рассматривания семи зон интереса, соответствующих семи графическим схемам, представлено в табл. 4.

Таблица 4. Показатели окуломоторной активности при выборе графических схем

Следует отметить следующие закономерности. Схема, соответствующая нейтральному лицу, характеризуется наименьшей величиной раскрытия зрачка. Проверка значимости данного различия показала, что значимость попарных различий с остальными шестью схемами по критерию Вилкоксона во всех случаях составляет p < 10-6. Среднее время рассматривания схемы 3 («отвращение») значимо выше, чем схемы 6 («горе») (критерий Вилкоксона p < 10-6 , Z = -11.92); при этом ни экспрессия горя, ни экспрессия отвращения не входили в число базовых экспрессий, на основе которых строился стимульный материал. Данный результат может быть связан с тем, что на схеме 6 сильно выражена экспрессия в верхней зоне лица при том, что на фотоизображениях данный признак отсутствует. Схема 5, соответствующая экспрессии радости, характеризуется коротким временем рассматривания, несмотря на то, что экспрессия радости входила в число базовых экспрессий, на основе которых строился стимульный материал, и испытуемые достаточно часто выбирали эту схему в качестве ответа. Данный результат может быть связан с тем, что экспрессия радости идентифицируется значительно легче по сравнению с экспрессиями удивления, страха и гнева.

Анализ распределения времени рассматривания графических схем при предъявлении каждого из 21 фотоизображения (рис.11, 12) показывает, что структура соотношений времени рассматривания близка к структуре ответов, даваемых испытуемыми, но характеризуется большей выраженностью вклада альтернативных схем, не входящих в список ответов. Так, например, в случае фотоизображения 7 – «чистая» экспрессия радости – ответы испытуемых практически однозначны: «радость»; в то же время распределение времени рассматривания показывает, что в качестве альтернативных вариантов испытуемые просматривали схемы «страх», «отвращение» и «нейтральное лицо».

Рис. 11. Переходный ряд «страх – удивление»; распределение времени рассматривания графических схем при выполнении задачи идентификации; масштаб: 1 деление – 540 мс

Рис. 12. Переходные ряды «радость – страх – гнев – радость»; распределение времени рассматривания графических схем при выполнении задачи идентификации; масштаб: 1 деление – 540 мс

Особенности окуломоторной активности при разных вариантах ответов испытуемых

Сопоставление одиночных (выбрана одна графическая схема) и комплексных (выбрано две и более схемы) ответов испытуемых представлено в табл. 5, 6.

Таблица 5. Сопоставление окуломоторной активности при рассматривании фотоизображения для одиночных и комплексных ответов испытуемых

Таблица 6. Сопоставление окуломоторной активности при выборе графических схем для одиночных и комплексных ответов испытуемых

Полученные результаты показывают, что при рассматривании фотоизображения предикторами комплексного ответа являются более длительное рассматривание нижней части изображения по сравнению с верхней и бóльшая величина раскрытия зрачка при рассматривании лица в целом и в особенности его левой части.

На этапе выбора ответов комплексные ответы естественным образом оказываются связаны с бóльшим суммарным временем рассматривания экрана, бóльшим числом фиксаций, большей длиной пути и большей величиной раскрытия зрачка. Данная закономерность прослеживается также в отношении зон интереса, соответствующих графическим схемам «страх», «отвращение», «гнев», «горе». Различия в рассматривании схемы «нейтральное лицо» имеют ту же тенденцию, но менее выражены. Различия в рассматривании схем «удивление» и «радость» связаны исключительно с большей величиной раскрытия зрачка при комплексных ответах, причем для схемы «радость» это различие выражено гораздо более сильно, чем для остальных графических схем и экрана в целом. Данный результат может быть интерпретирован как свидетельство того, что идентификация по схемам «удивление» и «радость» представляет для испытуемых наименьшую сложность.

Специфические особенности рассматривания фотоизображения, связанные с отдельными вариантами ответов, выявлены для следующих вариантов ответов.

Таблица 7. Особенности рассматривания фотоизображения, связанные с последующим выбором схемы 4 «гнев»

Выбор схемы «гнев» (табл. 7) связан с более продолжительным рассматриванием верхней части лица. Данный результат может быть интерпретирован как свидетельство не вполне удачного изображения нижней части лица на схеме «гнев».

Таблица 8. Особенности рассматривания фотоизображения, связанные с последующим выбором схемы 5 «радость»

Выбор схемы «радость» (табл. 8) связан с более продолжительным рассматриванием нижней части лица, что является естественным, так как наиболее выраженные признаки экспрессии радости сосредоточены в нижней зоне лица. При этом несколько неожиданным является наличие значимых различий для времени рассматривания зоны носа и отсутствие таковых для зоны рта. Также с данным ответом связано несколько большее раскрытие зрачка при рассматривании правой половины лица.

Таблица 9. Особенности рассматривания фотоизображения, связанные с последующим выбором схемы 6 «горе»

Редкий выбор схемы «горе» (табл. 9) связан с относительно малым временем рассматривания лица, т.е., по-видимому, с отвлечением внимания испытуемых от выполняемой задачи. В то же время данный ответ характеризуется большей величиной раскрытия зрачка при рассматривании левой половины лица, левого глаза изображения и рта.

Таблица 10. Особенности рассматривания фотоизображения, связанные с последующим выбором схемы 7 «нейтральное лицо»

Редкий выбор схемы «нейтральное лицо» (табл. 10) связан с относительно большим временем рассматривания лица. Данный результат может быть интерпретирован как начальная стадия насыщения внимания, в результате чего начинается «ретуширование» образа экспрессии.

Анализ специфических особенностей рассматривания набора графических схем, связанных с отдельными вариантами ответов, выявил следующие закономерности: для всех графических схем продолжительность рассматривания в случае выбора данной схемы в качестве ответа значимо выше, чем в случае, если схема выбрана не была. В то же время продолжительность рассматривания разных схем в случае выбора их в ответе различна. Среди схем, соответствующих опорным экспрессиям, наибольшей продолжительностью рассматривания характеризуется схема «страх» (2245 мс), меньшей – схемы «радость» (1804 мс), «удивление» (1481 мс) и «гнев» (1230 мс). Среди схем, не соответствующих опорным экспрессиям, наибольшей продолжительностью рассматривания характеризуется схема «отвращение» (2977 мс), несколько меньшей – схемы «нейтральное лицо» (2188 мс) и «горе» (1964 мс). Непродолжительное время рассматривания экрана (по усредненным значениям) связано с выбором схемы «удивление» (5464 мс). Длительное время рассматривания экрана (по усредненным значениям) связано с выбором схем «страх» (6611 мс), «отвращение» (8096 мс), «радость» (7297 мс).

Выводы

1. В целом при рассматривании фотоизображений экспрессий лица левая половина лица рассматривается более продолжительное время, чем правая, с ее рассматриванием связано большее число фиксаций и бóльшая величина раскрытия зрачка.
2. Проведенный анализ показывает, что фотоизображения экспрессий радости и гнева идентифицируются практически безошибочно. При идентификации фотоизображений экспрессий страха и удивления точность идентификации несколько ниже в связи с тем, что испытуемые путают данные экспрессии друг с другом. При идентификации изображений переходных экспрессий в ряде случаев наблюдается идентификация по схемам, не соответствующим ни одной из базовых экспрессий. Переходные между радостью и страхом экспрессии иногда идентифицируются по схемам «нейтральное», «горе» и «гнев»; переходные между страхом и гневом – по схеме «отвращение»; переходные между гневом и радостью – по схемам «страх», «горе», «нейтральное». Данный результат может быть связан как с несовершенством графических схем, используемых для идентификации, так и с внутренней структурой пространства воспринимаемых экспрессий.
3. При рассматривании графических схем выявлены следующие закономерности: схема «нейтральное» характеризуется минимальной величиной раскрытия зрачка, что может быть связано с меньшей ее значимостью при выборе в качестве ответа. Схема «радость» характеризуется относительно малым временем рассматривания (несмотря на то, что соответствующее фотоизображение является одним из базовых), что может указывать на относительно низкую сложность идентификации по данной схеме.
4. Согласно предварительным результатам, при восприятии «чистых» экспрессий (при ответе была выбрана единственная графическая схема) величина раскрытия зрачка значимо выше, чем при восприятии комбинированных экспрессий (при ответе было выбрано несколько графических схем).
5. Согласно предварительным результатам, выбор в ответах схемы «радость» связан с большей величиной раскрытия зрачка при рассматривании правой части фотоизображения. Выбор в ответах схемы «горе» связан с большей величиной раскрытия зрачка при рассматривании левой части фотоизображения.

При подготовке дальнейших исследований окуломоторной активности при восприятии выражений лица в структуру эксперимента необходимо внести следующие изменения:

1. Осуществление визуального контроля не только за интегральными результатами калибровки направления взгляда, но и за точностью калибровки для каждой из точек; сохранение результатов калибровки в файле эксперимента; дополнительная калибровка диаметра зрачка.
2. Введение системы обратной связи, осуществляющей контроль за удержанием взгляда испытуемого на фиксационной точке, как это предписывается инструкцией.
3. Увеличение угловых размеров фотоизображений лица в 1,5 раза (до 9º х 12º как минимум).
4. Корректировка набора графических схем, используемых для выполнения невербальной идентификации экспрессий лица; в частности, дальнейшая корректировка схем «страх» (выбор именно этой схемы связан с аномально высокой продолжительностью ее рассматривания) и «гнев» (выбор схемы связан с расположением основных ее признаков в верхней части лица).
5. Обеспечение автоматической регистрации ответов испытуемых.

Наиболее перспективными направлениями дальнейших исследований представляются:

1. Изучение показателей окуломоторной активности при восприятии «чистых» и комбинированных экспрессий. Если подтвердится, что восприятие комбинированных экспрессий связано с большей величиной раскрытия зрачка, чем восприятие «чистых» экспрессий, то данный показатель может быть в дальнейшем использован как маркер границы между экспрессиями. Таким образом мы получим эффективный метод анализа внутренней структуры пространства воспринимаемых экспрессий.
2. Изучение показателей окуломоторной активности, характеризующих положительную или отрицательную модальность воспринимаемой экспрессии.

1. Барабанщиков В.А., Ананьева К.И. Распределение зрительных фиксаций при восприятии экспрессий лица // Психология когнитивных процессов: Материалы 2-й Всероссийской научно-практической конференции. Смоленск: Универсум, 2008. С. 13–23.
2. Барабанщиков В.А., Жегалло А.В. Детерминанты категориальности восприятия экспрессий лица // Вестник Московского государственного областного университета. Серия «Психологические науки». 2007. № 3. C. 82–93.
3. Жегалло А В. Система регистрации движений глаз SMI High Speed: особенности использования // Экспериментальная психология. 2009. Т. 2. № 4.
4. Малкова Т.Н. Восприятие экспрессии человеческого лица: Дисс. … канд. психол. наук. М.: ИП АН СССР. 1981.
5. Calder A.J., Young A.W., Perrett D.I., Etcoff N.L., Roland D. Categorical Perception of Morfed Facil Expressions // Visual Cognition. 1996. 3(2). P. 81–117.
6. Ekman P. Emotions revealed. N.Y.: An owl Book, 2004. 274 p. Ekman P., Friesen W. Unmasking the face. N.Y.: Prentice-Hall, 1975. 343 p.