Введение
Согласно нейрокультурной теории эмоций П. Экмана, одной из главных фундаментальных характеристик «базовых» эмоций является наличие универсальных отличительных признаков, в качестве которых выступают экспрессии лица (Ekman, 1984). В то же время выражение эмоциональных экспрессий опосредуется «социокультурными правилами» (Display Rules) поведения (Ekman, Friesen, 1969), см. рис. 1, так что специфическое выражение лица, характеризующее определенную эмоцию, может быть подавлено, замаскировано или слабо выражено.
Рис. 1. Опосредование проявлений «базовых» эмоциональных экспрессий социокультурными нормами (Ekman, Friesen, 1969)
Fig. 1. Mediation of manifestations of “basic” emotional expressions by sociocultural norms (Ekman, Friesen, 1969)
С опорой на теорию «базовых» эмоций была выдвинута гипотеза о наличии системы эффективного различения эмоциональных экспрессий лица, позволяющей однозначно опознавать эмоциональные состояния (Etcoff, Magee, 1992). В случае ее подтверждения можно было бы считать, что основная функциональная роль мимики лица состоит в передачи информации об эмоциональном состоянии.
Однако комплекс проведенных нами исследований показал отсутствие специализированной системы, предназначенной для идентификации эмоциональных экспрессий. Эмоциональные экспрессии опознаются эффективно и однозначно только для сильно выраженных эмоциональных экспрессий, аналогичных фотоэталонам из набора Pictures of Facial Affect при достаточно продолжительном времени экспозиции (Барабанщиков, 2012; Барабанщиков, Жегалло, 2018). При решении дискриминационной задачи на материале переходных рядов между изображениями «базовых» эмоциональных экспрессий ожидаемый паттерн распределения точности решения со статистически выраженным максимумом, соответствующим границе категорий (Etcoff, Magee, 1992) представляет собой лишь отдельный частный случай (Королькова, Жегалло, 2012; Барабанщиков, Жегалло, Королькова, 2016). При тахистоскопическом времени экспозиции (16—8—4 мс) невербальное опознание «базовых» эмоциональных экспрессий происходит независимым образом и обуславливается специфическими комплексами индивидуально-личностных характеристик. Корреляции между индивидуальной эффективностью опознания «базовых» эмоциональных экспрессий отсутствуют (Жегалло, Басюл, 2023).
С другой стороны, исследования автора и коллег подтверждают существующие представления о наличии специализированной системы восприятия лица. При периферической экспозиции изображений латентность саккад в направлении изображений лица значимо короче, чем в направлении комплексных геометрических фигур (Жегалло, 2019). Мимические изменения выражения лица различаются более точно по сравнению с линейными геометрическими трансформациями (Жегалло, Хозе, 2015). Вариативность стратегий осмотра динамического выражения лица значимо ниже по сравнению с изображением статического лица (Барабанщиков, Жегалло, 2018).
Разрешение возникшего противоречия требует разрешения вопроса о функциональной роли мимики лица (Жегалло, 2024). Возможные направления исследований даются в статье (Ekman, Friesen, 1969). В ней эмоциональные экспрессии лица (Affect Displays) рассматриваются лишь как одна из нескольких категорий невербального поведения. Также к невербальному поведению авторы относят следующие четыре категории движений лица и тела.
- Эмблемы (Emblems) — невербальные акты, которые имею прямой вербальный перевод или словарное определение.
- Иллюстраторы (Illustartors) — невербальные иллюстрации того, что говорится вербально. Иллюстраторы подразделяются на 6 видов. «Дирижерские движения» (Batons) отмеряют, акцентируют или подчеркивают определенное слово или фразу, «отбивают темп ментальной локомоции». Идеографы (Ideograps) — движения, которые намечают путь или направление мысли, «прослеживая маршрут логического путешествия». Дейктические движения (Deictic Movements), указывающие на присутствующий объект. Пространственные движения (Spatial movements), изображающие пространственные отношения. Кинетографы (Kinetographs) — движения, которые описывают телесные действия. Пиктографы (Pictographs) — рисуют изображение своего элемента.
- Регуляторы (Regulators) — действия, которые поддерживают порядок коммуникации между собеседниками.
- Адапторы (Adaptors) — адаптивные действия, направленные на удовлетворение потребностей (self adaptors), поддержание межличностных контактов (alter adaptors), выполнение инструментальных действий (object adaptors).
Последующие исследования П. Экмана практически полностью посвящены изучению эмоциональных экспрессий. При этом проблема полного понимания функционального значения лицевых выразительных движений остается открытой. В рамках бихевиорально-экологического подхода А. Фридланда (Crivelli, Fridlund, 2018) экспрессии лица рассматриваются как обращенные к коммуниканту социальные сигналы, предназначенные для манипуляции его поведением. Исходя из представлений о расширенном функциональном значении выражений лица, необходимы всестороннее изучение и классификация фактического состава лицевых экспрессий с последующим анализом их функционального назначения.
Первым шагом к решению данной задачи мы полагаем модельные эксперименты по изучению совместного общения и деятельности с одновременной регистрацией мимики лица и направленности взора участников.
Первый вариант такого эксперимента (Жегалло, Басюл, 2019) представлял собой задачу оценки достоверности/недостоверности сообщаемой информации. Предполагалось, что, играя в карточную игру «верю / не верю», участники будут обращаться к выражениям лица соперника для оценки достоверности информации о задуманной карте. Оказалось, однако, что в такой игре обращение к выражению лица происходит не у всех участников и, фактически, не повышает точность оценки достоверности сообщаемой информации. В настоящее время реализован второй вариант эксперимента (Жегалло, Басюл, 2025), в котором участникам требуется совместно решать дискриминационную АВХ-задачу. При этом регистрируются ответы испытуемых; движения глаз; мимика лица и обсуждение принимаемых решений. Большой объем получаемых данных потребовал разделения описания получаемых результатов на несколько публикаций. Анализ движений глаз показал, что в ходе совместного решения дискриминационной АВХ-задачи участники исследования активно обращаются к выражениям лица партнера. Данная статья посвящена феноменологическому описанию состава мимики лица испытуемых на уровне обобщенных комплексных мимических паттернов. Темой следующей статьи предполагается анализ динамики комплексных мимических паттернов по ходу решения экспериментальной задачи.
Методика
Для проведения исследования использовался ранее разработанный экспериментальный стенд (Жегалло, Басюл, 2019). Участники исследования располагались в неподвижных креслах КЭ-1 с подголовной опорой. Расстояние до поверхности экрана 60 см. В качестве стимульного материала использовался естественный равномерный переходный ряд «радость — удивление», содержавший два опорных изображения, и 4 переходных (рис. 2).
Рис. 2. Естественный переходный ряд «радость — удивление»
Fig. 2. Natural transitional series “joy — surprise”
Данный ряд ранее использовался в качестве стимульного материала при индивидуальном решении дискриминационной АВХ-задачи (Королькова, Жегалло, 2012) и совместном решении задачи «одинаковый — разный» (Барабанщиков, Жегалло, Королькова, 2016). В проводимом эксперименте одному из испытуемых на короткое время демонстрировались два соседних в переходном ряду изображения А и В, а другому — целевое изображение Х, совпадающее либо с А либо с В. Время экспозиции изображений составляло 1 секунду. После завершения экспозиции по центру экрана появлялось окно с видеоизображением партнера по исследованию. Участник исследования, которому демонстрировалось целевое изображение Х, должен дать ответ, какому из изображений А или В соответствует Х: находящемуся слева или справа у участника, которому демонстрировались два различных изображения. Задача решалась путем описания демонстрировавшихся изображений. Движения глаз регистрировались с помощью айтрекеров SMI RED-m, частота регистрации 120 гц. Видеорегистрация выражений лица и видеокоммуникация выполнялись с помощью камер Sony Playstation Eye с вариофокальным объективом (2,8—12 мм). Эксперимент выполнялся с помощью оригинальной программы на python с использованием библиотеки psychopy. Предварительная тренировочная серия составляла 4 экспериментальные ситуации с использованием другого стимульного материала. В исследовании участвовали студенты Московского государственного психолого-педагогического университета в рамках учебных занятий. Объем выборки — 42 человека (39 женщин, 3 мужчины); возраст от 19 до 48 лет; m = 22,3 года, sd = 4,6 года. Время выполнения основной серии составляло от 9 до 34 минут. По техническим причинам одна видеозапись была исключена из дальнейшего анализа.
На видеозаписях выполнялась покадровая разметка ключевых точек (facial landmarks) с помощью оригинальной программы на python, использующей библиотеку Google MediaPipe (Lugaresi et al., 2018). В случае успешного выполнения детекции ключевых точек для очередного кадра, X и Y координаты 478 ключевых точек и номер кадра сохраняются в csv-файл. Полученные файлы загружались в среду статистической обработки R, где для диапазонов кадров, соответствующих основной серии эксперимента, проводился анализ главных компонент.
Метод главных компонент радикально сокращает количество переменных. Старые переменные, описывающие изменение во времени X и Y координат ключевых точек, заменяются на несколько новых переменных — главных компонент, представляющих собой линейные комбинации исходных переменных. Главные компоненты выбираются таким образом, чтобы несколько первых компонент описывали большую часть исходной дисперсии. Векторы нагрузок главных компонент (loadings) характеризуют выделяемые целостные мимические паттерны. Соответствующие им векторы счетов (scores) характеризуют временную динамику интенсивности каждого из целостных паттернов в ходе эксперимента. Пространственная реконструкция выражения лица, описываемого заданной главной компонентой, строится на основе усредненной по всему эксперименту разметки ключевых точек (т. е. усредненного выражения лица). Вектор, кодирующий среднее выражение лица, суммируется с вектором нагрузки анализируемой главной компоненты, умноженным на весовой коэффициент. Весовой коэффициент представляет собой значение вектора счетов в интересующий нас момент времени (т. е. заданную интенсивность реконструируемого целостного мимического паттерна).
Перед выполнением анализа координаты ключевых точек перемасштабировались из диапазона (0,1) в диапазон, соответствующий размеру кадра камеры: (0,640) по X-координате, (0, 480) по Y-координате. Анализ главных компонент проводился с помощью функции prcomp (стандартный пакет stats). Для сокращения объема получаемых результатов устанавливалась глубина анализа в 50 главных компонент. По окончании обработки сохранялось рабочее пространство (workspace) с отдельными именованными объектами — результатами анализа для каждого из участников исследования. Далее для выделения сходных главных компонент применялся кластерный анализ к-средних с использованием функции skmeans из пакета skmeans Ver. 0.2-18 (Hornik et al, 2012).
По способу построения векторы нагрузок имеют единичную длину. Геометрический их смысл — точки на поверхности единичной гиперсферы, размерность которой определяется количеством исходных переменных (координат ключевых точек). Для количественной оценки сходства главных компонент целесообразно использовать величину скалярного произведения векторов. Геометрический смысл показателя — косинус угла между векторами. Соответственно, данный способ оценки сходства получил название «косинусное сходство». Используя специальный вариант кластерного анализа к-средних, использующего метрику косинусного сходства, мы выделяем группы сходных между собой главных компонент, принадлежащих разным участникам исследования. Таким образом, становится возможным компактное описание состава мимической активности испытуемых. Следует отметить, что поскольку главные компоненты, относящиеся к одному натурщику, ортогональны по построению, то скалярное произведение между ними в точности равно 0.
Перед проведением кластерного анализа к-средних была выполнена оценка интенсивности мимики, определяемой главными компонентами для принятия дальнейшего решения об объеме анализируемых данных. В качестве показателя средней интенсивности выделяемых главных компонент можно операционально принять стандартное отклонение (SD) для соответствующего вектора счетов. При используемом методе анализа размерность стандартного отклонения соответствует пикселям исходного изображения видеокамеры. Величина стандартного отклонения довольно быстро снижается по мере увеличения номера главной компоненты. Так, для 16-й главной компоненты диапазон стандартных отклонений составил от 1,7 до 7,2, IQR = 3.2—4,2, Me = 3,6. При графической реконструкции изменения выражения лица, описываемые 16-й компонентой, соответствующие интенсивности ±3 SD, находятся на пределе возможностей различения человеком. Таким образом, без потери информативности, объем дальнейшего анализа можно ограничить первыми 16 главными компонентами.
Дополнительным аргументом в пользу ограничения объема анализа первыми 16 компонентами является применение правила Кайзера. По данному правилу дисперсия значимых главных компонент должна быть больше средней дисперсии исходных переменных. То есть вновь выделяемые главные компоненты должны объяснять дисперсию, превосходящую среднюю дисперсию отдельной исходной переменной. На выборке 41 испытуемого число выделяемых таким образом компонент (NK) принимает значения от 6 до 16, Me = 9, IQR = (8, 11). Таким образом, первых 16 главных компонент заведомо достаточно для дальнейшего анализа.
Контрольный анализ результатов выполнялся путем визуализации матрицы скалярных произведений, упорядоченной в соответствии с разбиением векторов нагрузок на кластеры. При выполнении первоначального анализа главных компонент могут возникать ситуации, когда для отдельных участников исследования выделяются диаметрально противоположные главные компоненты, для которых скалярные произведения близки к -1. Соответственно, при кластерном анализе вместо единого кластера возникает пара кластеров с сильными отрицательными корреляциями между ними. Такая проблема хорошо видна на контрольной визуализации и легко решается ручной инверсией векторов, кодирующих главные компоненты, для одного из выделившихся кластеров.
При разбиении на кластеры контролировалось максимальное расстояние (косинус угла) между входящими в кластер векторами и отсутствие коллизий (вхождение в один кластер двух векторов, относящихся к одному и тому же испытуемому). Дальнейшее описание дается по результатам разбиения на 23, что является компромиссным вариантом. При разбиении на 22 кластера имелись коллизии для первых двух главных компонент, интерпретируемых как горизонтальное и вертикальное смещение лица. Увеличение размерности до 23 решило эту проблему, см. рис. 3. Однако, увеличивая далее число кластеров вплоть до 32, устранить коллизии в 6-й и 7-й компонентах не удалось.
Рис. 3. Результаты кластерного анализа при разбиении множества векторов главных компонент на 23 кластера. Состав участников исследования, входящих в каждый кластер. По горизонтали — участники исследования, по вертикали — кластеры. Белый цвет — не входит, серый цвет — входит, черный цвет — коллизия (входят две ортогональные главные компоненты)
Fig. 3. Results of cluster analysis dividing the set of principal component vectors into 23 clusters. The composition of study participants included in each cluster. The horizontal axis shows study participants; the vertical axis shows clusters. White means not included, gray means included, and black means collision (two orthogonal principal components included)
Результаты
Высокое косинусное сходство между векторами нагрузок наблюдается в основном для главных компонент с одинаковыми и близкими порядковыми номерами. Данный результат можно интерпретировать как наличие закономерностей в части связи характера мимических проявлений и их характерного диапазона вариативности (рис. 4, 5). Высоко вариативная мимика (главные компоненты 1 и 2) отдельных участников исследования имеет высокое сходство с высоко вариативной мимикой других участников. Средне вариативная мимика (компоненты 3, 4 и 5) имеет высокое сходство со средне вариативной мимикой. Низко вариативная мимика (последующие главные компоненты) имеет высокое сходство с низко вариативной мимикой.
Рис. 4. Графики распределения модуля скалярных произведений главных компонент. Слева направо и сверху вниз одна из главных компонент (PCn) принимает значения от 1 до 16. Вторая компонента меняется в пределах каждого графика. Приведены медианные значения, межквартильный размах и «сырые» данные
Fig. 4. Plots of the distribution of the scalar product absolute values of the principal components. From left to right and top to bottom, one of the principal components (PCn) takes values from 1 to 16. The second component varies within each plot. Median values, interquartile ranges, and raw data are shown
Характеристики выделенных кластеров представлены в табл. 1 и 2. В табл. 1 приведены характеристики вариативности векторов нагрузок, входящих в кластер, т. е. насколько похожи между собой отдельные главные компоненты. В качестве показателя сходства используется скалярное произведение между векторами, численно равное косинусу угла. Близкое к 1 скалярное произведение соответствует углу около 0°, по мере приближения к 90° скалярное произведение приближается к 0, отрицательные значения скалярного произведения соответствуют углам больше 90°. Следует понимать, что на гиперсфере большой размерности возможно выделение не пересекающихся кластеров векторов с большим разбросом. Вторая группа показателей описывает, насколько велик диапазон значений масштабного коэффициента, т. е. насколько сильно меняется выраженность экспрессии, описываемая главной компонентой. Временная динамика главной компоненты описывается соответствующим вектором счетов. Соответственно, его вариативность может быть охарактеризована стандартным отклонением. Каждой из входящих в кластер главных компонент соответствует свой вектор счетов. Соответственно, вариативность интенсивности внутри группы векторов можно описать квантилями значений стандартных отклонений.
Таблица 1 / Table 1
Описательные характеристики выделенных кластеров
Descriptive characteristics of the selected clusters
|
№ |
ViVjmin |
ViPmin |
ViVjm |
ViPm |
SDmin |
SD25 |
SD50 |
SD75 |
SDmax |
|
1 |
0.48 |
0.74 |
0.87 |
0.93 |
38 |
82 |
155 |
233 |
887 |
|
2 |
0.55 |
0.85 |
0.89 |
0.94 |
50 |
119 |
179 |
284 |
601 |
|
3 |
0.67 |
0.89 |
0.92 |
0.96 |
53 |
106 |
164 |
332 |
1195 |
|
4 |
0.28 |
0.73 |
0.80 |
0.90 |
21 |
35 |
43 |
52 |
85 |
|
5 |
0.31 |
0.70 |
0.85 |
0.92 |
15 |
25 |
40 |
75 |
263 |
|
6 |
-0.04 |
0.59 |
0.67 |
0.82 |
10 |
22 |
28 |
31 |
89 |
|
7 |
0.00 |
0.59 |
0.62 |
0.79 |
6 |
14 |
18 |
20 |
32 |
|
8 |
0.16 |
0.62 |
0.59 |
0.77 |
5 |
12 |
15 |
20 |
39 |
|
9 |
0.19 |
0.64 |
0.61 |
0.78 |
4 |
6 |
12 |
15 |
52 |
|
10 |
0.17 |
0.61 |
0.63 |
0.80 |
5 |
10 |
12 |
16 |
27 |
|
11 |
0.00 |
0.46 |
0.53 |
0.73 |
3 |
4 |
13 |
22 |
100 |
|
12 |
0.04 |
0.50 |
0.57 |
0.76 |
4 |
8 |
10 |
13 |
22 |
|
13 |
-0.01 |
0.49 |
0.54 |
0.74 |
7 |
9 |
10 |
13 |
18 |
|
14 |
-0.14 |
0.39 |
0.48 |
0.69 |
2 |
6 |
7 |
8 |
11 |
|
15 |
-0.16 |
0.47 |
0.53 |
0.72 |
3 |
5 |
7 |
9 |
21 |
|
16 |
-0.02 |
0.40 |
0.51 |
0.72 |
3 |
4 |
7 |
10 |
12 |
|
17 |
-0.07 |
0.43 |
0.48 |
0.69 |
3 |
5 |
6 |
7 |
17 |
|
18 |
-0.09 |
0.48 |
0.44 |
0.66 |
2 |
4 |
6 |
7 |
10 |
|
19 |
-0.12 |
0.34 |
0.47 |
0.68 |
3 |
4 |
5 |
6 |
9 |
|
20 |
-0.02 |
0.31 |
0.50 |
0.70 |
2 |
4 |
5 |
6 |
7 |
|
21 |
-0.06 |
0.38 |
0.46 |
0.67 |
3 |
4 |
5 |
6 |
13 |
|
22 |
-0.14 |
0.45 |
0.39 |
0.63 |
2 |
3 |
4 |
4 |
7 |
|
23 |
-0.39 |
0.34 |
0.39 |
0.62 |
2 |
3 |
4 |
4 |
5 |
Примечание: ViVjmin — минимальный косинус угла между векторами нагрузок главных компонент, входящих в выделенный кластер (соответствует максимальному углу; 0 соответствует углу 90°, отрицательные значения — углам больше 90°); ViPmin — минимальный косинус угла между входящими в кластер векторами нагрузок главных компонент и вектором — прототипом кластера; ViVjm — средний косинус угла между векторами нагрузок главных компонент; ViPm — средний косинус угла между векторами нагрузок главных компонент и вектором-прототипом; SDmin — минимальное стандартное отклонение для векторов счетов главных компонент, входящих в кластер, характеризует минимальную вариативность значений; SD25 — 25-процентный квартиль стандартного отклонения; SD50 — 50-процентный квартиль; SD75 — 75-процентный квартиль; SDmax — максимальное стандартное отклонение для векторов счетов, входящих в кластер. Серым цветом выделены кластеры, не включенные в дальнейшее описание.
Note: ViVjmin is the minimum cosine of the angle between the vectors of the principal component loadings included in the selected cluster (corresponds to the maximum angle; 0 corresponds to an angle of 90°, negative values — angles greater than 90°); ViPmin is the minimum cosine of the angle between the vectors of the principal component loadings included in the cluster and the cluster prototype vector; ViVjm is the average cosine of the angle between the vectors of the principal component loadings; ViPm is the average cosine of the angle between the vectors of the principal component loadings and the prototype vector; SDmin is the minimum standard deviation for the vectors of the principal component scores included in the cluster, characterizes the minimum variability of the values; SD25 is 25% quartile of the standard deviation; SD50 is 50% quartile; SD75 is 75% quartile; SDmax is the maximum standard deviation for the vectors of scores included in the cluster. Clusters not included in the further description are highlighted in gray.
Таблица 2 / Table 2
Состав выделенных кластеров. По горизонтали — номера главных компонент, входящих в кластеры (от 1 до 16); по вертикали — номера выделенных кластеров (от 1 до 23)
Composition of the selected clusters. Horizontally — numbers of the main components included in the clusters (from 1 to 16); vertically — numbers of the selected clusters (from 1 to 23)
|
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
16 |
|
1 |
13 |
12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
14 |
13 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
14 |
16 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4 |
|
|
25 |
12 |
2 |
2 |
|
|
|
|
|
|
|
|
|
|
|
5 |
|
|
16 |
14 |
9 |
1 |
|
|
|
|
|
|
|
|
|
|
|
6 |
|
|
|
12 |
23 |
4 |
1 |
|
|
|
|
|
|
|
|
|
|
7 |
|
|
|
|
5 |
19 |
6 |
4 |
1 |
|
|
|
|
|
|
|
|
8 |
|
|
|
|
1 |
4 |
6 |
6 |
6 |
|
|
|
|
|
|
|
|
9 |
|
|
|
|
1 |
|
8 |
5 |
1 |
|
2 |
3 |
|
|
|
|
|
10 |
|
|
|
|
|
3 |
2 |
6 |
6 |
|
|
1 |
|
|
|
|
|
11 |
|
|
|
|
|
6 |
4 |
2 |
1 |
1 |
1 |
3 |
2 |
2 |
1 |
1 |
|
12 |
|
|
|
|
|
1 |
7 |
5 |
1 |
3 |
5 |
1 |
|
1 |
0 |
2 |
|
13 |
|
|
|
|
|
1 |
5 |
8 |
12 |
4 |
|
|
|
|
|
|
|
14 |
|
|
|
|
|
|
|
|
5 |
8 |
5 |
5 |
|
1 |
4 |
3 |
|
15 |
|
|
|
|
|
|
1 |
2 |
2 |
11 |
7 |
3 |
5 |
1 |
1 |
1 |
|
16 |
|
|
|
|
|
|
1 |
3 |
4 |
2 |
4 |
3 |
5 |
6 |
3 |
2 |
|
17 |
|
|
|
|
|
|
|
|
2 |
6 |
5 |
5 |
7 |
1 |
1 |
|
|
18 |
|
|
|
|
|
|
|
|
2 |
4 |
1 |
5 |
5 |
5 |
6 |
|
|
19 |
|
|
|
|
|
|
|
|
1 |
2 |
6 |
5 |
9 |
9 |
2 |
1 |
|
20 |
|
|
|
|
|
|
|
|
|
|
3 |
4 |
5 |
4 |
|
2 |
|
21 |
|
|
|
|
|
|
|
|
|
|
1 |
2 |
3 |
4 |
7 |
5 |
|
22 |
|
|
|
|
|
|
|
|
|
|
1 |
1 |
|
5 |
12 |
12 |
|
23 |
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
4 |
12 |
Табл. 2 характеризует количество главных компонент с каждым порядковым номером, входящих в выделенные кластеры. Как видно из таблицы, в каждый кластер входят компоненты с соседними порядковыми номерами, что отражает единую структуру лицевой мимики натурщиков.
Рис. 5. Визуализация матрицы скалярных произведений главных компонент. Компоненты упорядочены по порядковому номеру. Пунктирными линиями выделены области матрицы, относящиеся к 1-й и 2-й компонентам, 3-й компоненте, 4-й компоненте, 5-й компоненте. Сплошными линиями выделена область, относящаяся к 6-й компоненте. Красный цвет — отрицательные скалярные произведения, синий цвет — положительные скалярные произведения. Интенсивность уменьшается по мере приближения к 0. Хорошо видно отсутствие сходства между первыми и последующими главными компонентами
Fig. 5. Visualization of the principal component dot product matrix. The components are ordered by ordinal number. The dotted lines highlight the matrix regions corresponding to the 1st and 2nd components, the 3rd component, the 4th component, and the 5th component. The solid lines highlight the region corresponding to the 6th component. Red indicates negative dot products, blue indicates positive dot products. Intensity decreases as it approaches 0. The lack of similarity between the first and subsequent principal components is clearly visible
Дальнейшее описание будет дано по порядку, начиная с кластеров главных компонент, включающих первые главные компоненты и характеризующихся высокой вариативностью мимических проявлений (высокие значения SD векторов счетов). Далее будут описаны кластеры, включающие более высокие главные компоненты и характеризующиеся средней вариативностью (средние значения SD векторов счетов).
1-й кластер. 25 испытуемых (13 — 1-я компонента, 12 — 2-я компонента). Наибольшее расстояние между векторами нагрузок ViVjmax = 0,48. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,74. Диапазон значений SD: SDmin = 38, SDmax = 887, IQR = 82, 233; SDme = 154. Пространственная реконструкция представлена на рис. 6.
Рис. 6. Кластер 1. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента. Сплошной черный контур — среднее по всем натурщикам выражение лица. Сплошной красный контур — реконструкция вектора-прототипа. Серые контуры — индивидуальные варианты векторов нагрузки, входящих в кластер
Fig. 6. Cluster 1. Spatial reconstruction. On the left is the positive scale factor value; on the right is the negative scale factor value. The solid black contour is the average facial expression across all sitters. The solid red contour is the reconstruction of the prototype vector. The gray contours are the individual load vector variations within the cluster
Положительным значениям масштабного коэффициента соответствует смещение лица вниз-влево с одновременным сжатием рта. Отрицательным значениям соответствует смещение лица вверх-вправо с одновременным раскрытием рта в улыбке.
2-й кластер. 27 испытуемых (14 — 1-я компонента, 13 — 2-я компонента). Наибольшее расстояние между векторами нагрузок (косинус угла) ViVjmax = 0,55. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,85. Диапазон значений SD: SDmin = 50, SDmax = 601, IQR = 119, 284; SDme = 179. Пространственная реконструкция представлена на рис. 7.
Рис. 7. Кластер 2. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента
Fig. 7. Cluster 2. Spatial reconstruction. On the left is a positive scale factor value, on the right is a negative scale factor value
Положительным значениям масштабного коэффициента соответствует смещение лица вниз с одновременным сжатием рта. Отрицательным значениям соответствует смещение лица вверх с одновременным раскрытием рта в улыбке.
3-й кластер. 30 испытуемых (14 — 1-я компонента, 16 — 2-я компонента). Наибольшее расстояние между векторами нагрузок ViVjmax = 0,67. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,89. Диапазон значений SD: SDmin = 52, SDmax = 1195, IQR = 105, 331; SDme = 163. Пространственная реконструкция представлена на рис. 8.
Рис. 8. Кластер 3. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента
Fig. 8. Cluster 3. Spatial reconstruction. On the left is a positive scale factor value, on the right is a negative scale factor value
Положительным значениям масштабного коэффициента соответствует смещение лица вправо — слегка вниз с небольшим сжатием рта. Отрицательным значениям соответствует смещение лица влево — слегка вверх с небольшим раскрытием рта.
Прототипы кластеров 1, 2, 3 не являются ортогональными. Скалярные произведения между ними составляют: (P1, P2) = 0,60; (P1, P3) = -0,47; (P2, P3) = 0,41. Смещение лица каждого из участников описывается компонентами, входящими в два кластера из трех. Кластеры 1 и 2 — 11 человек; кластеры 1 и 3 — 14 человек; кластеры 2 и 3 — 16 человек. Кластеры 1, 2, 3 полностью описывают состав первых двух главных компонент как разные варианты линейных смещений лица. При этом смещение лица вверх сопровождается раскрытием рта, смещение вниз — сжатием рта.
4-й кластер. 41 испытуемый (25 — 3-я компонента, 12 — 4-я компонента, 2 — 5-я компонента, 2 — 6-я компонента). Наибольшее расстояние между векторами нагрузок ViVjmax = 0,28. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,73. Диапазон значений SD: SDmin = 21, SDmax = 85, IQR = 35, 52; SDme = 43. Пространственная реконструкция представлена на рис. 9.
Рис. 9. Кластер 4. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента
Fig. 9. Cluster 4. Spatial reconstruction. On the left is a positive value of the scale factor, on the right is a negative value of the scale factor
Положительным значениям масштабного коэффициента соответствует улыбка с уменьшением высоты глаз и опусканием бровей. Отрицательным значениям соответствует сжатый рот с близко расположенными уголками губ, расширенные глаза и поднятые брови. Вектор-прототип кластера ортогонален векторам-прототипам первых 3 кластеров.
5-й кластер. 40 испытуемых (16 — 3-я компонента, 14 — 4-я компонента, 9 — 5-я компонента, 1 — 6-я компонента). Наибольшее расстояние между векторами нагрузок ViVjmax = 0,31. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,70. Диапазон значений SD: SDmin = 15, SDmax = 263, IQR = 25, 72; SDme = 40. Пространственная реконструкция представлена на рис. 10.
Рис. 10. Кластер 5. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента
Fig. 10. Cluster 5. Spatial reconstruction. On the left is a positive scale factor value, on the right is a negative scale factor value
Положительным значениям масштабного коэффициента соответствует наклон головы вправо. Отрицательным значениям соответствует наклон головы влево. Вектор-прототип кластера ортогонален векторам-прототипам предыдущих 4 кластеров. Кластеры 4 и 5 полностью описывают состав 3-й главной компоненты.
6-й кластер. 39 испытуемых (12 — 4-я компонента, 23 — 5-я компонента, 4 — 6-я компонента, 1 — 7-я компонента; коллизия: для испытуемого Q03S1 в кластер входят 4-я и 5-я компоненты). Наибольшее расстояние между векторами нагрузок ViVjmax = -0,04. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,59. Диапазон значений SD: SDmin = 10, SDmax = 89, IQR = 22, 31; SDme = 28. Пространственная реконструкция представлена на рис. 11.
Рис. 11. Кластер 6. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента
Fig. 11. Cluster 6. Spatial reconstruction. On the left is a positive value of the scale factor, on the right is a negative value of the scale factor
Положительным значениям масштабного коэффициента соответствует раскрытие рта, отрицательным — закрытие рта. Входящие в кластер компоненты высоко вариативны; образующие коллизию компоненты различаются направлением горизонтального смещения контура лица и характером изменений в области глаз — бровей. Вектор-прототип кластера ортогонален векторам-прототипам предыдущих 5 кластеров. Кластеры 4, 5, 6 полностью описывают состав 4-й главной компоненты.
7-й кластер. 34 испытуемых (5 — 5-я компонента, 19 — 6-я компонента, 6 — 7-я компонента, 4 — 8-я компонента, 1 — 9-я компонента; коллизия: для испытуемого Q10S1 в кластер входят 5-я и 9-я компоненты). Наибольшее расстояние между векторами нагрузок ViVjmax = 0,00. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,59. Диапазон значений SD: SDmin = 6 SDmax = 32, IQR = 14, 20; SDme = 18. Пространственная реконструкция представлена на рис. 12.
Рис. 12. Кластер 7. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента
Fig. 12. Cluster 7. Spatial reconstruction. On the left is a positive value of the scale factor, on the right is a negative value of the scale factor
Положительным значениям масштабного коэффициента соответствует небольшое сжатие рта и сжатие глаз, отрицательным — небольшое раскрытие рта и раскрытие глаз. Входящие в кластер компоненты высоко вариативны; 5-я компонента испытуемого, образующего коллизию, визуально близка к прототипу кластера; для 9-й компоненты сужение — раскрытие глаз отсутствует, сходство с прототипом достигается за счет вторичных признаков: положение контура лица и основания носа. Вектор-прототип кластера ортогонален векторам-прототипам предыдущих 6 кластеров.
8-й кластер. 20 испытуемых (1 — 5-я компонента, 4 — 6-я компонента, 6 — 7-я компонента, 6 — 8-я компонента, 3 — 9-я компонента). Наибольшее расстояние между векторами нагрузок ViVjmax = 0,16. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,62. Диапазон значений SD: SDmin = 5, SDmax = 40, IQR = 12, 20; SDme = 15. Пространственная реконструкция представлена на рис. 13.
Рис. 13. Кластер 8. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента
Fig. 13. Cluster 8. Spatial reconstruction. On the left is a positive value of the scale factor, on the right is a negative value of the scale factor
Положительным значениям масштабного коэффициента соответствует небольшое опускание бровей и верхнего контура лица, поднятие верхней губы, отрицательным — небольшое поднятие бровей и верхнего контура лица, опускание нижней губы. Вектор-прототип кластера ортогонален векторам-прототипам первых 5 кластеров, скалярные произведения (P8, P6) = 0,11; (P8, P7) = 0,50.
9-й кластер. 20 испытуемых (1 — 5-я компонента, 8 — 7-я компонента, 5 — 8-я компонента, 1 — 9-я компонента, 2 — 11-я компонента, 3 — 12-я компонента). Наибольшее расстояние между векторами нагрузок ViVjmax = 0,19. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,64. Диапазон значений SD: SDmin = 4, SDmax = 52, IQR = 7, 15; SDme = 12. Пространственная реконструкция представлена на рис. 14.
Рис. 14. Кластер 9. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента
Fig. 14. Cluster 9. Spatial reconstruction. On the left is a positive value of the scale factor, on the right is a negative value of the scale factor
Положительным значениям масштабного коэффициента соответствует небольшое смещение контура лица вправо, отрицательным — влево. Вектор-прототип кластера ортогонален векторам-прототипам первых 6 кластеров; скалярные произведения (P9, P7) = 0.10; (P9, P8) = 0,25. Кластеры 4, 5, 6, 7, 8, 9 полностью описывают состав 5-й главной компоненты.
10-й кластер. 18 испытуемых (3 — 5-я компонента, 2 — 7-я компонента, 6 — 8-я компонента, 6 — 9-я компонента, 1 — 12-я компонента). Наибольшее расстояние между векторами нагрузок ViVjmax = 0,17. Наибольшее расстояние между вектором нагрузок и прототипом кластера ViPmax = 0,61. Диапазон значений SD: SDmin = 5, SDmax = 27, IQR = 10, 16; SDme = 12. Пространственная реконструкция представлена на рис. 15.
Рис. 15. Кластер 10. Пространственная реконструкция. Слева — положительное значение масштабного коэффициента, справа — отрицательное значение масштабного коэффициента
Fig. 15. Cluster 10. Spatial reconstruction. On the left is a positive value of the scale factor, on the right is a negative value of the scale factor
Положительным значениям масштабного коэффициента соответствует небольшое раскрытие рта и опускание бровей, отрицательным – небольшое сжатие рта и поднятие бровей. Вектор-прототип кластера ортогонален векторам-прототипам первых 5 кластеров; скалярные произведения (P10, P6) = 0,15, (P10, P7) = -0,38, (P10, P8) = 0,15, (P10, P9) = 0,26.
Обсуждение результатов
Основной результат исследования состоит в том, что индивидуальные первые главные компоненты отдельных испытуемых обнаруживают высокую согласованность между собой, что дает возможность выделения хорошо согласованных кластеров главных компонент, описывающих обобщенную высокоинтенсивную и среднеинтенсивную мимику лица.
Выделение кластеров, содержащих последующие главные компоненты, затрудняется тем, что для них значительно снижается количество пар с высоким сходством (см. рис. 3). Анализ приводит к выделению кластеров, характеризующихся высокой внутренней вариативностью и низкой интенсивностью экспрессий (см. табл. 1 и табл. 2.). При этом формально сильно различающиеся (в смысле косинусного сходства) варианты главных компонент плохо различимы визуально при характерных значениях масштабного фактора (изменениях интенсивности во времени). Таким образом, дальнейшее описание выделяемых кластеров не имеет практического смысла ввиду очень высокой вариативности составляющих их компонент и относительно небольших изменений выражения лица.
За рамками проведенного анализа остается вопрос о характерных временах развертывания временной динамики. Классические подходы: спектральный анализ и автокорреляционный анализ не дают удовлетворительного, хорошо интерпретируемого результата для непериодических временных рядов. Применение вейвлет-анализа (пакет WaveletComp, функции analyze.wavelet и wt.avg) позволяет строить энергетические спектры, в которых виден вклад отдельных частот. Однако индивидуальные спектры отдельных компонент оказываются высоко вариативными (рис. 16).
Рис. 16. Энергетические спектры для главных компонент, входящих в первые 9 кластеров (слева направо, сверху вниз). Сплошная черная линия — усредненный спектр. Серые линии — индивидуальные спектры
Fig. 16. Energy spectra for the principal components in the first 9 clusters (left to right, top to bottom). The solid black line is the average spectrum. The gray lines are the individual spectra
Для первых трех кластеров характерный период, соответствующий максимальным значениям спектра, составляет от 32 до 128 сек. Для последующих кластеров максимум спектра находится в диапазоне от 8 до 16 сек. Выраженная короткопериодическая динамика с периодом менее 2 сек. наблюдается лишь для отдельных индивидуальных главных компонент. Полное решение вопроса о характерных периодах временной динамики требует дальнейшего поиска методов анализа.
Косвенным образом вклад отдельных компонент в восприятие видеоизображения можно оценить путем обратного синтеза видеозаписей, в которых присутствуют только отдельные обобщенные главные компоненты. Для выполнения синтеза проводится покадровый расчет положения ключевых точек, соответствующего целевому комплексу компонент заданной интенсивности. В качестве донорского фотоизображения используется соответствующий исходный кадр. Далее выполняется двумерный морфинг нового видеокадра на основе исходного изображения, исходного и целевого наборов ключевых точек. После построения синтезированных видеозаписей наблюдателям будет предложено выполнить по комплексу показателей оценку исходных и модифицированных видеозаписей.
За пределами чувствительности используемой методики оказываются возможные малые изменения интенсивности первых обобщенных мимических компонент. Проверка наличия таких низкоинтенсивных вариаций требует дальнейшей разработки методов анализа.
Проведенная ранее проверка показала, что сообщаемая программами разметки ключевых точек информация о глубине лица не надежна (Жегалло, 2024). Поэтому при выполнении анализа главных компонент и построении дальнейших реконструкций использовалась только информация об X и Y координатах лица. Такой подход не позволяет корректно выделять и реконструировать возможные наклоны головы вперед (кивок) и повороты головы влево-вправо. Решение данной проблемы задача дальнейших исследователей. На сегодняшний день возможным способом решения данной проблемы представляется одновременная видеозапись с двух разнесенных камер.
При определении дизайна эксперимента возникает противоречие между требованием экологической валидности, предполагающим проведение исследований в условиях совместной деятельности и общения, не опосредованных видеокоммуникацией и необходимостью регистрации направления взора участников исследования. До сих пор точная регистрация направления взора требует использования стационарных айтрекеров с демонстрацией рассматриваемого изображения на мониторе компьютера. Проведенное пилотное исследование (Жегалло, 2023) для оценки возможностей современного мобильного айтрекера Pupil Labs Invisible показало, что в естественных условиях коммуникации в лучшем случае удается зафиксировать факт обращения к лицу собеседника, но не внутреннюю структуру осмотра лица. В будущем, с появлением более совершенных айтрекеров, позволяющих точно регистрировать направление взора в свободном поведении, станет возможно проведение экологически валидных экспериментов, направленных на изучение общения и деятельности в не опосредованном видеокоммуникацией общении.
В то же время мы считаем, что проведенный эксперимент дал полезную информацию об особенностях совместного решения задачи, требующей кооперации между участниками. В представленной статье описывается разрабатываемая нами методика анализа мимики лица. В дальнейшем данная методика может быть использована для анализа мимики участников в неопосредованном общении при условии, что участники не меняют свое расположение.
Выводы
Для дальнейшего анализа изменений интенсивности в ходе совместного решения дискриминационной АВХ-задачи отобраны следующие главные компоненты, описывающие обобщенную динамику выражения лица, имеющую сходные комплексные мимические паттерны (векторы нагрузки) у разных участников исследования (первые 10 кластеров при выполнении кластерного анализа к-средних с разбиением на 23 кластера).
- Высокоинтенсивные горизонтальные, вертикальные и диагональные смещения положения лица. При этом смещение лица вниз сопровождается сжатием рта, смещение вверх — раскрытием рта.
- Среднеинтенсивная улыбка с прищуриванием глаз и опусканием бровей. Оппозитным выражением лица является сжатый рот с близко расположенными уголками губ, расширенные глаза и поднятые брови.
- Среднеинтенсивные наклоны головы влево-вправо.
- Среднеинтенсивное раскрытие/закрытие рта
- Низкоинтенсивное сжатие рта с одновременным прищуриванием глаз. Оппозитное выражение — низкоинтенсивное раскрытие рта с одновременным раскрытием глаз.
- Низкоинтенсивные изменения в области бровей и рта.
- Предположительно небольшие повороты влево-вправо вокруг вертикальной оси.
Высокоинтенсивные смещения положения лица имеют характерный период от 32 до 128 сек. Средне- и низкоинтенсивные изменения выражения лица имеют характерный период 8—16 сек.
Предполагается, что дальнейшие исследования, направленные на изучение динамики интенсивности выделенных комплексных мимических паттернов в ходе решения модельной задачи, позволят получить полезную информацию, которая поможет оценить функциональную роль мимики лица в проведенном модельном эксперименте.