Парный модельный эксперимент «верю/не верю» — возможность выделения невербальных признаков достоверности/недостоверности сообщаемой информации

В качестве маркеров достоверности/недостоверности сообщаемой информации ранее неоднократно пытались использовать выделяемые экспертами парциальные мимические признаки. В наших исследованиях предлагается переход к анализу на уровне автоматически выделяемых целостных мимических паттернов. Для решения данной задачи проводился модельный парный эксперимент, в котором участники должны были многократно принимать решение сообщать правду/лгать. Анализ мимики лица выполнялся путем автоматического расчета координат ключевых точек и дальнейшего выделения целостных мимических паттернов выражения лица с помощью метода главных компонент. На уровне нагрузок главных компонент выделены признаки принятия решения «лгать/сообщать правду» для выборки в целом и отдельных испытуемых. Обнаружено, что целостные паттерны выражения лица, связанные с достоверностью/недостоверностью сообщаемой информации при «низких ставках» характеризуются высокой индивидуальной вариативностью. В качестве направления дальнейших исследований выражений лица предлагается переход к изучению индивидуального репертуара целостных паттернов выражения лица.

Введение

Задача выявления невербальных признаков достоверности/недостоверности сообщаемой информации имеет высокую практическую значимость. В наших исследованиях выделение таких признаков проводится в рамках эксперимента, моделирующего принятие решений о сообщении достоверной/недостоверной информации при низких ставках. В ходе модельной карточной игры «верю/не верю» [3] пара участников самостоятельно создает последовательность экспериментальных ситуаций, в каждой из которых партнеру сообщается достоверная/недостоверная информация о выборе игровой карты. Таким образом, исследователь получает возможность сопоставить принимаемое решение с выражением лица игрока, записываемым видеокамерой.

В качестве метода анализа видеозаписей мимики лица мы используем автоматическую покадровую разметку ключевых точек с последующим проведением анализа главных компонент, что позволяет выделять характерные целостные мимические паттерны. Ранее нами было показано, что даваемые наблюдателями оценки достоверности/недостоверности сообщаемой информации могут быть объяснены линейной регрессионной моделью, включающей в качестве независимых переменных веса выделенных главных компонент в предыдущие моменты времени [1].

Анализ результатов эксперимента в части мимики лица на уровне выборки в целом показал принципиальную возможность выделения целостных мимических паттернов, ассоциируемых с сообщением достоверной/недостоверной информации [4]. Продолжая данное направление исследований, мы провели дополнительные эксперименты, увеличив объем выборки в целом и объем эксперимента для каждой пары участников (с одной игры, до двух), что соответствует при корректной игре 36 ситуациям принятия решения для каждого из игроков. Увеличение числа экспериментальных ситуаций (ЭС), в которых каждой из участников принимает решение, позволяет поставить вопрос о возможности выделения не только общих, но и индивидуальных признаков достоверности/недостоверности сообщаемой информации.

Экспериментальная процедура

В исследовании использовался оригинальный программно-аппаратный комплекс [2]. Регистрация движений глаз выполнялась с помощью айтрекеров SMI RED-m (частота 120 Гц). Игровое поле демонстрировалось на ЖК-мониторе ViewSonic VA903m, 1280×1024 пикселей. Расстояние от глаз испытуемых до поверхности экрана — 60 см. Испытуемые находились в неподвижных, невращающихся креслах КЭ-1, голова — на подголовнике. Выражение лица записывается модифицированной web-камерой SonyPlaystation Eye (штатный объектив заменен на вариофокальный 2,8/12 мм). Разрешение 640х480 пх 60 кадров/сек. Запись видео выполняется на выделенных компьютерах под ОС Linux. Видеозапись включается автоматически одновременно с началом эксперимента. При дальнейшей обработке видеозаписей для выделения необходимых видеофрагментов используется временная разметка экспериментальных ситуаций, записываемая айтрекерами.

В игре разыгрывается колода в 36 карт. Участники поочередно выполняют ходы, в которых выбирается игровая карта и предлагаемая карта. Предлагаемая карта (совпадающая или не совпадающая с игровой) демонстрируется оппоненту. Таким образом, игрок либо «сообщает правду» (предлагаемая карта совпадает с игровой), либо «лжет» (предлагаемая карта не совпадает с игровой). Оппонент должен решить, верит ли он, что предлагаемая карта совпадает с игровой. В случае правильного ответа «верю» оба игрока получают по 1 баллу. В случае правильного ответа «не верю» угадывающий игрок получает 2 балла. В случае неправильного ответа 2 балла получает игрок, загадывавший карту.

Каждый ход для анализа разбивался на 3 фазы.

1-я фаза. Активный игрок принимает решение сообщать правду/лгать и в соответствии с ним выбирает игровую карту (из фактически имеющихся у него) и предлагаемую карту (произвольно конструируемую как комбинацию достоинства и масти). Завершив выбор, он нажимает кнопку «Играть».

2-я фаза. У оппонента отображается предлагаемая карта, он принимает решение, верить или не верить активному игроку, нажимая одну из кнопок «Верю» или «Не верю».

3-я фаза. В верхней части экрана для обоих игроков отображается новый игровой счет; у оппонента дополнительно отображается игровая карта, задуманная активным игроком. 3-я фаза завершается в момент нажатии оппонентом кнопки «Дальше». С этого же момента начинается 1-я фаза следующего хода, поскольку оппонент, нажав кнопку «Дальше», тем самым становится активным игроком, который должен принять решение сообщить правду/лгать и выбрать карты.

Результаты: основные показатели игрового процесса

В исследовании участвовали 34 человека — студенты московских вузов в рамках учебных курсов по экспериментальной психологии (4 мужчин, 30 женщин). Медианная продолжительность первой игры составляет 12,78 мин; IQR=(11,12 — 15,29), Медианная продолжительность второй игры 6,90 мин; IQR=(6,28 — 8,48). Различия в продолжительности— статистически значимые, критерий Вилкоксона, p < 10-6. Игроки хорошо обучаются и вторая игра протекает быстрее. Сокращение продолжительности проявляется на всех фазах игры; медианная продолжительность для первой и второй игр составляет для 1-й фазы 8,7 сек против 6,4 сек; для 2-й фазы 3,1 сек против 2,3 сек; p < 10-6; для 3-й фазы: 2,3 сек против 1,4 сек; во всех случаях p < 10-6.

Для первой игры доля ЭС, в которых игрок сообщал правду/лгал, составляет 0,46 и 0,54 соответственно. Доля ЭС, в которых игрок верил/не верил сообщаемой информации, — 0,51 и 0,49 соответственно. Доля ЭС, где сообщалась ложь и ей не верили, — 0,22; сообщалась ложь и ей верили — 0.24; сообщалась правда и ей не верили — 0,26; сообщалась правда и ей верили — 0,27.

Для второй игры доля ЭС, в которых игрок сообщал правду/лгал составляет 0,40 и 0,60 соответственно. Доля ЭС, в которых игрок верил/не верил сообщаемой информации, — 0,53 и 0,47 соответственно. Доля ЭС, в которых сообщалась ложь и ей не верили, — 0,20, сообщалась ложь и ей верили — 0,20, сообщалась правда и ей не верили — 0,27, сообщалась правда и ей верили — 0,33. Во второй игре наблюдается тенденция к тому, чтобы чаще сообщать правду и чаще верить сообщаемой информации.

Индивидуальная пропорция правдивых ответов положительно коррелирует с заработанными очками: r=0,26, p=0,03. Индивидуальная пропорция решений «верить» отрицательно коррелирует с заработанными очками: r=-0,38, p=0,01. Индивидуальные пропорции решений «говорить правду» и «верить» не коррелируют между собой.

Результаты: невербальные признаки достоверности/недостоверности сообщаемой информации

Анализ на уровне выборки проводился для выборки в 1171 ЭС, из них 655 ЭС «правда» и 516 ЭС «ложь». Видеозаписи мимики лица обрабатывались с помощью ПО OpenFace v. 2.0 [5]. Для дальнейшего анализа использовались X-, Y-, Z-координаты 68 ключевых точек лица (контур лица, глаза, брови, нос, рот). Необходимые фрагменты данных выбирались на основе временных отметок о ходе эксперимента, извлекаемых из айтрекинговых данных. Агрегированный набор данных, соответствующий 708636 корректно обработанным кадрам видеозаписи далее был подвергнут анализу методом главных компонент. Использовалась среда статистической обработки R [6], функция prcomp (пакет stats). Следует отметить, что время обработки составило 2 минуты, т.е. анализ главных компонент может быть выполнен весьма эффективно даже на относительно больших объемах данных. В то же время анализ главных компонент весьма требователен к объему оперативной памяти. Исходная таблица занимает 1,1 Гб, еще столько же — объект, возвращаемый как результат анализа.

Первые 10 главных компонент объясняют 0,997 дисперсии. Далее для каждой из анализируемых ЭС было вычислено медианное значение каждой из первых 10 главных компонент. Таким образом, каждой из ЭС были приписаны характерные значения первых главных компонент, характеризующих комплексные изменения в мимике лица обобщенного участника эксперимента. Далее с помощью критерия Манна—Уитни была проверена гипотеза о различии матожиданий значений главных компонент для ЭС, в которых участники исследования сообщали правду/лгали. В результате анализа было выделено 4 главные компоненты, для которых различия в матожиданиях оказались значимыми на уровне p< 0,05 (табл. 1).

Таблица 1

Главные компоненты, описывающие целостное выражение лица
обобщенного участника эксперимента, для которых обнаружены
значимые различия в величине нагрузок для ЭС, в которых участники
эксперимента сообщали правду/лгали

Компонента	p-level	Delta	V
PC3	0,033	0,78	0,208
PC5	0,031	-0,142	0,009
PC7	0,013	0,080	0,002
PC10	0,013	0,011	0,001

Примечание: p-level — уровень значимости различий; Delta — величина межвыборочного сдвига по Ходжесу—Леману; V — доля компоненты в объяснении дисперсии.

Таблица 2

Главные компоненты, описывающие целостное выражение лица конкретного участника
эксперимента, для которых обнаружены значимые различия в величине нагрузок
для ЭС, в которых участники эксперимента сообщали правду/лгали

Номер участника	Число ЭС «правда»	Число ЭС «ложь»	Компонента	p-level	Delta	V
1	23	11	PC8	0,028	-0,445	0,004
2	18	17	PC9	0,072	0,178	0,002
6	21	16	PC4	0,005	-2,701	0,052
8	23	13	PC5	0,093	-0,963	0,033
10	27	9	PC9	0,039	-0,257	0,004
12	23	12	PC1	0,041	7,459	0,436
13	18	18	PC9	0,059	-0,282	0,002
14	11	25	PC9	0,041	-0,467	0,004
15	15	20	PC6	0,059	0,632	0,011
15	15	20	PC8	0,064	-0,253	0,004
18	27	8	PC1	0,088	3,639	0,422
19	20	14	PC6	0,001	0,865	0,006
20	15	21	PC4	0,058	-0,596	0,052
21	15	20	PC3	0,099	1,431	0,095
21	15	20	PC8	0,074	0,445	0,006
22	25	11	PC8	0,049	-0,255	0,003
23	24	12	PC1	0,068	2,570	0,617
23	24	12	PC5	0,027	-1,111	0,021
23	24	12	PC8	0,027	-0,815	0,004
25	13	22	PC2	0,041	4,381	0,326
25	13	22	PC9	0,020	-0,220	0,001
26	20	16	PC5	0,079	-0,824	0,008
30	11	24	PC8	0,012	0,538	0,008
31	20	14	PC5	0,066	0,519	0,013
31	20	14	PC8	0,061	-0,205	0,003
32	11	25	PC4	0,022	0,825	0,013
32	11	25	PC8	0,086	0,193	0,002

Примечание: приведены результаты на уровне p< 0,1.

Рис. 1. Реконструкция главных компонент

Каждая главная компонента представляет собой вектор смещений координат 68 ключевых точек относительно их средних по выборке координат. Такие данные могут быть наглядно визуализированы в виде трехмерного контура лица, построенного на основе положений ключевых точек. Из каждой ключевой точки выходит вектор, соответствующий направлению смещения. Визуализация (рис. 1) выполнена в среде Rс использованием пакета plot3D (функции scatter3D, lines3D, arrows3D).

Выполненный анализ отражает обобщенные характеристики выборки. Для проведения анализа на уровне отдельных участников были выбраны данные по отдельным участникам, для каждого из них индивидуально был проведен анализ главных компонент; рассчитаны медианные значения первых 10 главных компонент для ЭС, относящихся к данному участнику, и далее выполнена проверка различия матожиданий нагрузок главных компонент для ЭС, в которых данный частник лгал/сообщал правду. Полученные результаты представлены в табл. 2.

Полученные результаты показывают, что потенциальные невербальные признаки достоверности/недостоверности сообщаемой информации удалось выделить у 20 из 34 участников исследования. При этом наблюдается высокая индивидуальная вариативность в объеме выделяемых невербальных признаков. Таким образом, представляется оправданным проведение дальнейших исследований на уровне отдельных испытуемых. Следует отметить, что при данном способе анализа выделяемый набор главных компонент индивидуален для каждого участника, что затрудняет сопоставление выделенных признаков.

Обсуждение

Проведенное исследование показало принципиальную возможность и целесообразность поиска индивидуальных специфических невербальных признаков достоверности/недостоверности сообщаемой информации, содержащихся в динамике выражения лица испытуемого. В то же время дальнейшая разработка данного направления требует решения ряда методических задач.

В проведенном эксперименте использовались три автономных программных модуля: 1 — вновь написанная программа для проведения эксперимента; 2 — вновь написанная программа, выполняющая запись изображения с веб-камеры; 3 — штатная программа для управления айтрекером SMI RED-m—iView X. Передача синхронизирующих сообщений от управляющей программы к регистрирующим была реализована посылкой UDP-пакетов, поскольку данный метод являлся единственно возможным для айтрекера SMI RED-m. В ходе предварительной обработки данных выяснилось, что данный способ синхронизации может приводить к значительной рассинхронизации между процессами. По-видимому, рассинхронизация между айтрекинговыми данными и видеозаписью обусловливает неудачу ранее выполненной нами попытки сопоставления направления взора по данным айтрекера и веб-камеры. Перед проведением дальнейших исследований необходимо разработать более надежный способ синхронизации.

Используемая нами в настоящее время программная реализация записи видео с веб-камер с компрессией H264 с использованием библиотеки ffmpeg, по-видимому, не обеспечивает фактическую постоянную скорость записи. Необходимо проведение дополнительного контроля стабильности записи. Возможным решением здесь может быть использование камер с аппаратным кодированием H264.

Отдельные участники исследования характеризуются относительно слабо выраженными мимическими проявлениями, связанными с сообщением достоверной/недостоверной информации. В связи с этим необходим переход к использованию камер с более высоким пространственным разрешением.

Используемый способ анализа, при котором экспериментальной ситуации сопоставляется единственное значение нагрузки главной компоненты, приводит к значительной потере информации. Полезно разработать более информативные способы анализа. Представляет интерес, в частности, эмоциональная реакция на результат хода. В каком виде она проявляется? Насколько быстро протекает? Решение данной задачи, однако, требует предварительного установления точной синхронизации между программами — компонентами эксперимента.

Представляется перспективным использование методов автоматической разметки, детектирующих большее количество ключевых точек, в частности Google MediaPipe.

Результаты проведенного исследования показали, что участники хорошо обучаются, что приводит к сокращению продолжительности хода. Таким образом, открывается возможность дальнейшего наращивания числа экспериментальных ситуаций. Увеличение объема эксперимента, выполняемого отдельной парой участников, дает возможность углубленного изучения индивидуальных невербальных признаков достоверности/недостоверности сообщаемой информации. Полученные результаты могут стать основой для проведения регрессионного анализа, предсказывающего принятие решения о достоверности/недостоверности сообщаемой информации на основе нагрузок главных компонент, описывающих выражение лица активного игрока на этапе принятия решения о выполняемом ходе.

Заключение

Анализ динамики лица методом главных компонент позволяет выделить набор характерных комплексных мимических паттернов, достаточно полно характеризующих актуальную мимическую активность. Дополнительная проверка показывает, что некоторые из этих комплексных паттернов связаны с сообщением достоверной/недостоверной информации. Объем паттернов динамики выражения лица, связанных с достоверностью/недостоверностью сообщаемой информации, при «низких ставках» характеризуется высокой индивидуальной вариативностью. Проверка устойчивости индивидуальных паттернов, связанных с сообщением достоверности/недостоверности сообщаемой информации требует дальнейшей проверки.

1. Барабанщиков В.А., Жегалло А.В. Динамика ключевых точек лица как индикатор достоверности сообщаемой информации // Экспериментальная психология. 2021. Том 14. № 2. С. 101—112. DOI:10.17759/exppsy.2021140207
2. Жегалло А.В., Басюл И.А. Организация исследований межличностного общения, опосредованного видеокоммуникацией // Лицо человека: познание, общение, деятельность / Отв. ред. К.И. Ананьева, В.А. Барабанщиков, А.А. Демидов. М.: Когито-Центр; Московский институт психоанализа, 2019. С. 77—89.
3. Жегалло А.В., Басюл И.А. Парный эксперимент для выявления индикаторов правды и лжи с высокой экологической валидностью // Экспериментальная психология. 2019. Том 12. № 4. С. 151—159. DOI:10.17759/exppsy.2019120412
4. Жегалло А.В., Басюл И.А. Показатели окуломоторной активности как индикаторы достоверности/недостоверности сообщаемой информации // Познание и переживание. 2021. Том 2. № 4. С. 37—53. DOI:10.51217/cogexp_2021_02_04_03
5. Baltrušaitis T., Zadeh A., Lim Y.C., Morency Y.-P. OpenFace2.0: Facial Behavior Analysis Toolkit // Proc. IEEE International Conference on Automatic Face and Gesture Recognition (FG ’18). 2018. P. 59—66.
6. R Core Team. R: A language and environment for statistical computing [Электронный ресурс] // R Foundation for Statistical Computing. Vienna, Austria, 2020. URL:https://www.R-project.org/ (дата обращения: 19.07.2022).

PlumX

Метрики публикации