Виртуальная личность подвижного тэтчеризированного лица

Проблема

Среди психологических проблем поведения человека в виртуальной реальности особое место занимает представление о виртуальной личности и формах ее активности в искусственно созданной среде [Селиванов, 2016; Селиванов, 2019]. Экспериментально эта проблема может решаться как путем погружения испытуемого в VR-среду, так и в более общей форме через изучение свойств индуцированной личности, обладающей «невозможным лицом».

Тематика восприятия «невозможного лица» давно разрабатывается в психологической науке на материале коллажированных изображений человека, его фотографий, портретов, рисунков, схем. Эффективно применяются стимульные модели «зеркального лица», составленные из одинаковых сторон
(правой либо левой), «композитные» и «химерические» лица, объединяющие изображения верхней и нижней либо правой и левой половин лица разных людей, «разбалансирован­ные лица», компоненты которых располагаются не на своих местах и др. [Барабанщиков, 2012; de Heering; Perov; Blom; Weibert; Williams]. Использование искусственных объектов, обладающих необычными свойствами, позволяет выявить скрытые закономерности межличностного восприятия, взаимосвязи частей лица и его целого, способы персонификации натурщика, их зависимость от разнообразных условий и т.п.

В последнее десятилетие интересы исследователей все чаще смещаются в сторону восприятия «живого» лица, меняющегося в реальном времени [Барабанщиков]. Возникает потребность в методах коллажирования видеоизображе­ний человека в самом процессе коммуникации. Решая эту проблему, мы предложили методику, основанную на информационной технологии синтеза изображений с использованием искусственного интеллекта Deepfake. Технология предназначена для решения прикладных задач компьютерной графики, включая создание роликов, в которых лица одних людей меняются на другие или требуемые мимические паттерны накладываются на чужое лицо и реализуются в режиме реального времени [DeepFaceLab: инструмент для; Chawla; Dolhansky; Dolhansky, а; Maras; Perov].

С помощью программного обеспечения DeepFaceLab авторы статьи выполнили частичное объединение видеороликов с участием двух актрис, дающих интервью перед телекамерами [Барабанщиков, 2020; Барабанщиков, а; Барабанщиков, б]. На левую половину лица начинающей актрисы (20 лет) накладывалась соответствующая часть поверхности лица хорошо известной актрисы (35 лет). В итоговой модели верхняя половина объединенного видеоизображения не имела выраженной границы, а нижняя половина включала небольшое рассогласование поверхностей — излом, играющий роль дистрактора (рис. 1).

Наблюдатели оценивали: воспринимаемые качества изображения, личностные особенности и состояния реальных и виртуальных натурщиков в условиях статики и динамики, прямой и обратной экспозиции, моновизуальной и мультимодальной репрезентации стимулов. Мы показали, что феномены восприятия химерического лица, зарегистрированные ранее в условиях статики, при экспозиции динамической модели сохраняются, но приобретают новое содержание. Оригинальные лица и в статике, и в движении независимо от эгоцентрической ориентации оцениваются позитивно на уровне высоких значений. Химерические лица при всех варьируемых условиях представляются как дисгармоничные, непривлекательные, причудливые и искусственные. Инверсионный эффект в динамике выражен сильнее, чем в статике. При мульти­модальной экспозиции его величина снижается, а адекватность оценок прямой экспозиции возрастает. Пол и содержание поведения виртуального натурщика определяются адекватно, воспринимаемый возраст переоценивается. При изменении условий экспозиции оценки эмоциональных выражений одного и того же химерического лица меняются.

Данная работа посвящена верификации обнаруженных закономерностей на материале иллюзии Маргарет Тэтчер. Она состоит в различии восприятий изображений одного и того же веселого лица, глаза и рот которого переворачивают на 180°. Если при прямом эгоцентрическом положении такое лицо представляется гротескным, содержащим неприкрытые дефекты и выражающим гнев, то при перевороте лица гротеск и явные искажения как бы исчезают, а наблюдателю открывается приятное лицо улыбающейся женщины [Thompson]. Иллюзия показывает, что конфигурация, объединяющая ключевые элементы выражений лица (глаза, рот), в зависимости от эгоцентрической ориентации несет разное содержание и выступает в разном качестве [Барабанщиков, 2012]. Требовалось ответить на два вопроса:

1)   Ограничивается ли иллюзия Тэтчер экспозицией коллажированных фотографий и, если нет, то как проявляется при экспозиции видеоизображений лица во время коммуникации виртуального натурщика с другими людьми?

2)   Как соотносятся формы проявления подвижного химерического и тэтчеризированного лица, в чем они совпадают и чем отличаются друг от друга?

Методика

Стимульная модель тэтчеризированного лица конструировалась на основе двух методов синтеза видеоизображений: IT-технологии «DeepFaceLab» 2.0 (DFL), профессионального видеоредактора «Adobe After Effects» 2020 [Барабанщиков, 2020; Барабанщиков, а; Барабанщиков, б; Барабанщиков, 2020а; Барабанщиков, 2021].

На первом этапе создания стимульной модели использовалось нейросетевое приложение DeepFaceLab, применяющее метод генеративно-состязательных нейросетей типа GAN [DeepFaceLab: инструмент для; Perov]. С помощью встроенных в программу функций оригинальное видео c лицом молодой актрисы (20 лет) длительностью 15 с было раскадровано на 500 кадров в формате JPG. В автоматическом режиме программа из полученных кадров извлекала все изображения, которые содержат лицо, а также выравнивала его грани. Следующий шаг заключался в предварительном обучении модели лица с использованием XSeg — встроенного в DFL инструмента для ручного маскирования целого лица или его частей. С помощью этого инструмента на 20 изображениях были отмечены ключевые точки, которые включали область вокруг глаз и рта (рис. 2).

После выполнения вышеуказанных действий запускалась функция объединения натренированной модели с оригинальным ви­деорядом. С завершением функции конвертируется файл, содержащий натренированную маску, не затрагивая остальной видеоряд. На этом шаге первый этап завершается.

Во втором этапе все настройки выполнялись полностью вручную, использовалась программа видеомонтажа Adobe After Effects, в которую импортировался полученный из DFL файл с маской. Каждый кадр, который содержал части лица (глаза, рот), инвертировался поочередно, что позволило достичь полного слияния с оригинальным лицом натурщицы и с ее мимикой (рис. 4). Одной и другой технологией предусмотрена возможность использования оригинального саундтрека.

В исследовании приняли участие 42 учащихся вузов Москвы (17 мужчин и 25 женщин, от 18 до 40 лет, M=23,4; SD=8,2); с нормальным или скорректированным зрением. Уровень знания английского языка в объеме средней школы или неязыкового вуза.

В ходе основной части эксперимента испытуемым последовательно предъявлялись 6 видео и 4 фотоизображения (рис. 5): (I) инвертированное [Ex1] и прямое видео [Ex2] тэтчеризированного лица; (II) инвертированное [Ex3] и прямо расположенное [Ex4] оригинальное видео без трансформаций лица; (III) инвертированное [Ex5] и прямое [Ex6] фотоизображение (стоп-кадр) тэтчеризированного лица; (IV) инвертированная [Ex7] и прямо расположенная [Ex8] оригинальная фотография натурщицы без трансформаций лица; (V) инвертированное [Ex9] и прямо расположенное [Ex10] видео тэтчеризированного лица с включенной речью на английском языке.

После каждой экспозиции (15 с) требовалось определить пол, возраст, профессию натурщика, а также оценить привлекателность/непривлекательность увиденного лица по пятибалльной шкале и определить одно из семи базовых эмоциональных состояний, которое оно выражает (спокойствие, радость, удивление, страх, отвращение, гнев, печаль).

Основной части эксперимента предшествовало знакомство с инструкцией и с типом экспозиций изображений лица на примере прямо ориентированного видеоизображения другого натурщика. В предварительном тестировании натурщиком выступил известный актер Б.К. (45 лет), которого узнало большинство испытуемых; кинозвезда наделялась исключительно положительными качествами, верно оценивался возраст, эмоциональное состояние и род занятий.

Эксперимент проводился с использованием дистанционных технологий, опросник создан на базе интернет-платформы Google-формы [Бовина; Сорокова]. Для участия в эксперименте требовалось наличие у испытуемых соответствующих технических возможностей: дисплей от 15” с разрешением 1280 х 720 на расстоянии 60 см от наблюдателя, а также наличие звуковы­водящих устройств (микрофон, наушники или динамики). Настройки отображения Google-формы выполнялись при помощи приложений для видеоконференций под руководством экспериментатора.

При анализе привлекательности лица рассчитывалась средняя частота оценок каждой из десяти экспозиций. Подсчитывался коэффициент асимметрии (Кас), устанавливающий соотношение положительных и отрицательных оценок. Характеристики воспринимаемой личности — пол, возраст, профессия, а также эмоциональные состояния натурщика выявлялись путем анализа вербализаций испытуемых в устной и/или письменной форме. Подсчитывались доли ключевых понятий. Значимость различий устанавливалась с помощью критерия Хи-квадрат Пирсона. При обработке полученных данных использовалась среда R и пакет Microsoft Excel 2016.

Результаты

Динамика воспринимаемой привлекательности лица (Kac) в зависимости от условий экспозиции (Ex1—Ex10) продемонстрирована на рис. 6. Оригинальное лицо натурщицы независимо от эгоцентрической ориентации как в статике, так и в динамике оценивается как привлекательное на уровне высоких значений (Kac=0,7—0,9). Инверсионный эффект проявляется в изменении доли положительных ответов по сравнению с восприятием прямо ориентированного лица: в условиях статики Kac=0,7, в условиях динамики Kac=0,9. Тэтчеризированное лицо оценивается по-разному. Натурщик рассматривается как привлекательный в первом и пятом эпизодах (Ex1, Ex9). В остальных случаях независимо от эгоцентрической ориентации тэтчеризированное лицо воспринимается как непривлекательное (Кас=-1 — -0,3). Инверсионный эффект проявляется в увеличении числа положительных ответов и, соответственно, коэффициента асимметрии: Кас=-0,3 в условиях статики, Кас=0,2 в условиях динамики.

Большинство участников эксперимента (94%) верно воспринимают лица натурщиков как женские. Исключение составляют несколько случаев в начале (Ex1—Ex3), в середине (Ex5) и в конце серии (Ex10), где наблюдатели сообщили об изображении мужского (1—12%) либо гибридного (2—21%) лица, которое совмещает в себе мужские и женские черты.

Ответы на вопрос о возрасте натурщика были сгруппированы по трем диапазонам: 18—25 лет, 26—30 лет и 31—45 лет. Сопоставление данных показывает, что воспринимаемый возраст виртуального натурщика (динамичного и статичного), особенно инвертированного, по сравнению с действительным (20 лет) переоценивается (26—30 лет — на 12%—79%; 36—45 лет — на 4%—24%). Появление звучащей речи на определение возраста натурщика по видеоизображению тэтчеризированного лица не влияет.

В ходе эксперимента ответы на вопрос о представляемой профессии натурщиков были разделены на 5 категорий: творческая сфера (гример, актер, фотомодель), социальная сфера (педагог, психолог, журналист), антисоциальная сфера (вор, маргинальная личность, криминальный элемент), сфера обслуживания (клининг), без ответа/ невозможно определить. Оба натурщика как с тэтчеризированным, так и с естественным лицом независимо от динамики или статики и эгоцентрической ориентации относятся испытуемыми к творческим (77—98%) и к социальным сферам (4%). Начиная с демонстрации прямо ориентированного тэтчеризированного лица в качестве еще одной группы называется антисоциальная сфера (до 12% ответов) и сфера обслуживания (5%), данные ответы характерны исключительно для стимульной модели виртуального натурщика, независимо от эгоцентрической ориентации, наличия динамики либо статики, а также звучащей или отсутствующей речи. В ряде случаев сфера деятельности натурщика с тэтчеризированным лицом не определялась (до 10% ответов), ссылаясь на невозможность это сделать.

Во всех предъявлениях верно определяется содержание поведения натурщика. Ответы испытуемых однотипны: «рассказывает о себе», «проходит собеседование», «дает интервью» и т.п.

Оценки эмоционального состояния натурщика также зависят от конкретного эпизода. В течение всего эксперимента идентифицируются две основные эмоции — радость и спокойствие и ряд дополнительных — удивление, страх, гнев, отвращение. Основные эмоции в разных сочетаниях сохраняются при любых условиях, содержание и количество дополнительных варьирует; в шести из десяти экспозиций замечаются состояния удивления. Так, при демонстрации инвертированного видео­изображения тэтчеризированного лица (Ex1) 67% ответов занимает эмоция радости, 16% — спокойное состояние, 10% — удивление, 7% — страх. При прямой экспозиции (Ex2) основные эмоции меняют свои значения, спокойствие увеличивается в 3 раза (50%), радость понижается почти в таком же соотношении (29%), упоминания страха немного возрастают (11%), также появляется новое дополнительное состояние: гнев (10%) (рис. 7).

При демонстрации инвертированного неподвижного оригинального лица (Ex3) картина ответов меняется: остаются только радость (64%) и спокойствие (36%). Прямая экспозиция фотоизображения (Ex4) сужает объем радости до 5% за счет спокойствия (41%).

Состояние натурщицы на инвертированном стоп-кадре тэтчеризированного лица (Ex5) имеет следующие оценки: радость (60%), спокойствие (29%), удивление (11%). Прямое фотоизображение этого же стоп- кадра (Ex6) привносит большее разнообразие дополнительных эмоций: отвращение (33%), спокойствие (29%), радость (14%), страх (12%), гнев (10%), удивление (2%) (рис. 8).

Демонстрация инвертированного оригинального стоп-кадра натурщицы (Ex7) оставляет только два основных состояния:
радость (88%) и спокойствие (12%). Похожие оценки у прямо ориентированного оригинального стоп-кадра: радость (92%), спокойствие (5%), дополнительно включающее удивление (3%).

Появление звучащей речи вновь меняет соотношение эмоций: при инверсии подвижного тэтчеризированного лица (Ex9) — радость (40%), спокойствие (43%), удивление (17%); при прямой экспозиции (Ex10) — радость (33%), спокойствие (33%), удивление (16%), отвращение (11%), страх (7%) (рис. 9).

Обсуждение результатов

Результаты проведенного исследования показывают, что иллюзия Маргарет Тэтчер, описанная в условиях статики, регулярно воспроизводится на видеоизображениях лица и имеет ряд существенных особенностей.

Инверсионный эффект — уменьшение воспринимаемых деформаций лица при его повороте на 180° — в динамике выражен сильнее, чем в статике. При мультимодальной экспозиции доли положительных оценок возрастают. Динамичное прямо ориентированное тэтчеризированное лицо оценивается как более привлекательное, чем статичное. Оригинальное лицо как в статике, так и в динамике независимо от эгоцентрической ориентации кажется наиболее привлекательным.

Оценки привлекательности лица и эмоционального состояния натурщика тесно связаны с типом эпизода и его эгоцентрической ориентацией. В ответах испытуемых выделяются две основные эмоции — радость и спокойствие, а также ряд дополнительных (удивление, гнев, страх, отвращение). Изменения условий экспозиции меняют впечатления о виртуальном натурщике и воспринимаемых эмоциях. Для экспозиции тэтчеризированного лица характерно преобладание эмоции удивления, а для химерического — печали.

В подавляющем большинстве случаев пол и содержание реального и виртуального натурщиков определяются адекватно. Точность идентификации воспринимаемого возраста оригинального натурщика превышает 85%; возраст виртуального натурщика переоценивается. Натурщики с оригинальным и тэтчеризированным лицом большинством испытуемых относятся к творческой либо социальной профессии. Профессия виртуального натурщика (до 12%) связывается с антисоциальной сферой и сферой обслуживания, особенно при экспозиции прямо ориентированных изображений независимо от статики либо динамики.

Сравнительный анализ результатов выполненных экспериментов с результатами исследований восприятия химерического лица [Барабанщиков, 2020; Барабанщиков, а] говорит о том, что основные закономерности, обнаруженные на материале тэтчеризированного лица, воспроизводят тенденции, ранее описанные в исследованиях химерических изображений:

1)   несмотря на трансформации лица и их отнесенность к разным персонажам, искусственное (коллажированное) лицо воспринимается целостным во всех тестируемых эпизодах. Сообщений о раздвоенности личности виртуального натурщика не поступает;

2)   оценки воспринимаемого качества ви­деоизображений, характеристик личности и эмоционального состояния натурщика связаны с одним и тем же эпизодом и эгоцентрической ориентацией лица. Изменения условий экспозиции меняют впечатления о химерическом лице и виртуальном натурщике;

3)   естественные (оригинальные) лица и в статике, и в динамике независимо от эгоцентрической ориентации оцениваются позитивно, на уровне высоких значений. Коллажированные лица при всех варьируемых переменных воспринимаются как дисгармоничные и непривлекательные;

4)   эффект инвариантности восприятия коллажированного лица проявляется как в статике, так и в динамике, но наиболее выражен на видеоизображениях.

Мультимодальные экспозиции снижают значение инверсионного эффекта коллажированного лица, но усиливают адекватность оценок в условиях прямой ориентации. Вышеотмеченное означает, что в рамках варьируемых условий восприятие коллажированного лица не зависит от содержания внутренней трансформации. Допускается их перенос на восприятие «зеркальных», «композитных», «разбалансированных» и других видов «невозможного лица». Влияние конкретных форм коллажирования сказывается на особенностях восприятия динамики состояний или в различиях представлений о реальном и виртуальном натурщиках, в ха-рактере ассоциаций с их профессиональной деятельностью, возрастом, проявлениями эмоциональных состояний. Воспринимаемые качества тэтчеризированного лица оцениваются более адекватно, чем химерического.

Заключение

Изучение закономерностей восприятия «невозможного лица» в статике и динамике является одним из актуальных направлений современных исследований в общей и со-циальной психологии [Барабанщиков, 2012; Барабанщиков]. В работе пред-ставлен новый метод изучения механизмов межличностного восприятия в экологически и социально валидных условиях, в основании которого лежит динамичная модель «невоз-можного лица», созданная при помощи IT-технологии синтеза изображений — Deepfake. 

Сконструированная модель виртуального натурщика воспроизводит подвижное тэтчеризированное лицо. Оценивались воспринимаемые качества изображений лица, индивидуально-психологические характеристики виртуальной личности и эмоциональные состояния реальных и виртуальных натурщиков в условиях статики и динамики, прямой и обратной экспозиции, моновизуальной и муль­тимодальной репрезентации стимулов.

Анализ полученных данных позволяет утверждать, что иллюзия Тэтчер не ограничивается экспозицией коллажированных фотографий и воспроизводится при экспозиции видеоизображений лица в процессах коммуникации. Основные закономерности проявления подвижного химерического и тэтчеризированного лица совпадают.

Проведенное исследование позволяет отнести описанную методику к системным технологиям изучения порождения, формирования и функционирования образа невозможного биологического объекта, в котором лицевая поверхность может принимать разнообразный вид и по-разному включаться в коммуникативный процесс. Методика позволяет вскрывать множественность отношений, складывающихся в процессах идентификации личности и эмоциональных состояний лица в реальных условиях жизни. Открываются новые перспективы разработки природы и механизмов межличностного восприятия человека.