Соотношение мимических и аффективных характеристик в вербальном сравнении лиц

Представлены результаты анализа вербализаций, полученных в ситуации вербального сравнения изображений эмоциональных экспрессий из базы ВЕПЭЛ. Показано, что в данных вербального сравнения количественно представлена специфическая информация об экспрессии. Обработка вербализаций, выполненная с помощью инструментария парадигмы воспринимаемого качества, позволила дифференцировать признаки экспрессий, представив их в двух типах вербальных портретов: аффективном и мимическом. Сопоставление этих двух типов вербальных портретов дает возможность интерпретировать аффективные суждения в мимических терминах, и наоборот. Вербальные признаки, входящие в мимические вербальные портреты, были сопоставлены с описаниями мимических характеристик базовых экспрессий, по П. Экману. Показано, что многие признаки, выделенные в ситуации вербального сравнения, совпадают с описаниями, предложенными П. Экманом, который, однако, дал их подробное перечисление без указания их относительной значимости.

Введение

В одной из работ, посвященных применению метода свободной вербализации в изучении восприятия эмоционально окрашенных изображений, было показано, что в вербализациях представлено содержание эмоциональных переживаний не только качественно, но и количественно [1]. При этом одни и те же вербальные данные свидетельствуют одновременно и о валентности, и об интенсивности эмоции, что говорит о новых возможностях интегративного анализа этих показателей, поиску которых посвящены многие современные работы [27]. Была также обнаружена связь между вербальными показателями и шкальными оценками валентности и интенсивности эмоции, полученных методом SAM. Это подтверждает ранее сделанные выводы о количественной связи между данными, полученными разными методами [11; 13; 20; 21]. Существенным ограничением упомянутой работы является процедура получения вербализаций в условиях предъявления изображений индивидуально, что снижает возможность количественного сопоставления выявляемых характеристик, по сравнению с процедурой, в которой осуществляется прямое сравнение объектов [11; 18; 30].

В данной статье рассматриваются примеры анализа вербализаций, полученных при сравнении изображений эмоциональных экспрессий.

Методологической базой нашего исследования является подход воспринимаемого качества объектов окружающей среды, который дает инструмент категоризации их субъективно значимых составляющих [10; 11; 16]. В соответствии с исследовательской парадигмой воспринимаемого качества субъект самостоятельно определяет значимые для него особенности объекта, предоставляя в процессе свободного описания информацию о том, в чем они сходны, в чем различаются, а также в рамках каких категорий выделяемые признаки могут быть объединены. В эмпирическом исследовании участник становится главным действующим лицом, задача которого заключается в описании внешнего окружения, а не в проверке гипотезы исследователя, с помощью ответов на вопросы экспериментатора, в соответствии, например, с предложенными шкалами [12; 13].

Важную роль в становлении такой методологии играют идеи Б.Ф. Ломова о взаимосвязи познания и общения и о том, что именно в общении люди обмениваются своими образами, представлениями или состояниями [8; 9; 15]. Это позволяет сделать вывод о том, что содержание воспринимаемого качества формируется в процессе общения и выявляется в коммуникативной ситуации через анализ вербализаций человека [10; 11; 18]. Для экспериментального моделирования коммуникативных ситуаций обычно используются процедуры референтного общения [15; 21; 26; 28], где участнику ставится задача передачи другим людям собственных представлений об объекте так, чтобы они поняли их содержание (т.е. чтобы у них сформировалось аналогичное воспринимаемое качество объекта).

Особым, одновременно познавательным и коммуникативным средством, обеспечивающим доступ к содержанию воспринимаемого качества, является сравнение, предопределяющее процедуру использования свободной вербализации в эксперименте [15; 18; 30]. Сравнение в вербальной форме (вербальное сравнение) воспринимаемых объектов позволяет не только определить свойства сравниваемых объектов, но и количественно оценить степень субъективного сходства или различия между объектами при их категоризации [18; 20; 21].

Результаты применения парадигмы воспринимаемого качества, которые будут представлены в этой статье, касаются сравнения изображений лиц с разными эмоциональными экспрессиями. В теории базовых эмоций П. Экмана специально отмечается наличие специфических коммуникационных сигналов, содержащих информацию об эмоциональном состоянии человека [22—23]. Предполагается, что каждой эмоции соответствует определенная комбинация мимических признаков. При этом характер соответствия между переживаемым эмоциональным состоянием и мимическими признаками принимается без какого-либо доказательства.

Цель экспериментального исследования состояла в проверке предположения о том, что в данных вербального сравнения количественно представлена информация о специфике экспрессии изображения лица, воспринимаемого человеком, и что эти данные позволяют дифференцировать аффективные и мимические составляющие воспринимаемого качества экспрессий. Результаты такой дифференциации будут затем соотнесены с мимическими признаками, список которых для каждой эмоции был составлен П. Экманом.

Метод

Участники экспериментального исследования сравнивали и вербально описывали свойства изображений лица с разными эмоциональными экспрессиями при их попарном предъявлении.

Стимульный материал

В качестве стимульного материала в исследовании использовались фотоизображения эмоциональных экспрессий с сильной и слабой степенью выраженности, выбранных из базы ВЕПЭЛ [2; 7]. Изображения кадрировались до размера 227x315 pix, так что лицо было представлено крупным планом. На пару изображений накладывалась черная маска, отсекающая внешние по отношению к лицу элементы.

Таким образом, для эксперимента было выбрано 13 изображений лиц (рис. 1), категорированных в соответствии с базовыми эмоциональными экспрессиям, по П. Экману [22] («Радость», «Грусть», «Страх», «Удивление», «Гнев», «Отвращение»), каждая с сильной и слабой выраженностью и одно нейтральное изображение («Спокойствие»).

Рис. 1. Стимульный материал. Первая строка: «Страх» (сильно и слабо выраженный), «Гнев» (сильно и слабо выраженный). Вторая строка: «Отвращение» (сильно и слабо выраженное), «Спокойствие», «Радость» (сильно и слабо выраженная). Третья строка: «Грусть» (сильно и слабо выраженная), «Удивление» (сильно и слабо выраженное)

Соответственно, попарное сравнение изображений при исключении сравнения с самими собою и без учета расположения составляет 78 предъявлений.

Процедура

В процессе эксперимента участникам предъявлялись все 78 пар стимульных изображений. В соответствии с принципами, выработанными в работах В.Н. Носуленко и Е.С. Самойленко [11; 18; 30], задачи участников формулировались инструкцией следующим образом.

1. Внимательно рассмотрите пару лиц, находящихся в центре экрана, и оцените степень сходства между ними по предъявленной шкале: от 1 (совсем не похожие), через 5 (средняя степень сходства), до 9 (очень похожие). Выбрав оценку, сообщите ее экспериментатору.
2. Объясните, почему Вы дали такую оценку сходства, подробно описывая вслух, чем изображения сходны, а чем они различаются. В процессе объяснения Вы можете менять оценку сходства.
3. После того, как Вы сочтете описание достаточным, скажите экспериментатору, что Вы закончили, чтобы перейти к следующим изображениям.

Особо акцентировалась необходимость понимания эксперимента как ситуации референтного общения: «Постарайтесь сформулировать описание так, чтобы человек, услышавший его, понял, о каком из изображений в паре Вы говорите и почему Вы дали такую оценку сходства. Во время описания Вы можете изменять, повторять или дополнять высказанное Вами мнение. Вы абсолютно свободны в выборе способа описания».

Для экспериментатора была создана памятка, в соответствии с которой его главная задача состояла в обеспечении понимания участниками эксперимента заданной инструкции, а также в избегании любых возможностей влияния на их суждения, следуя следующим правилам:

• избегать любых вопросов, позволяющих участнику получить представление о характеристиках предъявляемых изображений;
• в процессе предъявления инструкции акцентировать внимание участника на том, что он: 1) свободен в выборе способа описания; 2) имеет возможность изменять или дополнять уже сказанное; 3) что из описания экспериментатор должен понять, о каком из изображений в паре говорится и почему именно предлагается такая оценка сходства.

Предъявление стимульного материала осуществлялось с помощью монитора ACER KG251Q в разрешении 1280х1024. Пара изображений располагалась по центру экрана по вертикали, по горизонтали расстояние между центрами изображений — 240 pix. На периферии экрана располагались шесть изображений сильно выраженных «базовых» эмоциональных экспрессий, задававших постоянный контекст восприятия [19; 32]. Угловые размеры сравниваемых изображений на расстоянии 60 см от экрана составляли 9,1°х6,6°.

Вербальные описания предъявленных пар изображений, продуцированные участниками, регистрировались на диктофоне и затем переводились в текстовые файлы.

Выборка

В исследовании участвовали студенты московских вузов. Всего 50 человек, женщины —42,мужчины — 8. Возраст — от 18 до 39 лет, m=22,5, sd=4,8.

Обработка вербальных данных

Для обработки текстов вербализаций применялся метод поэтапного анализа вербальных единиц, содержащих отдельную характеристику изображения [11; 18; 30; 31]. Этой характеристикой может быть как отдельный признак («брови опущены»), так и сложный образ («на правом изображении тратится меньше энергии, чем на левом»). При выделении вербальной единицы важно учитывать весь текст вербализации, полученной в исследовании [6]. Вербальные единицы заносятся в базу данных одновременно с другой информацией, связанной с воспринимаемым изображением, а также данные об участнике, о психофизических оценках, предпочтениях, результатах личностных тестов и т.д. Подобная обработка данных позволяет провести триангуляцию разных эмпирических данных и индуктивного поиска точек их интеграции [3; 13; 34].

Вербальные единицы кодируются в соответствии с принципами, конкретное содержание которых вырабатывается непосредственно в процессе индуктивного анализа [33; 34]. Закодированная вербальная единица становится отдельным элементом «измерения» составляющих воспринимаемого качества изображения, представляющих собой вербальные признаки, по которым дифференцируются сравниваемые изображения. Кодирование включает 8 этапов (рис. 2) заполнения разных полей базы данных.

В окончательно сформированной базе данных каждая вербальная единица нормируется в отдельном поле с целью обеспечения возможности их группового статистического анализа. Для каждого типа стимульных изображений (I) вербальным единицам в данных участника (S) приписывается «вес» KSI следующим образом:

KSI = NavI/NSI, где

NSI — количество вербальных единиц, выделенных из вербализаций участника S, продуцированных при восприятии изображения I, а NavI — среднее количество вербальных единиц, относящихся к изображению I, по группе участников.

В процессе кодирования вербальные единицы также взвешиваются, в зависимости от их текстовой формы и взаимосвязи с разными фрагментами вербального протокола. Например, вербальной единице «грустный» приписывается вес 1, «немного грустит» — 0,5, «совсем грустный» — 1,5.

По окончании кодирования проводится анализ содержания выделенных дескрипторов с целью их группировки по основанию семантической близости [подробнее см.: 11; 17]. Такая группировка позволяет предварительно сократить общее количество дескрипторов и перейти к построению так называемых «вербальных портретов» сравниваемых изображений.

Частичная автоматизация процесса кодирования базы данных и ее обработки осуществляется с помощью специально разработанной компьютерной программы [10].

Построение вербальных портретов

Вербальный портрет некоторого объекта, построенный в рамках описанной методологии, является эмпирическим референтом воспринимаемого качества этого объекта [10; 11]. Он показывает количественную представленность разных дескрипторов в описаниях каждого идентифицированного объекта, с учетом частотности и направленности их использования. Показатель представленности (Fi) некоторой характеристики i определяется как взвешенная разность между частотой применения дескрипторов с кодом \yes\ и дескрипторов с кодом \no\ [11]:

В случае, когда все дескрипторы одного типа всегда одинаково направлены (только \yes\ или только \no\), величина Fiравна количеству вербальных единиц, соответствующих данному дескриптору. Чем больше разброс в описаниях, связанных с применением определенного дескриптора, тем его представленность ближе к нулю, несмотря на общее количество вербальных единиц данного типа. Например, в описаниях изображения «Удивление» общее количество вербальных единиц, соответствующих дескриптору «напряженный», равно 41,4, а соответствующих дескриптору «прищуренный», равно 10,7. При этом для дескриптора «напряженный» Fi =3,2, а для дескриптора «прищуренный» все вербальные единицы направлены одинаково и поэтому Fi =–10,7 («не прищуренный»). Для внесения в вербальный портрет формируется биполярная пара дескрипторов, в зависимости от направленности Fi.

Результаты и обсуждение

Из описаний, полученных от 50 участников, было выделено 21014 вербальных единиц, количество которых распределяется между разными изображениями от 1332 («Спокойствие») до 1779 «Страх 1». В среднем, каждый участник продуцировал по 3,5 вербальных единицы на каждую из 78 пар стимульных изображений.

Общее количество вербальных единиц, относящихся к аффективным описаниям изображения лица «в целом» (\afe\whole\), составляет 11144 вербальных единиц. При этом из аффективных описаний части изображения (\afe\part\) были выделены всего 252 вербальные единицы, что составляет менее 3% их общего количества. Поэтому в последующем анализе аффективных данных мы будем использовать только целостные описания (\afe\whole\).

Что касается вербальных единиц, касающихся мимических показателей экспрессии, то они хорошо представлены как в описаниях изображения «в целом» (3795), так и в описаниях части изображения (5805), что позволяет проводить их дифференцированный анализ.

Заключительным этапом нашего анализа является построение вербальных портретов каждого из сравниваемых изображений. Для этого наибольший интерес представляют вербальные единицы, в которых отражаются их дифференциальные свойства, позволяющие отделять одно изображение от другого и относить сравниваемые изображения к разным классам. Поэтому детальную сортировку полученных данных будем осуществлять по критериям \dif\con\cla\dfe & afe\, что позволяет строить два типа вербальных портретов: мимические \dfe\и аффективные \afe\.

В табл. 1 представлены списки объектов, выделенных из мимических описаний части изображения \part\object\ и соответствующих дескрипторов \dfeDescriptor\.

Рис. 2. Основные этапы кодирования вербальных единиц

На первых трех этапах определяется, как организовано сравнение изображений [11; 18; 30; 31]. Сначала устанавливается, отражает ли вербальная единица сходство \sim\ сравниваемых изображений («оба лица злые») или различие \dif\ («первое нахмурено, а на втором улыбка»). Затем определяется характер обобщенности вербальной единицы: выделяется ли общая основа \gen\ сравнения изображений («по мимике похожи») либо отмечается их конкретная особенность \con\ («прямой взгляд»). Конкретные особенности дифференцируются на классификационное различие \dif\con\cla\, позволяющее разделить изображения на разные классы («левое лицо спокойное, а правое выражает испуг») либо на градуальное \dif\con\gra\ сравнение в рамках одного класса характеристик («левое лицо более радостное, чем правое»).

На четвертом этапе кодирования вербальные единицы дифференцируются с точки зрения интегральности описания изображения. Они могут относиться к изображению в целом \whole\ («веселое лицо»), либо к его части \part\ («уголки губ опущены»). В последнем случае выделяется объект, относящийся к данной части изображения \part\objects\ («уголки губ»), который заносится в отдельное поле базы данных и в список идентифицируемых объектов.

На пятом этапе вербальные единицы дифференцируются на дескриптивные \dfe\, которые относятся к мимическим признакам («морщинистый нос»), и аффективные \afe\ («приятное лицо»).

Шестой этап предназначен для дифференциации вербальных единиц по валентности на позитивные \pos\, нейтральные \ntr\ и негативные \neg\.

На седьмом этапе кодирования формируются дескрипторы, которыми описываются вербальные единицы, отнесенные к дескриптивным \dfe\...\dfeDescriptor\ («морщинистый») или к аффективным \afe\...\afeDescriptor\ («приятный»). Для каждого типа дескрипторов выделяется поле базы данных и составляется список, наполняемый в процессе анализа всех текстов по мере появления новых характеристик.

Наконец, на восьмом этапе указывается «направленность» сформированных дескрипторов: дескриптор может иметь позитивную направленность \yes\, если он в вербальной единице отражает исходно выделенную характеристику («приятный») \приятный\yes\, и негативную направленность \no\, если в вербальной единице указывается противоположное значение или отсутствие исходно выделенной характеристики («неприятный») \приятный\no\.

В ситуациях сходства \sim\ или обобщенного описания \gen\ вербальная единица дублируется для каждого из сравниваемых изображений. Для градуального сравнения \gra\ вербальная единица также дублируется, но для второго изображения пары указывается направленность, противоположная относительно первого (например, если для первого \приятный\yes\, то для второго будет \приятный\no\).

Таблица 1. Объекты и дескрипторы, используемые для построения мимических вербальных портретов по данным, относящимся к описаниям части изображения

При кодировании мимических описаний изображений лица «в целом» (whole) было выделено 6 дескрипторов (\dfe\whole\...\dfeDescriptor\yes\ Or \no\): «искажено», «напряжено», «нахмурено», «сжато», «с морщинами», «улыбающееся».

Из вербальных единиц, содержащих аффективные характеристики было сформировано 20 дескрипторов (\afeDescriptor\yes\ Or \no\): «гневный», «грустный», «довольный», «ехидный», «задумчивый», «испуганный», «негатив», «озадаченный», «отвращение», «презрительный», «равнодушный», «радостный», «разочарованный», «сдержанный», «сосредоточенный», «спокойный», «удивленный», «усталый», «хитрый», «эмоциональный». Как уже отмечалось, для аффективных вербальных портретов использовались только описания изображений лица «в целом». Соответственно, вербальные единицы выделялись по следующим критериям:

dif\con\cla\dfe\whole\...\dfeDescriptor\...\yesorno\.

Для мимического вербального портрета использовались вербальные единицы, характеризующие как часть изображения, так и изображение лица «в целом», в соответствии со следующими критериями:

dif\con\cla\dfe\whole\...\dfeDescriptor\...\yes or no\ (для изображения «в целом»);

dif\con\cla\dfe\part\object\dfeDescriptor\...\yes or no\ (для «части» изображения).

В данной статье мы не будем дифференцировать стимульные изображения по интенсивности экспрессий, суммируя значения представленности дескрипторов (Fi) для изображений со слабо выраженными и с сильно выраженными эмоциональными экспрессиями, поскольку стимульный материал сформирован из предположения, что они отражают одно и то же эмоциональное состояние [5; 23; 24]. Таким образом, для каждой пары изображений эмоциональных экспрессий (слабой и сильной) было построено по одному вербальному портрету. Эмоциональная экспрессия «Спокойствие», предполагаемая как нейтральная, представлена только одним изображением. В результате сопоставлялись 7 аффективных и 7 мимических вербальных портретов для семи типов изображений: «Спокойствие», «Грусть», «Радость», «Страх», «Удивление», «Гнев», «Отвращение».

При построении вербальных портретов выбирались только те дескрипторы, суммарные значения однонаправленной представленности которых составляли более 95% от всей совокупности значений Fi дескрипторов, сформированных для изображений данного типа. При описании результатов исследования значения Fiв вербальных портретах будут показаны как среднее 50 участников эксперимента, с учетом нормирования значимости вербальных единиц (см. описание процедуры).

На рис. 3 показаны средние по группе участников значения Fi, для мимических описаний разных изображений лица «в целом» и для описаний их «части».

Рис. 3. Средние значения представленности (Fi) однонаправленных мимических дескрипторов, характеризующих изображения разного типа «в целом» \whole\ и как их «часть» \part\

Как видно из рисунка, для большинства изображений значения Fi «части» изображений превышают значения, соответствующие описаниям «в целом». Для изображений «Страх», «Удивление», «Гнев» и «Отвращение» — это различие значимо на уровне p ≤0,001; для изображения «Грусть» — на уровне p ≤0,01. Исключение составляет изображение «Радость», для которого выражена обратная тенденция (p ≤0,001).

Следующие рисунки позволяют сравнить аффективные и мимические вербальные портреты изображений разных типов. Значения, соответствующие описаниям «в целом», выделены темным заполнением. Поскольку показатели представленности дескрипторов (Fi) рассчитывались как средние по группе участников, их значения можно условно интерпретировать как количество случаев однонаправленного использования соответствующего дескриптора одним участником. Например, если Fi =0,5, то 50% участников идентифицировали присутствие характеристики i в описываемом изображении.

В аффективных вербальных портретах на первом месте (сверху) показано значение Fi для дескриптора, наиболее соответствующего типу характеризуемого изображения (например, Fi «грустный» для изображения «Грусть»). Остальные дескрипторы расположены в порядке убывания их значимости.

В мимических вербальных портретах дескрипторы объединены с соответствующими объектами. На первом месте показаны средние значения Fi дескрипторов, характеризующих изображение «в целом» (в порядке убывания значимости). Затем, также в порядке убывания значимости, идут Fi дескрипторов, относящихся к описаниям части изображения. Исключение сделано для мимического вербального портрета «Радость»: в его графическом представлении исключен дескриптор «лицо улыбающееся» (как наиболее значимый, более 75% целостного описания), чтобы можно было показать детали других мимических дескрипторов.

Сопоставление аффективных вербальных портретов с мимическими является, по сути, интерпретацией аффективных суждений, сделанных участниками в процессе сравнения стимульных изображений на основании распознавания лицевой мимики, и наоборот. Рассмотрим подробнее содержание полученных аффективных вербальных портретов («аффективное» воспринимаемое качество изображения) одновременно с мимическими («мимическое» воспринимаемое качество).

На рис. 4 показаны вербальные портреты изображения «Спокойствие».

Рис. 4. Представленность однонаправленных дескрипторов, характеризующих изображение «Спокойствие»

В вербальном портрете изображения «Спокойствие» больше 90% аффективных дескрипторов описываются терминами «спокойный» (Fi=5,5), «безэмоциональный» (Fi=3,7) и «равнодушный» (Fi=0,8). Представленность остальных характеристик существенно ниже, хотя их значения и превосходят выбранный порог. Эти же дескрипторы входят и в аффективный вербальный портрет изображения «Грусть» после основного дескриптора «грустный» (рис. 5). Другими словами, изображения «Спокойствие» и «Грусть» воспринимаются как обладающие сходными характеристиками.

Рис. 5. Представленность однонаправленных дескрипторов, характеризующих изображения «Грусть»

Более успешной является дифференциация изображений «Спокойствие» и «Грусть», осуществленная на основании мимических портретов в описаниях части (\part\) изображения. Среди наиболее значимых дескрипторов этих изображений общим является только целостное (\whole\) описание изображения («лицо расслаблено»). В описаниях деталей используются разные дескрипторы.

На рис. 6 показаны вербальные портреты изображений «Радость».

Рис. 6. Представленность однонаправленных дескрипторов, характеризующих изображения «Радость»

В этих вербальных портретах более 82% аффективных характеристик представлены дескрипторами «радостный» (Fi=10) и «довольный» (Fi=2,3), что вполне отражает содержание экспрессии. Что касается мимических дескрипторов, то, как уже отмечалось, более 70% их суммарной представленности составляет целостный дескриптор «лицо улыбающееся», который на рисунке не показан. Среди остальных дескрипторов наиболее показательными являются характеристики «части» изображения и целостный дескриптор «лицо ухмыляющееся».

На рис. 7 сопоставляются аффективные и мимические вербальные портреты изображений «Страх».

Рис. 7. Представленность однонаправленных дескрипторов, характеризующих изображения «Страх»

Как следует из рисунка, 75% аффективных характеристик этого изображения распределены между дескрипторами «испуганный» (Fi=9,72) и «удивленный» (Fi=6,3), различия в представленности которых незначимо, что говорит о неоднозначности восприятия этого изображения. Рассматривая мимический вербальный портрет, можно констатировать, что его специфичность в большей степени основана на восприятии деталей (\part\). Представленность целостной (\whole\) характеристики «лицо напряжено» (Fi=1,02) оказалась ниже большинства дескрипторов, характеризующих часть изображения.

На рис. 8 показаны вербальные портреты изображений «Удивление».

Рис. 8. Представленность однонаправленных дескрипторов, характеризующих изображения «Удивление»

Аффективный вербальный портрет этого изображения характеризуется пятью дескрипторами, среди которых самым значимым является дескриптор «удивленный» (Fi=13,9). Сравнивая с предыдущим вербальным портретом («Страх»), следует отметить, что здесь также присутствует дескриптор «испуганный», однако его представленность значимо ниже (p ≤0,001) представленности основного дескриптора («удивленный»). Главная особенность мимического вербального портрета изображений «Удивление» заключаются в отсутствии целостных дескрипторов (\whole\). Наиболее существенными характеристики деталей этих изображений являются те же, что и в портрете изображений «Страх» (рис. 7: «рот раскрыт», «глаза раскрыты», «брови подняты»). Из этого следует, что различия между аффективными портретами «Удивление» и «Страх» обусловлены менее существенными мимическими характеристиками («лоб с морщинами» и «глаза перекошены» в изображении «Удивление»; «зубы видны», «глаза с морщинами» и «глаза напряжены» в изображении «Страх»).

Вербальные портреты изображений «Гнев» показаны на рис. 9.

Рис. 9. Представленность однонаправленных дескрипторов, характеризующих изображения «Гнев»

Главная аффективная характеристика этого изображения отражена в дескрипторе «гневный» (Fi=14,6), что говорит об однозначности его восприятия. Мимический портрет этого изображения представлен двумя целостными дескрипторами («лицо нахмурено» и «лицо напряжено»). Наиболее существенные характеристики деталей (\part\) изображения достаточно хорошо представлены в дескрипторах «губы сжаты», «брови сведены», «брови нахмурены» и «взгляд прямой».

На рис. 10 показаны вербальные портреты изображений «Отвращение».

Рис. 10. Представленность однонаправленных дескрипторов, характеризующих изображения типа «Отвращение»

Более 90% аффективных характеристик этих изображений представлены дескрипторами «отвращение», «недовольный», «презрительный» и «гневный», что говорит о достаточной размытости исходного обозначения изображений. Мимический вербальный портрет этих изображений характеризуется наибольшим количеством как целостных (\whole\) дескрипторов, так и дескрипторов, характеризующих детали изображений (\part\). При этом среди целостных дескрипторов только один является уникальным «лицо сморщено». Дескриптор «лицо нахмурено» представлен в вербальном портрете «Гнев», а дескриптор «лицо напряжено» представлен как в портрете «Гнев», так и в портрете «Страх». Среди дескрипторов, характеризующих часть изображений «Отвращение» имеются три уникальных: «взгляд непрямой» (Fi=1,44), «нос сморщен» (Fi=0,68) и «рот искажен» (Fi=0,6).

Сравнивая вербальные портреты, показанные на рис. 4—10, можно сделать общий вывод о том, что на всех аффективных вербальных портретах самый существенный признак соответствует типу характеризуемого изображения, что говорит об относительной адекватности исходной классификации стимульного материала. Ближайшие по иерархии признаки в большинстве случаев семантически близки к доминирующему. Вместе с тем они показывают ближайшие по эмоциональной окрашенности изображения (см., например, вербальные портреты «Гнев» и «Удивление»). Общее количество значимых дескрипторов в аффективных вербальных портретах меняется от 5 до 7, в зависимости от типа изображения.

Большинство мимических вербальных портретов также состоит из 5—7 дескрипторов, за исключением изображения «Отвращение», в портрет которого вошли11 дескрипторов. При этом доминирующие мимические характеристики представлены деталями изображения (\part\), а целостное описание является доминирующим только в мимических портретах «Спокойствие» («лицо расслаблено») и «Радость» («лицо улыбающееся»). В связи с этим интерес представляет информация о том, какие объекты идентифицируются субъектом при обозначении той или иной мимической характеристики как наиболее значимой. В табл. 2 показаны значения представленности дескрипторов, соответствующих разным объектам, на которые направлено воспринимаемое качество разных изображений.

Таблица 2. Представленность (Fi) мимических дескрипторов в вербальных портретах разных изображений в зависимости от типа объекта

Объект «Глаза» является самым значимым в вербальных портретах изображений «Удивление» («глаза раскрыты), «Отвращение» и «Радость» («глаза прищурены»). Объект «Брови» встречается наиболее часто. При этом он находится на втором месте по значимости в вербальных портретах изображений «Удивление» («брови подняты») и «Гнев» («брови сведены»). Объект «Рот» («рот раскрыт») идентифицируется как самый значимый для изображения «Страх» и занимает третье по значимости место в вербальном портрете «Удивление». Объект «Взгляд» занимает второе по значимости место в вербальном потрете изображения «Отвращение» («взгляд не прямой»). Объект «Губы» является самым значимым в описании изображения «Гнев» («губы сжаты»), а объект «Уголки губ» — в портрете изображения «Грусть» («уголки губ опущены»). Объект «Лоб» идентифицируется на втором месте по представленности в портрете изображения «Грусть». Аналогично объект «Зубы» представлен на четвертом месте в описаниях изображений «Страх» и «Радость» («зубы видны»), а объект «Нос» — в вербальном портрете изображения «Отвращение» («нос сморщен»). Объект «Уголки глаз» находится на предпоследнем месте только в вербальном портрете «Грусть» («уголки глаз опущены»).

В целом, одинаковые сочетания объектов и их дескрипторов встречаются относительно редко и на разных уровнях иерархии представленности, что позволяет говорить о достаточной «оригинальности» полученных вербальных портретов [4; 14; 17].

При сопоставлении этих результатов с материалом, показанным в работах П. Экмана [22] (в переводе на русский язык [2, с. 62]), можно обнаружить определенное сходство и различия между представленностью мимических дескрипторов, сформированных по данным наших экспериментов, и мимическими признаками, отобранными П. Экманом (будем называть их «список»). Следует отметить, что в списке П. Экмана присутствуют только характеристики части изображения, поэтому будем их сравнивать только с дескрипторами, отобранными по критерию \part\. Результаты такого сравнения показывают следующее.

Экспрессия «Грусть». Общей является характеристика «уголки губ опущены», однако в вербальном портрете она представлена как самая существенная, тогда как в общем перечне признаков находится на одном из последних мест. Остальные характеристики воспринимаемого качества этой экспрессии отличаются от списка прежде всего тем, что в нем отсутствуют описания объектов «лоб», «глаза» и «взгляд».

Экспрессия «Радость». В воспринимаемом качестве этой экспрессии самым существенным является дескриптор «глаза прищурены», аналога которого не обнаруживается в общей классификации признаков. Общими (без учета иерархии) являются характеристики «рот раскрыт», «зубы видны», «уголки губ подняты», а также частично «глаза с морщинами» и «брови расслаблены».

Экспрессия «Страх». В воспринимаемом качестве наиболее существенной является характеристика «рот раскрыт», которая представлена и в классификации, но среди последних. К общим относятся характеристики «брови подняты» (в списке на первом месте) и, частично, «лицо напряжено», «глаза напряжены». В списке отсутствуют характеристики «глаза раскрыты», «зубы видны» и «глаза с морщинами», которые значимы для воспринимаемого качества этой экспрессии.

Экспрессия «Удивление». В воспринимаемом качестве на первом месте стоит дескриптор «глаза раскрыты», аналог которого отсутствует в классификации. Также в классификации отсутствует характеристика «брови перекошены». Достаточно сходно представлены характеристики «брови подняты», «рот раскрыт», «лоб с морщинами».

Экспрессия «Гнев». Характеристики «губы сжаты» и «брови сведены» являются самыми существенными компонентами воспринимаемого качества. В списке они также хорошо представлены, однако в нем отсутствует эквивалент характеристик «брови нахмурены» и «взгляд прямой».

Экспрессия «Отвращение». Самые существенные характеристики воспринимаемого качества («глаза прищурены», «взгляд не прямой», «брови сведены») отсутствуют в классификации признаков. Также в нем отсутствуют менее значимые для воспринимаемого качества характеристики «губы сжаты» и «уголки губ опущены», хотя сам объект «губы» представлен в списке на первом месте, но в сочетании с другими признаками («верхняя губа поднята», «нижняя губа приподнята и выдвинута вверх по направлению к верхней губе» или же «опущена и слегка выпячена»). Общими являются характеристики «нос сморщен» и «брови опущены».

Различия между мимическими характеристиками воспринимаемого качества экспрессий и характеристиками, содержащимися в списках П. Экмана, заключаются также в том, что в отличие от списков, во всех мимических вербальных портретах, за исключением портрета «Удивление», присутствуют дескрипторы изображения «в целом» \whole\.

Обобщая эти результаты, можно сделать вывод, что мимические вербальные портреты (т. е. содержание воспринимаемого качества) изучаемых экспрессий не в полной мере согласуются со списками П. Экмана, хотя и не противоречат им.

Вместе с тем возникает вопрос о правомерности такого сопоставления, в связи с рядом принципиальных различий в задачах построения вербальных портретов экспрессий и построения классификации признаков этих экспрессий.

Вербальный портрет экспрессии, являясь эмпирическим референтом ее воспринимаемого качества [10], объединяет отличительные признаки экспрессии таким образом, чтобы у человека, которому коммуницируется совокупность этих признаков, сформировалось бы такое же воспринимаемое качество соответствующего изображения, как у большинства субъектов, участвующих в его описании. Для этого разработан специальный инструментарий получения данных вербального сравнения различных экспрессий и анализа этих данных, позволяющего количественно дифференцировать субъективно значимые для воспринимающего характеристики. Их количественная представленность показывает иерархию значимости разных характеристик, как внутри одного вербального портрета, так и иерархию одинаковых характеристик в разных вербальных портретах. Например, характеристика «рот раскрыт» представлена в воспринимаемом качестве экспрессии «Радость» со значением Fi=0,51, в экспрессии «Удивление» со значением Fi=1,61, а в экспрессии «Страх» со значением Fi=2,24. Соответственно, внутри вербальных портретов эта характеристика занимает разные иерархические позиции среди других характеристик. При этом одна из задач построения вербального портрета заключается в сохранении его «оригинальности» при минимизации количества включенных в портрет признаков [4; 11; 14; 17].

Список признаков, предложенный П. Экманом, был получен с помощью совершенно других процедур и с целью перечислить мимические признаки, разная комбинация которых будет соответствовать исходно выделенным базовым эмоциям. Полученная классификация признаков представляет собой подробный, но чисто качественный материал, не дающий информации об относительной значимости отдельных признаков. Кроме того, содержание классификации не предполагает однозначности выделенных признаков (что является обязательным условием в парадигме воспринимаемого качества [11; 12]). Например, характеристика «рот может быть приоткрыт или закрыт» (экспрессия «Радость») с позиции воспринимаемого качества не может быть дифференцирующей, поскольку в ней представлены два противоположных признака: «рот открыт» и «рот закрыт». Соответственно, возможны 2 варианта: 1) эти признаки встречаются в описаниях экспрессии с одинаковой частотой, что эквивалентно отсутствию данного признака в воспринимаемом качестве данной экспрессии; 2) они встречаются с разной частотой, тогда в воспринимаемом качестве будет только признак доминирующей направленности («рот раскрыт» или «рот закрыт»). Этим можно объяснить существенное различие в среднем количестве мимических признаков в вербальных портретах (5,6) и в классификации (12,5). Отметим также, что большинство признаков списка, отсутствующих в вербальных портретах (например, «вертикальные складки», «выпученные глаза», «щеки подняты», «челюсть опущена», «губы растянуты» и т.д.), находятся среди вербальных единиц в общей базе данных, однако показатели их однонаправленной представленности оказались незначимыми для воспринимаемого качества соответствующих экспрессий.

Заключение

В статье представлены результаты анализа вербальных данных, которые были получены при сравнении людьми изображений различных эмоциональных экспрессий. Обработка этих данных, выполненная с помощью инструментария парадигмы воспринимаемого качества, позволила создать для каждой экспрессии вербальный портрет (эмпирический референт воспринимаемого качества [10]), в котором объединены субъективно значимые дескрипторы, отражающие специфику экспрессии.

Мы предположили, что используемая методология анализа позволит дифференцировать характеристики, определяющие содержание воспринимаемого качества экспрессий, разделив их на аффективные и мимические, и получив тем самым возможность интерпретации аффективных суждений, осуществленной участниками на основании оценки лицевой мимики, и наоборот.

Результаты показали, что представление воспринимаемого качества изображения лица с помощью двух типов вербальных портретов (аффективного и мимического) позволяет интегрировать разные группы признаков эмоциональной экспрессии. Разные экспрессии дифференцируются не только по составу дескрипторов, входящих в вербальные портреты, но и по количественным показателям их представленности.

В целом, полученные результаты свидетельствуют о достаточной обоснованности исходной категоризации стимульного материала. В аффективных вербальных портретах доминантный дескриптор всегда соответствует значениям, характеризующим экспрессию в базе ВЕПЭЛ. Мимические вербальные портреты также хорошо дифференцируются, в зависимости от типа экспрессии, что говорит о достаточно высокой их оригинальности.

Но при этом были обнаружены и некоторые тенденции смешения экспрессий. Например, в аффективных вербальных портретах экспрессий «Страх» и «Удивление» близкими по представленности оказались дескрипторы «испуганный» и «удивленный». Одинаковыми для этих двух экспрессий являются и наиболее представленные описания мимических признаков («глаза раскрыты», «рот раскрыт» и «брови подняты»). Это говорит о возможном сходстве изображений этих экспрессий и о необходимости дополнительного анализа содержания их воспринимаемого качества с целью повысить разрешающую способность вербальных портретов. Дополнительную дифференциацию сходных изображений можно обеспечить, учтя количественные данные об иерархии одинаковых дескрипторов, а также наличие или отсутствие в портрете целостных мимических дескрипторов. Как было показано ранее [4; 14; 17], существуют и другие способы повысить оригинальность вербальных портретов, одновременно снизив количество дескрипторов в их составе. Их применение для обработки полученного эмпирического материала будет целью последующих работ.

Главное ограничение результатов, представленных в этой статье, связано с тем, что не учитывалась дифференциация одинаковых экспрессий по интенсивности. В анализе были объединены данные восприятия изображений, одинаковых по типу экспрессии, но разных по ее интенсивности (по базе ВЕПЭЛ [2; 7]). Соответственно, не было возможности оценить возможные различия в воспринимаемом качестве объединенных пар изображений. Правомерность такого огрубления данных для сокращения объема статьи мы объясняли тем, что согласно принципам формирования стимульного материала, эти пары должны отражать одно и то же эмоциональное состояние [23; 24]. Обоснованность данного утверждения можно будет проверить при сравнении результатов отдельного анализа воспринимаемого качества экспрессий разной интенсивности.

Объем статьи не позволил нам детально проанализировать и данные о вербальной валентности дескрипторов, которые, как было показано ранее [1], предоставляют богатый материал для оценки их значимости. Полученный статистический материал также представляет основу для выявления возможных связей между содержанием воспринимаемого качества изображений различных экспрессий лица и данными, полученными инструментальными методами (регистрация движения глаз), психофизическими процедурами (оценка сходства), личностными тестами и т.д.

1. Александров Ю.И., Носуленко В.Н., Савицкая Т.Ю. Вербальная оценка эмоциональных и нейтральных изображений // Вопросы психологии. 2020. Том 66. № 6. С. 117—130.
2. Барабанщиков В.А., Жегалло А.В., Королькова О.А. Перцептивная категоризация выражений лица. М.: Когито-Центр, 2016. 374 с.
3. Богданова И.В., Носуленко В.Н. Современные тенденции применения смешанных методов в психологических исследованиях // Познание и переживание. 2021. Том 2. № 3. С. 6—20. DOI:10.51217/cogexp_2021_02_03_01
4. Богданова И.В., Носуленко В.Н. Информативность вербальных данных в задаче сохранения и передачи когнитивного опыта // Экспериментальная психология. 2019. Том 12. № 4. С. 12—26. DOI:10.17759/exppsy.2019120402
5. Брунер Дж. Психология познания. М.: Прогресс, 1977.
6. Жинкин Н.И. Речь как проводник информации. М.: Наука, 1982.
7. Куракова О.А. Создание новой базы фотоизображений естественных переходов между базовыми эмоции  ональными экспрессиями лица // Лицо человека как средство общения: Междисциплинарный подход. М.: Когито-Центр, ИП РАН, 2012. С. 287—309.
8. Ломов Б.Ф. Особенности познавательных процессов в условиях общения // Психологический журнал. 1980. № 5. С. 26—42.
9. Ломов Б.Ф. Методологические и теоретические проблемы психологии. М.: Наука, 1984.
10. Носуленко В.Н.Психофизика восприятия естественной среды: дис. ... д-ра психол. наук. М.: ИП РАН, 2004. 323 с.
11. Носуленко В.Н. Психофизика восприятия естественной среды. Проблема воспринимаемого качества. М.: ИП РАН, 2007.
12. Носуленко В.Н. Воспринимаемое качество во взаимодействии человека с миром // Психология восприятия сегодня: парадигмы, теории, эмпирика / Под ред. Г.В. Шуковой, В.И. Панова. М.: Акрополь, 2019. С. 141—151.
13. Носуленко В.Н. Вопросы интеграции качественных и количественных методов в психологическом исследовании // Экспериментальная психология. 2021. Том 14. № 3. С. 4—16. DOI:10.17759/exppsy.2021140301
14. Носуленко В.Н., Паризе Э., Самойленко Е.С. Социокультурные особенности вербальной коммуникации значимых признаков акустического события // Технологии сохранения и воспроизведения когнитивного опыта / Под ред. В.Н. Носуленко. М.: Институт психологии РАН, 2016. С. 369—381.
15. Носуленко В.Н., Самойленко Е.С. «Познание и общение»: системная исследовательская парадигма // Психологический журнал. 2012. Том 33. № 4. С. 5—16.
16. Носуленко В.Н., Самойленко Е.С.Категоризация и сравнение в психологических исследованиях // Разработка понятий в современной психологии / Под ред. А.Л. Журавлева, Е.А. Сергиенко, Г.А. Виленской. М.: Институт психологии РАН, 2019. С. 84—115.
17. Носуленко В.Н., Самойленко Е.С. Распознавание сложных звуков по их вербальным портретам // Психологический журнал. 2020. Том 41. № 5. С. 25—37. DOI:10.31857/S020595920011078-1
18. Самойленко Е.С. Проблемы сравнения в психологическом исследовании. М.: ИП РАН, 2010.
19. Самойленко Е.С., Мелкумян Т.А. Индивидуальные различия в процессах сравнения изображений человеческих глаз, предъявленных в различных контекстах // Лицо человека в науке, искусстве и практике / Под ред. Ананьевой К.И., Барабанщикова В.А., Демидова А.А. М.: Когито-Центр, 2015. С. 243—252.
20. Самойленко Е.С., Носуленко В.Н., Мелкумян Т.А. Роль вербально выраженного сравнения объектов в субъективной оценке степени их сходства // Экспериментальная психология. 2010. Том 3. № 3. С. 93—109.
21. Самойленко Е.С., Носуленко В.Н., Старикова И.В. Феномен сравнения в процессе референтного общения // Экспериментальная психология. 2012. Том 5. № 2. С. 39—62.
22. Ekman P. Emotions revealed: Recognizing faces and feelings to improve communication and emotional life. New York: Times Books, Henry Holt and Co,
23. Ekman P. Basic Emotions. Handbook of Cognition and Emotion. John Wiley & Sons, 1999. DOI:10.1002/0470013494.ch3
24. Ekman P., Cordaro What is meant by calling emotions basic // Emotion Review. 2011. Vol. 3. № 4. P. 364—370.
25. Etcoff N.L., Magee J.J. Categorical perception of facial expressions // Cognition. 1992. Vol. 44. № P. 227—240.
26. Fussell S.R., Krauss R.M. Coordination of knowledge in communication: Effects of speakers’ assumptions about what others know // Journal of Personality and Social Psychology. 1992. Vol. 62. № 3. P. 378—391.
27. Kuppens P., Tuerlinckx F., Russell J.A., Barrett, L.F. The Relation Between Valence and Arousal in Subjective Experience // Psychological Bulletin. 2013. 139. № 4. P. 917—940.
28. Leavitt H.J., Mueller R.A. Some effects of feedback on communication // Human Relations. 1951. № 4. 401—410.
29. Liberman A.M., Harris K.S., Hoffman H.S., Griffith B.G. The discrimination of speech sounds within and across phoneme boundaries // Journal of Experimental Psychology. 1957. Vol. 54. № P. 358—368.
30. Nosulenko V., Samoylenko Approche systémique de l’analyse des verbalisations dans le cadre de l’étude des processus perceptifs et cognitifs // Social Science Information. 1997. Vol. 36. № 2. P. 223—261. DOI :10.1177/053901897036002002
31. Samoylenko E., McAdams S., Nosulenko V. Systematic analysis of verbalizations produced in comparing musical timbres // International Journal of Psychology. 1996. Vol. 31(6). P. 255—278.
32. Samoylenko E., Melkumyan T.A. Comparison of visual objects in different contexts of their presentation // The Fifth International Conference on Cognitive Science. 2012. 1. Kaliningrad, Russia. P. 148—149.
33. Strauss A., Corbin J. Basics of Qualitative Research. Techniques and Procedures for Developing Grounded Theory. 2nd ed. Thousand Oaks, CA: Sage, 1998.
34. Thomas D.R. A general inductive approach for analyzing qualitative evaluation data // American Journal of Evaluation. 2006. Vol. 12. № 2. P. 237—246. DOI:10.1177/1098214005283748