Организация окуломоторной активности человека при совместном решении дискриминационной АВХ-задачи, опосредованном видеокоммуникацией

В парном эксперименте испытуемые решали дискриминационную АВХ-задачу. Одному из испытуемых на короткое время демонстрировались два похожих изображения переходных эмоциональных экспрессий А и В, а другому — целевое изображение Х, совпадающее либо с А, либо с В. Участник исследования, которому демонстрировалось целевое изображение Х, должен дать ответ, какому из изображений А или В соответствует Х. Для крайних пар переходного ряда обнаружена асимметрия ошибочных ответов; в качестве ответов предпочтительно выбираются крайние в переходном ряду изображения. Поскольку задача не является чисто перцептивной, обнаруженный эффект следует рассматривать как связанный с интерпретацией вербальных описаний изображений, даваемых участниками. Анализ движений глаз показал высокую долю времени, в течение которого при обсуждении осуществляется обращение к лицу коммуниканта: для роли Х Me = 0,74; для роли АВ Me = 0,97. Доля времени, при котором происходит одновременное обращение к лицам друг друга (mutual gaze), также достаточно высока: Me = 0,55. При обращении к лицу коммуниканта доминирующей по времени рассматривания и продолжительности фиксаций является нижняя часть лица. Здесь имеются принципиальные отличия от задачи опознания эмоциональных экспрессий, в которой доминирующей по времени рассматривания является верхняя часть лица. Полученные результаты ставят вопрос о функциональной роли экспрессий лица и взора наблюдателя при коммуникации.

Введение

Идея описываемого в статье эксперимента опирается на два направления ранее проводимых исследований.

Первое направление — дальнейшее развитие идеи парного эксперимента в традиции Б.Ф. Ломова (Ломов, 1975; 1979). В ранее проводимых нами исследованиях в рамках данной идеи были получены полезные результаты. Эксперимент с совместным решением задачи «одинаковый — разный» на переходном ряде «радость — удивление» (Жегалло, Королькова, 2014; Барабанщиков, Жегалло, Королькова, 2017) позволил получить вербальные описания изображений переходных эмоциональных экспрессий, выделить индивидуальные особенности решения задачи и источники ошибок. Сопоставление результатов индивидуального и совместного решения задачи на переходном ряде «круг — квадрат» позволило уточнить особенности решения в случае заведомо не пересекающихся «узких» категорий. При этом в первых экспериментах не была решена техническая проблема одновременной регистрации движений глаз и речевого общения.

В дальнейшем при разработке парадигмы парного эксперимента, опосредованного видеокоммуникацией, была успешно решена техническая задача параллельной регистрации протокола эксперимента, движений глаз и мимики лица двух участников. В то же время, как выяснилось, предлагавшаяся нами участникам исследования игровая задача «верю — не верю», предполагавшая оценку достоверности/недостоверности сообщаемой информации, решалась в значительной степени без обращения к видеоизображению лица оппонента. Более того, обращение к видеоизображению лица не повышало точность решения задачи, т. е. участникам не удавалось «прочитать» искомые признаки достоверности/недостоверности сообщаемой информации (Жегалло, Басюл, 2019а).

При дальнейшем планировании исследований встал вопрос о выборе экспериментальной задачи, в которой участники будут активно обращаться к видеоизображениям лица друг друга. Выбор происходил среди различных видов совместно решаемых задач. Он пал на дискриминационную ABX-задачу. Впервые ABX-задача была применена для исследования категориальности восприятия звуковых (речевых) стимулов (Liberman et al., 1957). Позже ее применяли для изучения категориальности восприятия выражений лица (Etcoff, Magee, 1992). В настоящей работе решающим аргументом касательно выбора экспериментальной задачи стал значительный имеющийся материал, полученный в рамках второго направления - исследований категориальности восприятия эмоциональных экспрессий лица (Куракова, Жегалло, 2012). Одним из их существенных результатов оказалась асимметрия ошибочных ответов, впервые описанная в (Roberson et al., 2007) и объясняемая на основе эффекта перцептивного притяжения (Huttenlocher et al., 2000; Kuhl, 1991). При решении дискриминационной АВХ-задачи испытуемому демонстрируются два различных изображения А и В, представляющих собой последовательные переходные фазы от одной из «базовых» эмоциональных экспрессий к другой, а затем целевое изображение Х, в точности совпадающее либо с А, либо с В. Согласно классической парадигме (Liberman et al., 1957; Etcoff, Magee, 1992) предполагается, что в переходном ряду имеется четкая граница между категориями, причем изображения по разные стороны границы идентифицируются как соответствующие одной из «базовых» эмоциональных экспрессий. Тогда максимум точности решения в АВХ-задаче должен достигаться в случае, когда изображения А и В находятся по разные стороны границы. В то же время при решении АВХ-задачи возможны два варианта ошибочных ответов: ошибочный ответ А в случае, когда Х совпадает с В, и ошибочный ответ В в случае, когда Х совпадает с А. В отсутствие эффекта перцептивного притяжения предполагается равная вероятность обоих вариантов. При наличии эффекта перцептивного притяжения из двух вариантов ответа А и В чаще будет выбираться тот, который ближе к перцептивному прототипу одной из категорий. Дополнительный анализ данных показал, что в наших экспериментах при индивидуальном решении дискриминационной АВХ-задачи эффект асимметрии ошибочных ответов уверенно воспроизводится для разных классов стимульного материала (Жегалло, Хозе, 2015; Жегалло, Ананьева, 2019; Барабанщиков, Жегалло, Королькова, 2016; Жегалло, Королькова, 2021). При этом остается открытым вопрос о наличии асимметрии ошибочных ответов при совместном решении дискриминационной задачи. Исходно предполагаемое чисто перцептивное объяснение наблюдаемого эффекта вроде бы не оставляет места для наличия данного эффекта при совместном решении, когда испытуемые ориентируются на получаемые от партнера вербальные описания изображений.

Таким образом, парный эксперимент с совместным решением дискриминационной АВХ-задачи позволил бы, с одной стороны, изучить особенности обращения испытуемых к видеоизображению коммуниканта, а с другой — получить полезные результаты по особенностям совместного решения АВХ-задачи, прояснить вопрос о наличии эффекта асимметрии ошибочных ответов и уточнить особенности его происхождения. Предложенный экспериментальный дизайн — ABX-задача на паре испытуемых через видеокоммуникацию, — во-первых, позволяет уточнить роль вербального компонента в асимметрии ошибочных ответов, и во-вторых — сделать новый шаг в исследовании особенностей восприятия динамичного лица в экспериментальной ситуации с высокой экологической валидностью (в реальной жизни мы достаточно часто общаемся с человеком через экран компьютера).

Гипотезы настоящей работы можно сформулировать следующим образом:

- при совместном решении дискриминационной АВХ-задачи будет происходить обращение к видеоизображению коммуниканта;

- при совместном решении дискриминационной АВХ-задачи возможно обнаружение эффекта асимметрии ошибочных ответов;

- при совместном решении дискриминационной АВХ-задачи возможно по ходу задачи сокращение времени обсуждения и возрастание точности решения (эффект научения в процессе решения);

- при обращении к видеоизображению коммуниканта возможны отличия в локализации фиксаций по сравнению с ранее изученной задачей опознания эмоциональных экспрессий.

Следует отметить, что в проведенном исследовании выполнялся сбор нескольких типов данных: протокол эксперимента, движения глаз, мимика лица и вербализации. В настоящей статье описываются результаты основного эксперимента (решение дискриминационной задачи) и движения глаз участников. Информация о выражении лица задействуется как вспомогательная, при разметке динамических зон интереса. Информация о вербализациях не анализировалась. Детальный анализ данных о мимике лица и вербализациях будет темой следующих публикаций.

Материалы и методы

Для проведения исследования использовался ранее разработанный экспериментальный стенд (Жегалло, Басюл, 2019б). Участники исследования располагались в неподвижных креслах КЭ-1 с подголовной опорой. Расстояние до поверхности экрана составляло 60 см. В качестве стимульного материала использовался естественный равномерный переходный ряд «радость — удивление», содержавший 2 опорных изображения и 4 переходных (рис. 1).

Данный ряд ранее использовался в качестве стимульного материала при индивидуальном решении дискриминационной АВХ-задачи (Куракова, Жегалло, 2012) и совместном решении задачи «одинаковый — разный» (Барабанщиков, Жегалло, Королькова, 2017).

В проводимом эксперименте одному из испытуемых на короткое время демонстрировались два соседних в переходном ряду изображения А и В, а другому — целевое изображение Х, совпадающее либо с А либо с В. Время экспозиции изображений составляло 1 секунду. После завершения экспозиции по центру экрана появлялось окно с видеоизображением партнера по исследованию. Участник исследования, которому демонстрировалось целевое изображение Х, должен был дать ответ, какому из изображений А или В соответствует Х: находящемуся слева или справа у участника, которому демонстрировались два различных изображения. Задача решалась путем описания демонстрировавшихся изображений. Специального регламента, устанавливающего процесс общения пары испытуемых для решения задачи, не было. По существу, испытуемые свободно общались, задавали уточняющие вопросы и делали всё, что считали необходимым, для получения ответа на вопрос: какое изображение из пары А и B соответствует изображению X.

Движения глаз регистрировались с помощью айтрекеров SMI RED-m, частота регистрации 120 гц. Видеорегистрация выражений лица и видеокоммуникация выполнялись с помощью камер Sony Playstation Eye с вариофокальным объективом (2,8—12 мм).

Эксперимент выполнялся с помощью оригинальной программы на python с использованием библиотеки psychopy. Предварительная тренировочная серия составляла 4 экспериментальные ситуации с использованием другого стимульного материала. В исследовании участвовали студенты Московского государственного психолого-педагогического университета в рамках учебных занятий. Объем выборки — 42 человека (39 женщин, 3 мужчины); возраст от 19 до 48 лет; M = 22,3 года, SD = 4,6 года.

Результаты

1. Точность решения и время обсуждения

Средняя точность решения дискриминационной АВХ-задачи на выборке 21 пара испытуемых * 40 экспериментальных ситуаций (ЭС) = 840 ЭС составляет 0,615. Для отдельных пар испытуемых средняя точность составляет от 0,40 до 0,75, Me = 0,625, IQR = 0,575—0,650. Для отдельных испытуемых точность решения составляет от 0,30 до 0,80, Me = 0,60, IQR = 0,55—0,70. В том числе для двух испытуемых точность решения < 0,5, для четырех испытуемых точность решения = 0,5, для остальных — выше 0,5.

Различия в точности решения для пар соседних в переходном ряду изображений незначимые: χ²(4) = 0,48, p > 0,05. Точность опознания целевого изображения Х (последовательный ряд от «радости» до «удивления») составляет: 0,79, 0,57, 0,56, 0,62, 0,55, 0,77 соответственно. Различия значимые: χ²(5) = 26,1, p = 8,6*10-5. Крайние в переходном ряде изображения опознаются точнее. Для каждой пары изображений АВ вычислялся коэффициент асимметрии ошибочных ответов (ErrB – ErrA) / (ErrB + ErrA), где ErrA — число неверных ответов А (при том, что правильный ответ — В), ErrB — число неверных ответов В (при том, что правильный ответ — А). При отсутствии предпочтений выбора между А и В асимметрия ошибочных ответов должна отсутствовать. При индивидуальном решении АВХ-задачи наблюдаемая асимметрия ошибочных ответов связывается с эффектом перцептивного притяжения (Жегалло, Королькова, 2021; Roberson et al., 2007). При совместном решении АВХ-задачи для крайних пар переходного ряда наблюдается асимметрия ошибочных ответов в пользу предпочтительного выбора крайних изображений ряда (рис. 2). Асимметрия значимая: для пары 1-2 χ²(1) = 10,2, p = 0,001, для пары 5-6 χ²(1) = 11,2, p = 0,0008. Таким образом, высокая точность опознания крайних в переходном ряду изображений достигается за счет преимущественного выбора ответа — крайнего в ряду изображения: для пары 1-2 109 выборов изображения 1 против 59 выборов изображения 2; для пары 5-6 111 выборов изображения 6 против 57 выборов изображения 5.

Время обсуждения ответа составляет от 2,5 с до 152,7 с. Me = 12,8 с, IQR = 8,0—22,3 с. Для неверных ответов время обсуждения (Me = 14,1 с) длиннее, чем для верных (Me = 12,1 с). Различия значимые, критерий Манна-Уитни p < 0,001, межвыборочный сдвиг по Ходжесу-Леману 2,0 с. По ходу выполнения задачи время ответа сокращается. Для первых 20 ЭС Me = 15,4 с, для следующих 20 ЭС Me = 10,9 с; p < 10-6; межвыборочный сдвиг 3,8 с. По ходу решения точность решения несколько возрастает: 0,60 для первых 20 ЭС, 0,64 для следующих 20 ЭС, различия на уровне тенденций.

2. Показатели движений глаз — качество записи

Детекция фиксаций выполнялась с помощью алгоритма Dispersion Threshold Identification, минимальная продолжительность фиксации 50 мс, пороговая дисперсия 50 пх (1,25º). Для анализа в части показателей глазодвигательной активности были отобраны экспериментальные ситуации, для которых совокупная продолжительность записи движений глаз составляла не менее 0,6 от продолжительности экспериментальной ситуации. Для ситуации рассматривания статических изображений из 1680 ЭС (2 испытуемых * 21 пара * 40 ЭС) было отобрано 1576 ЭС (94%). Для ситуации обсуждения ответа из 1680 ЭС было отобрано 1165 ЭС (69%).

3. Показатели движений глаз при рассматривании участниками целевых изображений

Для каждой отобранной для анализа экспериментальной ситуации вычислялись характерные показатели глазодвигательной активности. Дальнейший анализ проводился на уровне выделенных интегральных показателей.

При экспозиции целевого изображения Х рассматривание целевого изображения происходит во всех отобранных экспериментальных ситуациях. Фиксации вне целевого изображения наблюдаются в 15% отобранных ЭС. Медианная продолжительность фиксаций на целевом изображении — 276 мс, вне целевого изображения — 158 мс, различия значимые, критерий Вилкоксона p < 10-6, межвыборочный сдвиг — 129 мс. Медианная суммарная продолжительность рассматривания целевого изображения — 959 мс. Медианная амплитуда саккад — 2,05º.

При экспозиции пары изображений А и В из 786 ЭС с качественной записью движений глаз для дальнейшего анализа было отобрано 759 ЭС (97%) в которых участники исследования рассматривали оба экспонируемых изображения. Медианная продолжительность фиксаций при рассматривании левого изображения составила 221 мс, при рассматривании правого изображения — 250 мс; критерий Вилкоксона p = 0,02, межвыборочный сдвиг — -12,7 мс; медианная продолжительность фиксаций вне целевых зон — 200 мс. Различия с продолжительностью фиксаций в целевых зонах — значимые, в обоих случаях p < 10-6. Медианная суммарная продолжительность рассматривания левого изображения 358 мс, правого изображения — 350 мс; различия статистически незначимы. Медианная амплитуда саккад — 11,1º.

Продолжительность фиксаций при экспозиции целевого изображения Х значимо больше, чем при экспозиции пары изображений А и В; U-критерий Манна-Уитни p < 10-6, межвыборочный сдвиг — 62 мс. Амплитуда саккад при экспозиции целевого изображения Х значимо меньше, чем при экспозиции пары изображений А и В; U-критерий Манна-Уитни p < 10-6, межвыборочный сдвиг — -8.8º. Между первой (первые 20 ЭС) и второй (следующие 20 ЭС) частями эксперимента имеется значимая разница в величине амплитуды саккад при экспозиции пары изображений А и В. В первой части Me = 9,8º, во второй части Me = 11,7º; U-критерий Манна-Уитни p = 0,0009, межвыборочный сдвиг — -0,93º.

4. Обобщенные показатели движений глаз в ходе обсуждения ответа

Испытуемый, которому ранее демонстрировалось целевое изображение Х, обращается к лицу коммуниканта во всех экспериментальных ситуациях. Доля времени, в течение которого выполняется обращение к лицу коммуниканта, составляет от 0,13 до 0,98 по отношению к суммарному времени регистрации движений глаз в данной ЭС; Me = 0,74; IQR = 0,62—0,83. Низкая доля времени обращения к лицу коммуниканта наблюдается в отдельных ЭС малой продолжительности (см. рис. 3).

Распределение медианных значений совокупной продолжительности рассматривания следующее: вне зон интереса — 1225 мс; лицо коммуниканта — 7517 мс; кнопка «слева» — 208 мс; кнопка «справа» — 225 мс; кнопка «дальше» — 367 мс. Медианные продолжительности фиксаций составляют: вне зон интереса — 158 мс; лицо коммуниканта — 283 мс; кнопка «слева» — 290 мс; кнопка «справа» — 275 мс; кнопка «дальше» — 271 мс.

Испытуемый, которому ранее демонстрировалась пара изображений А и В, обращается к лицу коммуниканта во всех экспериментальных ситуациях. Доля времени, в течение которого выполняется обращение к лицу коммуниканта составляет от 0,43 до 1,00 по отношению к суммарному времени регистрации движений глаз в данной ЭС; Me = 0,97; IQR = 0,91—1,00. Низкая доля времени обращения к лицу коммуниканта наблюдается в отдельных ЭС малой продолжительности (см. рис. 4). 

Распределение медианных значений совокупной продолжительности рассматривания следующее: вне зон интереса — 283 мс; лицо коммуниканта — 9536 мс. Медианные продолжительности фиксаций составляют: вне зон интереса — 146 мс; лицо коммуниканта — 275 мс.

Медианная продолжительность фиксаций при рассматривании лица собеседника для роли Х (284 мс) значимо больше, чем для роли АВ (275 мс); p = 0,008, межвыборочный сдвиг — 17 мс. Медианная амплитуда саккад для роли АВ — 1,72º; для роли Х — 1,95º; различия значимые, U-критерий Манна-Уитни p < 10-6; межвыборочный сдвиг — 0,29º.

5. Показатели движений глаз при рассматривании лица коммуниканта в ходе обсуждения ответа

В ходе эксперимента велась непрерывная видеозапись лиц участников исследования. С помощью Google Media Pipe (Lugaresi et al., 2019) для полученных видеозаписей была выполнена покадровая разметка положения ключевых точек. На основе положения ключевых точек по аналогии с (Барабанщиков, Жегалло, Хозе, 2017) выполнялась динамическая разметка зон интереса: левая и правая половины лица, верхняя и нижняя части лица, левый глаз, переносица, правый глаз, нос, рот. Разметка зон интереса дана относительно наблюдателя. Высокая относительная продолжительность обращения к окну с видеоизображением коммуниканта дает возможность проведения детального анализа показателей движений глаз при рассматривании лица партнера. Схема анализа в основном соответствует исследованию (Барабанщиков, Жегалло, Хозе, 2017). Для каждой анализируемой ЭС рассчитывалось время рассматривания каждой из зон интереса, медианная продолжительность фиксаций по зонам интереса, число фиксаций по зонам интереса, средняя величина раскрытия зрачка в пикселях камеры. В дальнейших описаниях приводятся характерные значения показателей, агрегированных по экспериментальным ситуациям.

Медианное время рассматривания левой половины лица — 1960 мс, IQR = 266—6007 мс. Медианное время рассматривания правой половины лица — 1668 мс, IQR = 175—5622 мс. Различия статистически незначимые. Медианная продолжительность фиксаций при рассматривании левой половины лица — 267 мс, IQR = 175—383 мс. Медианная продолжительность фиксаций при рассматривании правой половины лица — 267 мс, IQR = 175—375 мс. Различия статистически незначимые. Среднее число фиксаций при рассматривании левой половины лица — 11,2, при рассматривании правой половины — 10,6, различия незначимые. Средняя величина раскрытия зрачка — 18,62—18,57 пх, различия незначимые.

Медианное время рассматривания верхней части лица — 1985 мс, IQR = 483—4946 мс. Медианное время рассматривания нижней части лица — 2861 мс, IQR = 717—6540 мс. Различия значимые, T-критерий Вилкоксона p < 10-6, Δ = -846 мс. Медианная продолжительность фиксаций при рассматривании верхней части лица — 250 мс, IQR = 179—367 мс. Медианная продолжительность фиксаций при рассматривании нижней части лица — 300 мс, IQR = 196—433 мс. Различия значимые, p < 10-6, Δ = -40 мс. Среднее число фиксаций при рассматривании верхней части лица — 10,7, при рассматривании нижней части лица — 11.2, различия незначимые. Средняя величина раскрытия зрачка при рассматривании верхней части лица — 18,2 пх, при рассматривании нижней части — 18,8 пх, различия значимые, p < 10-6, Δ = -0,48 пх.

6. Совместный взор (Mutual gaze)

Под «совместным взором» здесь понимается одновременная локализация взора обоих участников на видеоизображении коммуниканта. В силу технических проблем одновременная качественная регистрация взора обоих участников достигалась не во всех экспериментальных ситуациях. Проверка наличия совместного взора выполнена на выборке в 394 пары экспериментальных ситуаций с качеством записи не хуже 0,6. Доля продолжительности совместного взора по отношению к продолжительности ЭС составила от 0,07 до 0,84; Me = 0,54; IQR = 0,44—0,63. Продолжительность фиксаций для ролей АВ и Х в случае совместного взора значимо не различалась; Me = 284 мс.

Обсуждение результатов

Основной результат исследования состоит в том, что нам удалось подобрать экспериментальную парадигму, в рамках которой испытуемые действительно обращаются к видеоизображению лица коммуниканта при решении целевой задачи. Медианная доля времени обращения к видеоизображению составляет 0,74 для роли Х (участник должен дать ответ) и 0,97 для роли АВ (участник сообщает необходимую информацию). Экстремально низкая доля времени обращения к видеоизображению характерна для отдельных экспериментальных ситуаций низкой продолжительности, в которых участники быстро пришли к консолидированному решению. Важно отметить, что для роли Х и роли АВ имеются значимые различия на уровне совокупной продолжительности осмотра и медианной продолжительности фиксаций. Таким образом, различия в роли участника в экспериментальной ситуации выражаются в различиях на уровне показателей движений глаз, т. е. наглядно видно, что характер движений глаз обуславливается решаемой когнитивной задачей.

Во время обсуждения ответа наблюдалась достаточно высокая продолжительность одновременной локализации взора участников на видеоизображении друг друга — «совместного взора»; Me = 0,54 от продолжительности ЭС. При этом продолжительность фиксаций двух участников значимо не различалась, Me = 284 мс. Таким образом, можно считать, что в нашей модельной коммуникационной ситуации в моменты «совместного взора» происходило равноправное общение между участниками.

В части совместного решения АВХ-задачи основной результат состоит в получении выраженного эффекта асимметрии ошибочных ответов при совместном решении задачи. В таком случае эффект асимметрии не может полностью объясняться перцептивным притяжением к прототипу. Вербальное описание амбивалентного изображения Х трактуется как в большей степени соответствующее прототипической «базовой» эмоции, а незначительные детали, указывающие на отличие от прототипического изображения, опускаются либо при составлении описания, либо при его интерпретации. Более полная картина требует полной расшифровки вербализаций. Тем не менее полученный результат позволяет предположить, что прототипы категорий «базовых» эмоциональных экспрессий существуют не только в перцептивной форме (Барабанщиков, Жегалло, Королькова, 2016), но и в дополняющей форме набора эксплицируемых семантических признаков.

Предложенная задача оказалась для участников исследования незнакомой и достаточно сложной. По ходу решения происходит значимое сокращение времени обсуждения; Me = 15,4 с для первых 20 ЭС, Me = 10,9 с для следующих 20 ЭС. При этом точность решения возрастает на уровне тенденций с 0,60 до 0,64. Можно ожидать, что при увеличении объема эксперимента будут формироваться компактные релевантные описания рассматриваемых изображений, что приведет к значимому возрастанию точности решения по аналогии с совместно решаемой задачей «одинаковый — разный» (Барабанщиков, Жегалло, Королькова, 2017).

В индивидуально решаемой АВХ-задаче для переходного ряда «радость — удивление» распределение точности решения имеет выраженный максимум точности решения в центральной части переходного ряда, соответствующий границе между категориями (Куракова, Жегалло, 2012). При совместном решении задачи «одинаковый — разный» аналогичный вид распределения достигается при экспозиции двум участникам соседних в переходном ряду изображений (Барабанщиков, Жегалло, Королькова, 2017). Изображения 3 и 4 в переходном ряду лучше различаются отдельными испытуемыми в индивидуальной АВХ-задаче и чаще опознаются как различные при совместном решении задачи «одинаковый — разный». При совместном решении задачи «одинаковый — разный» различия в точности различения соседних изображений достигаются на фоне низкой средней точности решения (0,47) при относительно небольшом среднем времени обсуждения (8,3 с).

В то же время при совместном решении АВХ-задачи различия в точности решения для разных пар переходного ряда отсутствуют. Объяснение этого результата требует дополнительного анализа вербальных описаний. Предварительно можно предположить, что задачи (1) установления различения между изображениями и (2) установления соответствия между изображениями, экспонируемыми разным участникам, приводят к формированию различных по составу вербальных портретов. При этом в задаче установления соответствия различия, несмотря на различия между изображениями, формируются описания, в которых в большей степени описываются характерные общие черты изображений, чем различные.

Данные по локализации взора в отдельных областях интереса значимы в сопоставлении с результатами ранее проведенных исследований. При решении задачи идентификации эмоционального состояния для статических изображений в исследовании (Барабанщиков, 2012) доминирующей по времени рассматривания является верхняя часть лица натурщика. Доминантность верхней части лица воспроизводится при решении задачи идентификации эмоционального состояния для статических изображений на другом стимульном материале, а также при решении задачи оценки достоверности/недостоверности сообщаемой информации при рассматривании видеозаписей (Барабанщиков, Жегалло, 2018).

Во вновь выполненном исследовании доминирующей по времени рассматривания оказывается нижняя часть лица. При этом для нижней части лица выше продолжительность фиксаций и больше величина раскрытия зрачка. Участники исследования явно уделяют преимущественное внимание нижней части лица собеседника. Можно предположить два возможных объяснения данного результата. Первое — доминантность нижней половины лица обусловлена наличием интенсивного вербального общения. В таком случае функциональная роль мимики лица состоит в невербальном дублировании речевого обмена. Второй вариант объяснения — использование участниками видеосвязи «по прямому назначению» для передачи мимики натурщика на экспонировавшихся изображениях. В ходе исследования мы отмечали отдельные попытки такого использования видеосвязи. Корректный их анализ требует предварительной полной расшифровки вербального общения и будет выполнен в следующих публикациях. В случае справедливости первого объяснения можно ожидать, что доминантность нижней части лица будет сохраняться в парных экспериментах, не связанных с обсуждением изображений лица человека, например при совместном решении задачи «варежка» (Ананьева, Харитонов, 2009). Следует отметить, что задача «варежка» также характеризуется неравнозначностью участников. Один из них задает целевое изображение, а другой следует инструкции. Вообще в большинстве модельных задач даже при отсутствии явной инструкции происходит распределение ролей участников (Носуленко, 1988).

Дальнейшая интерпретация особенностей локализации взора может быть выполнена через рассмотрение возможного предназначения невербальных сигналов. В работе (Hargie, Dickson, 2004) в качестве решаемых вербальной коммуникацией задач приводятся:

1. Замена вербальной коммуникации в ситуациях, в которых невозможно или неуместно речевое общение.
2. Дополнение вербальной коммуникации, расширение содержания сообщения.
3. Модификация произнесенных слов.
4. Намеренное или не намеренное опровержение того, что сказано.
5. Регуляция разговора, помощь в выделении речевых оборотов.
6. Выражение эмоций и межличностного отношения.
7. Выстраивание взаимоотношений, например превосходства, контроля и симпатии.
8. Сообщения о личностной и социальной идентичности через такие признаки, как одежда и украшения.
9. Создание контекста взаимодействия через определенную социальную обстановку.

Из перечисленных выше пунктов в качестве потенциально релевантных имеющейся ситуации можно выделить варианты 2, 3, 5.

Авторы дают следующие характеристики невербальной коммуникации: по п. 2 отмечается: «вербальное сообщение может быть уточнено, расширено или усилено. Некоторый материал, например, подробные указания или описание объекта неправильной формы, может быть трудно передать словами. Чтобы облегчить общее сообщение, воображаемая карта или контур иногда рисуется в воздухе при описании маршрута или объекта».

По п 3 отмечается: «когда говорящий делает больший акцент на одних словах, чем на других, использует паузы между словами для передачи важности или интереса, меняет тон и скорость высказываний, важность определенных слов или фраз подчеркивается в сознании слушателя. В некотором смысле это аналогично писателю, который выделяет слова курсивом или подчеркивает их».

По п. 5 дается следующая характеристика: «собеседники способны предвидеть, когда у них появится возможность высказаться. <…> имеется ряд невербальных показателей, которые указывают на то, что собеседнику нужно переключиться на другую реплику. К ним относятся повышение или понижение тона голоса в конце предложения, снижение громкости голоса, прекращение жестов и изменение направления взгляда».

В концепции «совместного взора» (mutual gaze) (Argyle, Cook, 1976, p. 98) взгляды собеседников друг на друга рассматриваются как часть процесса взаимодействия. Отмечается, что «во время разговора паттерны взглядов говорящих и слушающих тесно связаны с произносимыми словами и также важны для управления временем и синхронизацией высказываний». По приводимым авторами данным, доля взоров на собеседника выше во время слушания (75%), чем во время говорения (41%) при доле совместного взора 31%. Взгляд на собеседника может рассматриваться как подкрепление и побуждение к дальнейшему продолжению высказывания; как указание на то, что другой человек внимателен, заинтересован в человеке, на которого смотрит. Также собеседники могут подстраиваться под паттерн взгляда друг друга.

Авторы выделяют следующие функции связанных с речью взглядов:

- подача социальных сигналов;

- открытие канала для получения информации;

- контроль синхронизации речи.

В частности, приводятся данные о характерном «рисунке взгляда», связанном с завершением длинных высказываний, указывается, что конечный взгляд можно рассматривать как канал информации. Далее отмечается, что взгляд неразрывно связан с речью (Argyle, Cook, 1976, pp. 121—122):

1. Как визуальный сигнал, дополняющий речь.
2. Как канал; говорящие поднимают взгляд во время грамматических пауз, чтобы получить обратную связь о том, как воспринимаются высказывания, и чтобы увидеть, готовы ли другие к продолжению речи. Слушатели часто смотрят на говорящих, чтобы изучить их выражение лица и направление взгляда.
3. Отведение взгляда; предполагается, что взгляд отводится, чтобы избежать перегрузки информацией. При обсуждении когнитивно сложных тем наблюдается более низкий уровень внимания. Отведение взгляда может служить более или менее осознанным сигналом того, что человек думает.

В современном обзоре (Degutyte, Astell, 2021, p. 8) выделяются 6 направлений исследований паттернов взора во время коммуникации:

1. a) начало реплики;
2. b) поведение взора во время речи;
3. c) одновременная речь;
4. d) смена говорящего в разговоре;
5. e) не обращенный на собеседника взгляд участника;
6. f) отказ от принятия участия в обсуждении.

Результаты анализа показывают, что взор собеседников обуславливает процесс развертывания диалога.

Имеющиеся в нашем распоряжении данные, представляющие синхронную запись движений глаз, мимики и вербализаций, позволяют в дальнейшем проанализировать функциональную роль мимики и динамики взора в проведенном исследовании. Такой анализ может быть выполнен на основе первоначальной классификации вербальных единиц (Носуленко, 2021; Носуленко, Жегалло, Басюл, 2024).

Заключение

Выбранная нами экспериментальная процедура действительно обеспечивает взаимное обращение участников исследования к видеоизображениям друг друга. На фоне заданного экспериментатором различия ролей участников, выражающегося в показателях движений глаз, в случае совместного взора происходит равноправная коммуникация между участниками. Продолжение исследований в данном направлении предполагает использование других экспериментальных парадигм парного эксперимента, в том числе не связанных с рассматриванием изображений лица. Доминантность нижней части лица указывает на то, что обращение к лицу партнера предположительно направлено на получение дополнительной невербальной информации, сопровождающей вербальные характеристики рассматриваемых изображений. В случае постоянного считывания эмоционального состояния по аналогии с результатами ранее проведенных исследований можно было бы ожидать доминантности верхней части лица. Данный результат является принципиальным и указывает на то, что функциональная роль экспрессивной мимики не ограничивается передачей эмоционального состояния по П. Экману (Ekman, Cordao, 2011).

При совместном решении дискриминационной АВХ-задачи наблюдается эффект асимметрии ошибочных ответов. Эффект обуславливается интерпретацией вербальных описаний изображений, даваемых участниками. При этом не наблюдаются различия в точности различения для разных пар переходного ряда, наблюдавшиеся при решении на том же стимульном материале задачи «одинаковый — разный». Можно предполагать, что вид распределения точности решения обуславливается спецификой различных (хотя и похожих) задач различения, даваемых участникам. В таком случае распределение точности решения нельзя считать однозначной функцией стимульного материала. Возможное развитие данного направления состоит в изучении совместного решения дискриминационной АВХ-задачи на материале уже апробированных переходных рядов с известными результатами. Однако, ввиду крайне высокой трудоемкости, данное направление не является приоритетным.

1. Ананьева, К.И., Харитонов, А.Н. (2009). Новые возможности в исследованиях коммуникативных ситуаций. В: А.Н. Лебедев (Ред.), Психологические и психоаналитические исследования. Ежегодник (с. 21—34). М.: Институт Психоанализа.
   Ananyeva, K.I., Kharitonov, A.N. (2009). New opportunities in the research of communicative situations. In: A.N. Lebedev (Ed.), Psychological and psychoanalytic research. Yearbook (pp. 21—34). Moscow: Institute of Psychoanalysis. (In Russ.).
2. Барабанщиков, В.А. (2012). Экспрессии лица и их восприятие. М.: ИП РАН.
   Barabanshchikov, V.A. (2012). Facial expressions and their perception. Moscow: Institute of Psychology of the Russian Academy of Sciences. (In Russ.).
3. Барабанщиков, В.А., Жегалло, А.В., Королькова, О.А. (2016). Перцептивная категоризация выражений лица. М.: Когито-Центр.
   Barabanshchikov, V.A., Zhegallo, A.V., Korolkova, O.A. (2016). Perceptual categorization of facial expressions. Moscow: Kogito-Center. (In Russ.).
4. Барабанщиков, В.А., Жегалло, А.В., Хозе, Е.Г. (2017). Показатели окуломоторной активности наблюдателя при восприятии видео- и фотоизображений лица. В: В.А. Барабанщиков (Ред.), Когнитивные механизмы невербальной коммуникации (с. 143—185). М.: Когито-Центр.
   Barabanshchikov, V.A., Zhegallo, A.V., Jose, E.G. (2017). Indicators of oculomotor activity of the observer when perceiving video and photo images of the face. In: V.A. Barabanshchikov (Ed.), Cognitive mechanisms of nonverbal communication (pp. 143—185). Moscow: Kogito-Center. (In Russ.).
5. Барабанщиков, В.А., Жегалло, А.В., Королькова, О.А. (2017). Опознание естественных и искусственных переходных эмоциональных экспрессий лица в условиях непосредственного общения. В: В.А. Барабанщиков (Ред.), Когнитивные механизмы невербальной коммуникации (с. 99—142). М.: Когито-Центр.
   Barabanshchikov, V.A., Zhegallo, A.V., Korolkova, O.A. (2017). Identification of natural and artificial transitional emotional expressions of a person in direct communication. In: V.A. Barabanshchikov (Ed.), Cognitive mechanisms of nonverbal communication (pp. 99—142). Moscow: Kogito-Center. (In Russ.).
6. Барабанщиков, В.А., Жегалло, А.В. (2018). Окуломоторная активность при восприятии динамических и статических выражений лица. Экспериментальная психология, 11(1), 5—34. https://doi.org/17759/exppsy.2018110101
   Barabanshchikov, V.A., Zhegallo, A.V. (2018). Oculomotor activity at the perception of dynamic and static expressions of the face. Experimental psychology (Russia), 11(1), 5—34. (In Russ.). https://doi.org/10.17759/exppsy.2018110101
7. Жегалло, А.В., Ананьева, К.И. (2019). Перцептивная категоризация, эффект перцептивного притяжения и межрасовые различия. В: К.И. Ананьева, В.А. Барабанщиков, А.А. Демидов (Ред.), Лицо человека: познание, общение, деятельность (с. 535—560). М.: Когито-Центр; Московский институт психоанализа.
   Zhegallo, A.V., Ananyeva, K.I. (2019). Perceptual categorization, the effect of perceptual attraction, and racial differences. In: K.I. Ananyeva, V.A. Barabanshchikov, A.A. Demidov (Ed.), The human face: cognition, communication, activity (pp. 535—560). Moscow: Kogito-Center; Moscow Institute of Psychoanalysis. (In Russ.).
8. Жегалло, А.В., Басюл, И.А. (2019а). Парный эксперимент для выявления индикаторов правды и лжи с высокой экологической валидностью. Экспериментальная психология, 12(4), 151—159. https://doi.org/17759/exppsy.2019120412
   Zhegallo, A.V., Basyul, I.A. (2019a). A paired experiment to identify truth and lie indicators in the natural conditions. Experimental psychology, 12(4), 151—159. (In Russ.). https://doi.org/10.17759/exppsy.2019120412
9. Жегалло, А.В., Басюл, И.А. (2019б). Организация исследований межличностного общения, опосредованного видеокоммуникацией. В: К.И. Ананьева, В.А. Барабанщиков, А.А. Демидов (Ред.), Лицо человека: познание, общение, деятельность (с. 77—89). М.: Когито-Центр; Московский институт психоанализа.
   Zhegallo, A.V., Basyul, I.A. (2019b). Organization of research on interpersonal communication mediated by video communication. In: K.I. Ananyeva, V.A. Barabanshchikov, A.A. Demidov (Ed.), The human face: cognition, communication, activity (pp. 77—89). Moscow: Kogito-Center; Moscow Institute of Psychoanalysis. (In Russ.).
10. Жегалло, А.В., Басюл, И.А. (2022). Парный модельный эксперимент «верю / не верю» — возможность выделения невербальных признаков достоверности/недостоверности сообщаемой информации. Экспериментальная психология, 15(3), 79—87. https://doi.org/10.17759/exppsy.2022150306
    Zhegallo, A.V., Basyul, I.A. (2022). Paired model experiment “I believe / do not believe” — the ability to highlight non-verbal signs of reliability/unreliability of the information reported. Experimental psychology, 15(3), 79—87. (In Russ.). https://doi.org/10.17759/exppsy.2022150306
11. Жегалло, А.В., Королькова, О.А. (2014). Идентификация и дискриминация переходных экспрессий лица на материале естественного переходного ряда «радость — удивление». В: К.И. Ананьева, В.А. Барабанщиков, А.А. Демидов (Ред.), Лицо человека: познание, общение, деятельность (с. 385—413). М.: Когито-Центр; Московский институт психоанализа.
    Zhegallo, A.V., Korolkova, O.A. (2014). Identification and discrimination of transitional facial expressions based on the natural transition series “happy—surprise”. In: K.I. Ananyeva, V.A. Barabanshchikov, A.A. Demidov (Ed.), The human face: cognition, communication, activity (pp. 385—413). Moscow: Kogito-Center; Moscow Institute of Psychoanalysis. (In Russ.).
12. Жегалло, А.В., Королькова, О.А. (2021). «Базовые» эмоциональные экспрессии: проверка модели категориальной подстройки. В: А.И. Жук и др. (Ред.), Образование и наука в XXI веке. Ежегодный сборник научных трудов БГПУ (с. 46—51). Минск: БГПУ.
    Zhegallo, A.V., Korolkova, O.A. (2021). “Basic” emotional expressions: verification of the categorical adjustment model. In: A.I. Zhuk et al. (Ed.), Education and science in the 21st century. Annual collection of scientific papers of BSPU (pp. 46—51). Minsk: BSPU. (In Russ.).
13. Жегалло, А.В., Хозе, Е.Г. (2015). Индуцированные эмоциональные экспрессии: реконструкция перцептивных категорий. Экспериментальная психология, 8(4), 30—44.
    Zhegallo, A.V., Jose, E.G. (2015). Induced emotional expressions: reconstruction of perceptual categories. Experimental psychology (Russia), 8(4), 30—44. (In Russ.).
14. Куракова, О.А., Жегалло, А.В. (2012). Эффект категориальности восприятия экспрессий лица: многообразие проявлений. Экспериментальная психология, 5(2), 22—38.
    Kurakova, O.A., Zhegallo, A.V. (2012). The effect of categorical perception of facial expressions: a variety of manifestations. Experimental psychology (Russia), 5(2), 22—38. (In Russ.).
15. Ломов, Б.Ф. (1975). Психические процессы и общение. В: Б.Ф. Ломов (Ред.), Методологические проблемы социальной психологии (с. 106—123). М.: Наука.
    Lomov, B.F. (1975). Mental processes and communication. In: B.F. Lomov (Ed.), Methodological problems of social psychology (pp. 106—123). Moscow: Nauka. (In Russ.).
16. Ломов, Б.Ф. (1979). Категории общения и деятельности в психологии. Вопросы философии, 8, 34—47.
    Lomov, B.F. (1979). Categories of communication and activity in psychology. Questions of philosophy, 8, 34—47. (In Russ.).
17. Носуленко, В.Н. (1988). Психология слухового восприятия. М.: Наука.
    Nosulenko, V.N. (1988). Psychology of auditory perception. Moscow: Nauka. (In Russ.).
18. Носуленко, В.Н. (2021). Вопросы интеграции качественных и количественных методов в психологическом исследовании. Экспериментальная психология, 14(3), 4—16. https://doi.org/10.17759/exppsy.2021140301
    Nosulenko, V.N. (2021). Integration issues of qualitative and quantitative methods in psychological research. Experimental psychology (Russia), 14(3), 4—16. (In Russ.). https://doi.org/10.17759/exppsy.2021140301
19. Носуленко, В.Н., Басюл, И.А., Жегалло, А.В. (2024). Соотношение мимических и аффективных характеристик в вербальном сравнении лиц. Экспериментальная психология, 17(2), 29—51. https://doi.org/10.17759/exppsy.2024170202
    Nosulenko, V.N., Basyul, I.A., Zhegallo, A.V. (2024). Relationship of mimic and affective characteristics in verbal comparison of faces. Experimental psychology (Russia), 17(2), 29—51. (In Russ.). https://doi.org/10.17759/exppsy.2024170202
20. Argyle, M., Cook, M. (1976). Gaze and mutual gaze. London: Cambridge University Press.
21. Degutyte, Z., Astell, A. (2021). The Role of Eye Gaze in Regulating Turn Taking in Conversations: A Systematized Review of Methods and Findings. Psychol., 12, 616471. https://doi.org/10.3389/fpsyg.2021.616471
22. Ekman, P., Cordao, D. (2011). What is Meant by Calling Emotions Basic. Emotion Review, 3(4), 364—370. https://doi.org/10.1177/1754073911410740
23. Etcoff, N.L., Magee, J.J. (1992). Categorical perception of facial expressions. Cognition, 44(3), 227—240.
24. Hanley, R., Roberson, D. (2011). Categorical perception effects reflect differences in typicality on within-category trials. Psychonomic Bulletin Review, 18(2), 355—363.
25. Hargie, O., Dickson, D. (2004). Skilled interpersonal communication Research, theory and practice / 4th edition. London and New York: Routledge.
26. Huttenlocher, J., Hedges, L.V., Vevea, J.L. (2000). Why do categories affect stimulus judgment? Journal of Experimental Psychology: General, 129(2), 220—241.
27. Kuhl, P.K. (1991). Human adults and human infants show a ‘perceptual magnet effect’ for the prototypes of speech categories, monkeys do not. Perception & Psychophysics, 50, 93—107.
28. Liberman, A.M., Harris, K.S., Hoffman, H.S., Griffith, B.C. (1957). The discrimination of speech sounds within and across phoneme boundaries. Journal of Experimental Psychology, 54(5), 358—368.
29. Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Zhang, F., Chang, C.-L., Yong, M., Lee, J., Chang, W.-T., Hua, W., Georg, M., Grundmann, M. (2019). Mediapipe: A framework for perceiving and processing reality. Third workshop on computer vision for AR/VR at IEEE computer vision and pattern recognition (CVPR). URL: https://mixedreality.cs.cornell.edu/s/NewTitle_May1_MediaPipe_CVPR_CV4ARVR_Workshop_2019.pdf (viewed: 07.2025).
30. Roberson, D., Damjanovic, L., Pilling, M. (2007). Categorical perception of facial expressions: Evidence for a “category adjustment” model. Memory & Cognition, 35(7), 1814—1829.