Следи за руками собеседника! (о стратегиях распределения зрительного внимания)

Настоящая работа вносит вклад в развитие мультиканальной лингвистики — нового направления, исследующего взаимодействие многочисленных каналов передачи информации между собеседниками, в том числе вербальных единиц, просодии, жестов, мимики, направления взора. Исследование выполнено на материале русскоязычного мультиканального корпуса «Рассказы и разговоры о грушах», собранного при помощи современного оборудования, включающего промышленные видеокамеры и очки-айтрекеры для регистрации движений глаз. На основании количественных и качественных результатов исследования описываются закономерности распределении зрительного внимания Рассказчика в ситуации восприятия информации от двух жестикулирующих собеседников, а также различные стили окуломоторной активности Рассказчика.

Одним из наиболее перспективных направлений развития мультиканальной лингвистики является разработка и создание мультиканальных корпусов — «аннотированных собраний скоординированной информации из разных коммуникативных каналов, включая речь, направление взора, мануальные жесты и язык тела, которые обычно создаются на материале записей человеческого поведения» (Foster, Oberlander, 2007, с. 307, 308). В отличие от моно- канальных и мономодальных корпусов, уже имеющих свою традицию, мультиканальные корпуса, как и мультиканальная лингвистика в целом, находятся на этапе становления.

Для исследования направления взора в большинстве мультиканальных корпусов используются стационарные айтрекеры (см. например: Carletta et al., 2010; Jokinen, 2011), однако подобное оборудование плохо совместимо с изучением естественного общения. В самые последние годы с появлением мобильных очков-айтрекеров исследования мультика­нальной коммуникации перешли на новый уровень, освободившись от необходимости использовать монитор компьютера; отметим два подобных корпуса — нидерландский (Brône, Oben, 2015, айтрекер Arrington Gig-E60, частота 30 к/с) и английский (Holler, Kendrick, 2015, айтрекер SMI, частота 30 к/с).

Настоящее исследование является частью масштабного мультиканального проекта «Рассказы и разговоры о грушах» (более подробно о проекте см.: Кибрик, 2018а,б). В работе О.В. Федоровой (Федорова, 2017) на материале подкорпуса из трех записей данного корпуса была предложена классификация закономерностей распределения зрительного внимания, а также выдвинута идея создания «окуломоторного портрета» — данных о средней длительности фиксаций и саккад каждого участника исследования, распределении зрительного внимания на разных этапах и проч. (ср. понятие «просодического портрета»: Кибрик, 2009 и «жестикуляционного портрета»: Литвиненко и др., 2017). В настоящей работе мы применим предложенную классификацию закономерностей распределения зрительного внимания к более частному материалу, а именно, к ситуации восприятия одним из участников коммуникации зрительной информации от двух других жестикулирующих собеседников.

Дальнейшее изложение будет построено следующим образом. Сначала мы кратко опишем корпус «Рассказы и разговоры о грушах» и более подробно остановимся на его оку­ломоторной составляющей. В следующем разделе будет рассмотрена роль жестикуляции в речи и даны те сведения о мануальных жестах, которые будут необходимы для понимания
проведенного исследования. Затем мы перейдем непосредственно к теме настоящей работы и опишем предшествующие исследования. Далее в разделе «Результаты исследования» будут представлены сначала количественные, а затем качественные результаты. Наконец, в разделе «Обсуждение результатов» мы подведем количественные и качественные итоги и предложим модифицированную классификацию закономерностей распределения зрительного внимания к жестикулирующим рукам собеседника.

Программа и общая методика исследования.

Мультиканальный корпус «Рассказы и разговоры о грушах»

В нашем текущем проекте «Язык как он есть», осуществляемом в Институте языкознания РАН (вебсайт multidiscourse.ru), значительное место отводится всем основным мультиканальным составляющим, в том числе просодической (Кибрик, Подлесская — ред., 2009), кинетической (Литвиненко и др., 2017) и окуломоторной (Языков и др., 2016; Федорова, 2017). Собранный корпус включает 40 записей суммарной длительностью 15 часов. Цель данного проекта двоякая: во-первых, создается ресурс нового типа; во-вторых, на его основе реализуется программа изучения мультиканальной коммуникации.

Испытуемые

В исследовании приняли участие 160 человек (100 женщин, 60 мужчин) в возрасте от 18 до 36 лет. Все испытуемые имели нормальное или скорректированное до нормального зрение.

Стимульный материал

Для сбора корпуса был использован известный шестиминутный «Фильм о грушах» У. Чейфа (1980), не содержащий звучащей речи. Видеоряд фильма был создан таким образом, чтобы стимулировать испытуемых описывать сюжет, описания пейзажа, причинно­следственные отношение, а также мысли и эмоции героев повествования.

Методика

Для проведения исследования была разработана оригинальная методика. В каждой записи принимали участие четыре человека с заранее распределенными ролями. Три участника — Рассказчик, Комментатор и Пересказчик — участвовали в основной части записи, а четвертый — Слушатель — присоединялся в конце экспериментальной сессии. Сначала Рассказчик и Комментатор смотрели каждый на своем ноутбуке «Фильм о грушах» и старались как можно лучше его запомнить. Затем к ним присоединялся третий участник — Пересказчик, и начиналась основная часть записи. Задача Рассказчика состояла в том, чтобы рассказать сюжет просмотренного фильма Пересказчику, который этот фильм не смотрел; это был этап рассказа в режиме монолога. На следующем — интерактивном — этапе разговора Комментатор дополнял рассказ Рассказчика и при необходимости исправлял его, а Пересказчик уточнял у Рассказчика и Комментатора необходимые детали. Наконец, на этапе пересказа Пересказчик пересказывал сюжет Слушателю, опять в режиме монолога. После этого Слушатель фиксировал на бумаге услышанный пересказ. Таким образом, задача каждого участника состояла в том, чтобы максимально подробно и понятно донести до других коммуникантов полученную информацию, минимизировав эффект «испорченного телефона».

Оборудование

Речь испытуемых фиксировалась на рекордер ZOOM H6 с параметрами записи 96 kHz / 24 bit; речь каждого из трех говорящих записывалась на индивидуальный петличный микрофон SONY ECM-88B; кроме того, отдельно производилась общая стерео­запись с микрофона диктофона. Три промышленные видеокамеры JAI GO-5000M-USB с частотой 100 к/с и разрешением 1392x1000 записывали крупным планом каждого из трех основных участников; эти камеры позволяют получить запись в формате mjpeg; данный формат выгодно отличается от остальных отсутствием межкадрового сжатия, что является необходимым условием для дальнейшего покадрового аннотирования; кроме того, производилась видеозапись общего плана камерой GoPro Hero 4 с частотой 50 к/с и разрешением 2700x1500. Для регистрации движений глаз были использованы две пары очков-айтрекеров Tobii Glasses II Eye Tracker с частотой 50 Hz и разрешением видеокамеры 1920x1080; один из двух айтрекеров был надет на Рассказчика, второй — на Пересказчика.

Окуломоторный компонент

Для более детального исследования окуломоторного компонента был создан подкор­пус, состоящий из трех записей № 04, 06 и 23, суммарной длительностью около 65 мин (длительность записи № 04 составляет 24.36.021, № 06 — 23.42.281 и № 23 — 16.27.522)⁴. Сначала при помощи программы TobiiProGlassesAnalyzer, фильтр VT (Attention) были извлечены данные о временной развертке всех фиксаций длительностью выше 100 мс⁵, на которые далее в ручном режиме была наложена аннотационная схема с двумя параметрами: «на кого» (возможные значения: Рассказчик/Пересказчик/Комментатор/Слушатель/ Окружение) и «куда» (возможные значения: Лицо/Руки/Туловище/Окружение) смотрит испытуемый.

Основы изучения распределения зрительного внимания собеседников в ходе естественного общения были заложены еще 50 лет Адамом Кендоном (Kendon, 1967). Проанализировав пятиминутное общение семи пар испытуемых, Кендон заключил, что:

1)     коммуникант чаще смотрит на собеседника, когда слушает его, чем когда сам говорит;

2)     фиксации на собеседнике длиннее, когда коммуникант молчит, чем когда говорит;

3)     когда коммуникант молчит, его фиксации на собеседнике длиннее, чем фиксации на окружении;

4)     когда сам коммуникант говорит, его фиксации на собеседнике короче, чем фиксации на окружении;

5)     наблюдаются сильные индивидуальные различия. Так, слушающие фиксировали взгляд на говорящих от 32% до 81% всего времени, а говорящие смотрели на слушающих от 20% до 68% всего времени (Kendon, 1967).

Эти результаты, однако, были получены методом кинорегистрации с частотой 2 к/с. Современные айтрекеры позволяют проверить их с большей точностью. Результаты 65-минутного общения наших испытуемых (что по времени в два раза больше, чем в исследовании Kendon, 1967) подтвердили лишь первую, третью и пятую выделенные Кендоном закономерности (Федорова, 2017).

Кроме того, в работе Федоровой было предложено различать три типа закономерностей распределения зрительного внимания участников естественной коммуникации: общие, контекстно-зависимые и индивидуальные. Первые — это тенденции, которых обычно придерживается подавляющее большинство испытуемых, независимо от других условий; вторые используются в определенных условиях (в нашем случае, например, на этапе рассказа или пересказа или при взгляде на того или другого коммуниканта); третьи определяются у каждого испытуемого индивидуально, независимо от других условий. Ниже перечислены некоторые выявленные закономерности распределения зрительного внимания Рассказчиков.

I.     Общие закономерности:

a)      рассказчик чаще смотрит на собеседника, когда слушает его, чем когда сам говорит;

b)     независимо от степени вовлеченности Комментатора в процесс обсуждения, фиксации на его лице короче, чем фиксации на лице Пересказчика.

II.     Контекстно-зависимые закономерности:

a)      рассказчик смотрит на Комментатора только на этапе разговора.

b)      на этапе пересказа Рассказчик большую часть времени смотрит на Пересказчика.

III.      Индивидуальные закономерности:

a) когда Рассказчик молчит, его фиксации на собеседнике длиннее, чем когда он говорит.

Взаимодействие вокальной и кинетической модальностей в естественной
коммуникации. Роль жестикуляции в речи

Как было отмечено выше, в нашем проекте мы описываем две модальности — вокальную (слуховую) и кинетическую (зрительную). В свою очередь, вокальная модальность подразделяется на два канала — вербальный и просодический; под вербальнымканалом мы понимаем весь словесный материал, к просодическому каналу относятся несегментные аспекты звука. Кинетическая составляющая мультимодальной коммуникации, или язык тела, имеет сложную организацию, которая включает как динамический компонент — различного рода движения и жесты: мимические жесты, жесты головы, рук и тела, — так и статический — выражение лица, позы, проксемику. Несмотря на то, что в реальной коммуникации важны все составляющие, традиционно большинство современных исследований посвящены жестикуляции и в первую очередь жестам рук, или иллюстративным мануальным жестам (Kendon, 2004; McNeill, 2005). Так, наиболее известная классификация мануальных жестов Дэвида Макнилла (2005) включает указательные, иконические (изображающие конкретные объекты или действия), метафорические (представляющие абстрактные понятия) и ритмические (выделяющие наиболее важные фрагменты речи) жесты. Кроме жестов часто выделяется отдельный класс адаптеров — физиологически мотивированных движений (например, почесаться или принять более удобную позу).

С точки зрения структуры жестикуляции вслед за Кендоном (Kendon, 2004) обычно выделяют жестовые цепочки (Gesture chains), жесты (Gesture phrase) и фазы жеста (Gesture phase). Основанием для деления жестикуляционного потока на жесты и их фазы служит изменение базовых признаков — скорости, направления, амплитуды, траектории и проч. Самая важная и обязательная фаза жеста — мах (Stroke); в махе реализуется значение жеста. Подготовка (Preparation) представляет собой переход к маху от нейтрального положения или от предыдущего жеста, ретракция (Retraction) — переход от маха к нейтральному положению. Удержания (Hold) случаются, когда рука останавливается в не­нейтральном положении.

Взаимодействие речи и сопровождающей ее жестикуляции — одна из самых обсуждаемых тем в современных мультиканальных исследованиях; в частности, еще не окончательно решен вопрос о том, насколько речь и жесты связаны между собой в когнитивной системе человека. Макнилл утверждает, что речь и жесты одновременно активируются в одном общем источнике (McNeill, 1992), а авторы популярной модели Interface (Kita, Ozyurek, 2003), наоборот, полагают, что они планируются в разных модулях (подробнее см.: Федорова и др., 2016).

Упрощает ли жестикуляция коммуникацию? Хотя некоторые исследователи дают отрицательный ответ на этот вопрос (например: Krauss et al., 2000), большинство полагают, что жестикуляция помогает общению коммуникантов; в частности, об этом свидетельствуют результаты мета-аналитического обзора, проведенного в работе Hostetter, 2011, в который вошли 63 отдельных исследования. Как предполагается, жестикуляция (1) дублирует информацию, которая передается по вокальному каналу, или (2) передает дополнительную, а иногда и противоречащую, информацию.

Встает вопрос, жестикулирует человек скорее «для себя» или «для других»? Существует несколько теорий, объясняющих зачем говорящий человек может жестикулировать «для себя». Согласно гипотезе информационной упаковки (Kita, 2000), использование жестикуляции помогает человеку упаковать зрительно воспринимаемую информацию в формате, совместимом с линейным и дискретным форматом вербального канала. С другой стороны, модель лексического упрощения (Krauss et al., 2000) утверждает, что первичная функция иконических жестов состоит в упрощении для говорящего поиска в ментальном лексиконе подходящей лексемы. Таким образом, в общем случае предполагается, что «для себя» человек жестикулирует. Но жестикулирует ли он «для других»? Точнее, является ли жестикуляция «для других» побочным продуктом жестикуляции «для себя» или человек намеренно жестикулирует для собеседника? Предполагается, что для собеседника. В частности, в работе Mol et al. (2011) было подсчитано количество жестов в тех случаях, когда коммуниканты могли и не могли видеть друг друга; в первом случае жестов оказалось значимо больше.

Таким образом, очевидно, что авторы большого числа работ исходят из того, что в процессе коммуникации собеседники принимают во внимание не только речь своего собеседника, но и жестикуляционный компонент. Однако так ли это на самом деле? Часто ли люди смотрят и принимают во внимание жестикулирующие руки собеседника? Более точный ответ на этот вопрос могут дать современные исследования по айтрекингу.

Зрительное внимание к жестикуляции собеседника

История вопроса

На сегодняшний день представлено лишь небольшое количество исследований, посвященных непосредственно изучению зрительного внимания⁶ к жестикулирующим рукам собеседника. В пионерских работах Gullberg, Holmqvist (1999, 2002) было показано, что в естественноязыковой коммуникации 96% всего времени слушающий человек смотрит на лицо говорящего собеседника, в то время как на жестикулирующие руки он смотрит крайне редко, всего в 0,5% случаев, что покрывает только 7% жестикуляции собеседника. Результаты исследования Beattie et al. (2010) свидетельствуют о том, что на лицо собеседника слушающий смотрит в 85% всего времени, а на руки приходится 2,1%.

Исследователями высказывались самые разные предположения относительно ситуаций, в которых слушающий переводит взгляд с лица собеседника на его руки. Самое популярное объяснение заключается в следующем: в большинстве случаев, когда испытуемый смотрит на лицо, перифирическим зрением он видит и жестикулирующие руки — при стандартном экспериментальном расстоянии между собеседниками в 1,5 — 2 м и жестикуляцией на уровне груди угол зрения оказывается около 8—10°, что в общем случае позволяет видеть движения рук без перевода взгляда.

Рассмотрим этот вопрос более подробно. В статье Барабанщикова, Жегалло (2013) авторы выделяют пять зон:

1)     центральную зону (±2,5° от центральной оптической оси глаз) — максимально высокий уровень обнаружения, распознавания и идентификации объектов;

2)     ближнюю периферию (±2,5°—15°) — сравнительно высокое обнаружение, распознавание и идентификация;

3)     среднюю периферию (±15°—25°) — ограниченная способность распознавания и идентификации кратковременных событий и трудности категоризации;

4)     дальнюю периферию (±25°—35°) — хорошее обнаружение, но плохие идентификация, распознавание и классификация объектов;

5)      экстремальную периферию (свыше ±35°) — только обнаружение.

Посмотрим теперь, мог ли Рассказчик видеть жестикулирующие руки двух других коммуникантов периферическим зрением в нашем исследовании. Расстояние от Рассказчика до Пересказчика было равно 2 м, руки Пересказчика большую часть времени находились на расстоянии 30 см от его лица, т. е. ATAN (0,3/2)*360/2та= 8,5°. Расстояние от Рассказчика до Комментатора было равно 80 см, руки Комментатора большую часть времени тоже находились на расстоянии 30 см от его лица, т. е. ATAN (0,3/0,8)*360/2та= 20,6°. Говоря другими словами, жесты Пересказчика (ближняя периферия) Рассказчик еще видит периферическим зрением, а вот жесты Комментатора (средняя периферия), по-видимому, видит хуже.

Однако при сравнении суммарных величин длительности взглядов Рассказчика №06⁵ на руки Пересказчика № 06 и руки Комментатора № 06 на этапе разговора (табл. 5) различий (chisq.=1,635; p=0,442) не различаются; в то же время при сравнении ибсо/нотного количества фиксаций в том и другом случае обнаруживается двухкратное различие, т. е. фиксации на руках Комментатора № 06 возникали у Рассказчика № 06 в два раза чаще и при этом были в два раза короче, чем фиксации на руках Пересказчика № 06. Таким оорало.хi. для идентифи­цирования жестов Рассказчику необязательно переводить взгляд на руки Пересказчика, но обязательно смотреть на руки Комментатора. На наш взгляд, именно эта факультативность перевода взгляда Рассказчика на руки Пересказчика и представляет особый интерес.

Рассмотрим другие предположения. В работе Gullberg (2003) бычла выюказана гипотеза о том, что перевод взгляда на руки будет чаще в тех ситуациях, когда жестикуляция происходит не в центральных зонах, по Макниллу (1992), а на периферии (рис. 1). Однако в работе Gullberg, Kita (2009) это предположение не подтвердилось. Еще одна гипотеза связана с удержаниями, во время которых не происходит движения, что требует со стороны! собеседника прямого взгляда на объект. В работе Gullberg, Holmqvist (2006) авторы: iюказали, что подобным удержания привлекают большее количество взглядов слушающего собеседника. В работе Beattie et al. (2010) внимание авторов бы:ло сосредоточено на махах — именно махи, по их данным, как самая важная фаза жеста, вы:зы:вают больше всего прямых взглядов. Другой класс возможных объяснений связан с семантикой жестов. В работе Beanie et al. (2010) авторы показали, что наибольшее количество переводов взгляда на руки происходит в тех случаях, когда жесты иллюстрируют относительные понятия (например, размер: вот такой длины).

Мы предполагали проверить выдвинутые гипотезы на материале записей созданного подкорпуса. Однако оказалось, что в наших данных вообще не представлено случаев, когда испытуемый смотрит на руки именно во время фазы удержания или маха (с точностью до 40 мс)⁶ , а количество жестов Рассказчика или Комментатора, находящихся на периферии, по Макниллу (1992), или иллюстрирующих относительные понятия, оказалось слишком мало (меньше 10) для какого-либо анализа. В данной работе, не получив подтверждения ни одной из вышеперечисленных гипотез, мы обратились к исследованию закономерностей распределения зрительного внимания.

Результаты исследования

В ходе работы мы проанализировали подкорпус, состоящий из трех записей окуломоторной активности Рассказчиков № 04, 06 и 23 общей длительностью 65 мин. В первой части данного раздела мы опишем количественные данные по трем этапам — сначала общую дескриптивную статистику, а затем более подробно окуломоторный компонент. Во второй части раздела будут описаны качественные результаты, а именно, выявленные особенности восприятия жестикуляции.

Общая дескриптивная статистика

На первом этапе монологического рассказа Рассказчик доносит до Пересказчика содержание просмотренного им фильма; два других участника коммуникации молча слушают⁷ (табл. 1).

Таблица 1⁸

Общая дескриптивная статистика на этапе рассказа

Таблица 2

Общая дескриптивная статистика на этапе разговора

Второй этап интерактивного разговора активно задействует всех трех коммуникантов (табл. 2). Отметим, что во всех трех записях общие длительности суммарной жестикуляции⁸ Комментатора и Пересказчика не различаются (chi sq.=1,719; p=0,423)⁹. Индивидуальные различия проявляются в том, что Пересказчик № 04 говорит и жестикулирует в два раза больше, чем Комментатор № 04, Пересказчик № 06 и Комментатор № 06 говорят и жестикулируют почти с одинаковой частотой и длительностью, а Комментатор № 23 говорит больше и жестикулирует чаще по сравнению с Пересказчиком № 23.

На заключительном этапе монологического пересказа Пересказчик пересказывает сюжет фильма Слушателю, два других коммуниканта молча слушают (табл. 3). Показатели длительности жестикуляции всех трех Пересказчиков характеризуются несущественными различиями (chisq.=1,658; p=0,437).

Таблица 3

Общая дескриптивная статистика на этапе пересказа

Данные о распределении показателей длительности записей по этапам представлены на рис. 2 (рассказ: ср=0,188, ст. откл.=0,068; разговор: ср=0,495, ст. откл.=0,026; пересказ: ср=0,317, ст. откл.=0,057; тест однородности дисперсий Флигнера—Киллена=0,484, p=0,78), а данные о распределении показателей длительности жестикуляции Комментатора и Пересказчика по этапам — на рис. 3 (Fligner’schisq.=4,527, p=0,104).

Таким образом, все три записи сопоставимы между собой как с точки зрения общей длительности и распределения показателей длительности по этапам , так и с точки зрения показателя суммарной длительности жестикуляции Пересказчика и Комментатора.

Распределение зрительного внимания Рассказчиков № 04, 06 и 23

На этапе рассказа (табл. 4) ни один из Рассказчиков не смотрел на руки собеседников, а показатели распределения зрительного внимания и, в частности, количество взглядов на лицо собеседника, характеризовались существенными различиями (подробнее см.: Федорова, 2017).

Таблица 4

Распределение зрительного внимания N на этапе рассказа

На этапе разговора (табл. 5) показатель распределения внимания Рассказчиков между лицами Пересказчиков и Комментаторов является уникальным для каждой записи и отражает когнитивно-коммуникативную активность собеседников на конкретном этапе. Показатель распределения зрительного внимания к рукам не подвержено подобным закономерностям и отражает индивидуальные особенности самих собеседников: Рассказчик № 06 смотрит на жестикулирующие руки собеседников значительно чаще, чем Рассказчик № 04 (chisq.=48,081; p<0,001) и Рассказчик № 23 (chisq.=29,785; p<0,001) (попарное сравнение с коррекцией Хольма).

Таблица 5

Распределение зрительного внимания N на этапе разговора

На этапе пересказа (табл. 6) суммарные показатели длительности фиксаций Рассказчика на лице Пересказчика имеют сходные значения , хотя эти фиксации заметно
различаются по длительности. Показатели времени фиксации на руках также различаются — на этот раз Рассказчик № 04 и Рассказчик № 06 смотрят на руки собеседников значительную часть времени, а Рассказчик № 23 —существенно реже (chisq.=16,514; p<0,001).

Таблица 6

Распределение зрительного внимания N на этапе пересказа

Особенности восприятия Рассказчиком жестикуляции собеседников

В данном разделе мы рассмотрим качественные особенности каждой из трех записей. Начнем с записи № 23, в которой Рассказчик отслеживает жестикуляцию собеседников. Рассказчик № 23 всего 8 раз смотрит на руки Комментатора № 23 на этапе разговора и 6 раз на руки Пересказчика № 23 на этапе пересказа. Если среди взглядов на рук Комментатора № 23 можно выделить три взгляда, которые сопровождают иконические жесты (см., например, рис. 4¹¹), то все взгляды на руки Пересказчика № 23 приходятся на случайные фрагменты ритмических и, реже, иконических жестов; никаких устойчивых паттернов выявить не удается.

При анализе записи № 06 мы видим совсем иную картину. На этапе разговора Рассказчик № 06 смотрит на жестикулирующие руки Комментатора № 06 и Пересказчика № 06 примерно одинаковое время (5,7% от суммарного времени всех фиксаций), однако показатели длительности фиксаций на руках Пересказчика № 06 характеризуются двухкрат­ным увеличением (разница средних показателей длительности фиксаций: 0,633—0,309). На этапе пересказа Рассказчик № 06 бросает прямые взгляды на руки Пересказчика № 06 уже в 13,5% от суммарного времени фиксаций. Показательны три разных паттерна фиксаций Рассказчика № 06 или три стиля окуломоторной активности (ср. паттерны, выявленные при восприятии лиц, в работе В.А. Барабанщикова (Барабанщиков, 2009).

Паттерн 1. «Зависание взгляда» на руках говорящего собеседника (рис. 5). Такие цепочки характерны исключительно для взглядов Рассказчика № 06 на руках Комментатора № 06 на этапе разговора (примерно 50% от всех взглядов на руки Комментатора № 06).

Паттерн 2. Отслеживание адапторов у молчащего собеседника (рис. 6). Такие цепочки характерны исключительно для взглядов Рассказчика № 06 на руках Пересказчика № 06 в те моменты, когда говорит Комментатор № 06 (около 20% от взглядов на руках Пересказчика). Для данных цепочек характерны отслеживания почесываний и поворачи­ваний кольца на пальце. В отличие от других типов подобные фиксации могут быть весьма длительными (более 2 с в данном примере).

Паттерн 3. Цепочки типа «лицо—руки—...» у говорящего собеседника (Рис. 7). Данное явление характерно почти исключительно в случае взглядов Рассказчика № 06 на рук Пересказчика № 06 на этапе пересказа (более 80% всех взглядов), есть всего несколько исключений для взглядов на руках Комментатора № 06 и Пересказчика № 06 на этапе разговора.

Для записи № 04 характерна третья ситуация. На этапе разговора Рассказчик № 04 смотрит на руки собеседников редко и эти взгляды случайны, однако на этапе пересказа его взгляды на жестикулирующие руки Пересказчика № 04 занимают 16,5% суммарного времени фиксаций. Подавляющая часть этихвзглядов (более 85%) — цепочки типа «лицо­руки—...», однако чередование взглядов на лицо и руки здесь не такое регулярное, как у Рассказчика № 06.

Обсуждение результатов

Согласно данным из литературы, в естественноязыковой коммуникации человек смотрит на жестикулирующие руки собеседника редко (в 0,5% случаев, по Gullberg, Holmqvist, 1999; 2002 и в 2,1%, по Beattie et al., 2010), что покрывает только 7% жестикуляции (Gullberg, Holmqvist, 1999; 2002). По нашим данным мы видим, что эти цифры могут быть значительно выше (см. табл. 7, в которой приведены данные трех испытуемых по всем трем этапам). В табл. 7 суммируются данные количественного и качественного анализа; серой штриховкой обозначены статистически значимые различия, а все найденные паттерны отмечены в соответствующих ячейках таблицы.

Таблица 7

Распределение зрительного внимания N к жестикулирующим рукам Ru C по этапам, в %

В табл. 8 представлены данные о длительности взглядов Рассказчика на жесты собеседников относительно их суммарной жестикуляции. Можно видеть, что при большом разбросе цифр на некоторых этапах у Рассказчиков процент фиксаций на жестикуляции в 3—4 раза превосходит цифру в 7% из Gullberg, Holmqvist (1999; 2002).

Таблица 8

Распределение зрительного внимания N к жестикулирующим рукам Ru C
по этапам относительно суммарной жестикуляции Ru C, в %

Наблюдаемый разброс значений показателей, по-видимому, не в последнюю очередь связан с факультативностью взглядов Рассказчика на жестикуляцию Пересказчика. В ходе работы мы подтвердили вывод других исследователей о том, что для идентифициро­вания жестов собеседника Рассказчику необязательно переводить прямой взгляд на руки Пересказчика, он может видеть их периферическим зрением (ближняя периферия, 8,5°); о фиксации взгляда на жестикуляции Комментатора см. ниже.

Учитывая отмеченную выше факультативность взглядов Рассказчика на жестикуляцию Пересказчика, не так удивительно, что при одинаковых исходных условиях мы получили три разные ситуации: Рассказчик № 23 минимально смотрит на жестикулирующие руки на протяжении всей коммуникации; внимание Рассказчика № 04 привлечено к рукам только на этапе пересказа, а внимание Рассказчика № 06 — на этапах разговора и пересказа. Чем могут быть объяснены полученные различия? Мы полагаем, что наиболее полно наблюдаемая ситуация может быть объяснена сочетанием различного рода закономерностей распределения зрительного внимания Рассказчика.

В работе Федорова (2017) было предложено различать три типа закономерностей распределения зрительного внимания участников естественной коммуникации: общие, контекстно-зависимые и индивидуальные. В настоящей работе мы модифицировали эту классификацию и ввели две оппозиции: общие vs. индивидуальные закономерности и контекстно-зависимые vs. контекстно-независимые закономерности. Таким образом, теоретически мы различаем четыре типа закономерностей.

I.     Общие контекстно-независимые. Это самые общие закономерности, которые не зависят от других условий и, возможно, относительно редко встречаются в реальной коммуникации:

a)      фиксации Рассказчика на руках короче, чем фиксации на лице.

II.    Общие контекстно-зависимые. Эти закономерности характерны для всех Рассказчиков на том или ином этапе или относительно того или иного коммуниканта:

a) Рассказчик не смотрит на руки собеседников на этапе рассказа.

III.    Индивидуальные контекстно-независимые. Эти закономерности характерны для конкретных Рассказчиков и не зависят от других условий коммуникации:

) Рассказчик № 23 практически не использует прямые взгляды на руки собеседников.

IV. Индивидуальные контекстно-зависимые. Такие закономерности характерны для одного или нескольких Рассказчиков на том или ином этапе или относительно того или иного коммуниканта:

a)      Рассказчик № 04 смотрит на руки собеседников только на этапе пересказа;

b)      Рассказчик № 06 смотрит на руки собеседников на этапах разговора и пересказа;

c)      фиксации Рассказчика № 06 на руках Комментатора короче, чем фиксации на руках Пересказчика;

d)     Рассказчики № 04 и № 06 на этапе пересказа при фиксациях на руках Пересказчика в большинстве случаев используют паттерн «лицо—руки—...»;

e)      Рассказчик № 06 на этапе разговора, слушая речь Комментатора, часто использует паттерн «зависание на руках Комментатора»;

f)      Рассказчик № 06 на этапе разговора, слушая речь Комментатора, время от времени использует паттерн «отслеживание адапторов у Пересказчика».

Наконец, посмотрим, что могут сказать данные окулографии Рассказчика об особенностях распределения ролей Рассказчика, Комментатора и Пересказчика в нашей коммуникации. Для Рассказчика № 06, по-видимому, роль Комментатора является заметно менее важной, чем роль Пересказчика, о чем говорят обнаруженные паттерны на этапе разговора — как паттерн «зависание на руках Комментатора», так и паттерн «отслеживание адапторов у Пересказчика». Тем не менее, нельзя сказать, что Рассказчик № 06 игнорирует Комментатора № 06 и его жестикуляцию — в ситуации, когда он не может как следует видеть жесты Комментатора № 06, которые находятся в средней периферии его зрительного поля, он смотрит на его руки в два раза чаще, чем на руки Пересказчика № 06, при одинаковом количестве жестикуляции.

Заключение

Во вводной части статьи мы задались вопросом, жестикулирует человек только «для себя» или и «для других», и насколько эта жестикуляция «для других» воспринимается «другими», т. е. обращает ли внимание человек на жестикулирующие руки собеседника. Как и в предыдущих исследованиях, оказалось, что Рассказчик может видеть руки Пересказчика периферическим зрением, не переводя на него прямой взгляд. Поэтому, с одной стороны, айтрекинг не дает нам точного ответа на вопрос, сколько времени Рассказчик смотрит (т. е. переводит взгляд или видит, не переводя взгляда) на жестикулирующие руки собеседников. С другой стороны, однако, обнаруженная в исследовании факультативность прямых взглядов на руки Рассказчика указывает на наличие значительного числа возможностей для индивидуального варьирования — встает вопрос: о чем говорят те случаи, когда Рассказчик мог бы и не переводить взгляд на руки Пересказчика, а тем не менее переводит?

Оказалось, что при одинаковых исходных условиях Рассказчик № 23 минимально смотрит на жестикулирующие руки на протяжении всей коммуникации; внимание Рассказчика № 04 привлечено к рукам только на этапе пересказа, а внимание Рассказчика № 06 — на обоих этапах разговора и пересказа. Как мы полагаем, данные различия не могут быть объяснены предлагаемыми ранее факторами, а являются следствием действия различных закономерностей распределения зрительного внимания участников коммуникации.

Что касается стилей окуломоторной активности Рассказчиков при взгляде на руки собеседника, то у Рассказчика № 23 никаких устойчивых паттернов не выявлено, Рассказчик № 06 регулярно демонстрирует три разных паттерна восприятия жестикуляции, харак-
терныхпри отслеживании жестикуляции как говорящего собеседника, так и молчащего. Наконец, Рассказчик № 04 использует только один из выявленных паттернов, однако чередование взглядов на лицо и руки собеседника происходит у него не так регулярно.

В будущем данное исследование будет продолжено с использованием большего числа записей, а также при рассмотрении окуломоторной активности не только Рассказчиков, но и Пересказчиков.

 

       Финансирование

Работа выполнена при финансовой поддержке РНФ, грант №14-18-03819 «Язык как он есть: русский мультимодальный дискурс».

      Благодарности

Авторы выражают благодарность всем участникам этого проекта, и в первую очередь его руководителю А.А. Кибрику, а также анонимному рецензенту, чьи замечания существенно помогли при доработке статьи.

1. Барабанщиков В.А. Восприятие выражений лица. М.: Изд-во ИП РАН, 2009. 448.
2. Барабанщиков В.А., Жегалло А.В. Распознавание экспрессий лица в ближней периферии зрительного поля // Экспериментальная психология, 2013. Т. 6. № 2. С. 58—83.
3. Кибрик А.А. Мультимодальная лингвистика // Когнитивные исследования, 2010. Вып. IV. С. 134—152.
4. Кибрик А.А. Просодические портреты говорящих // Кибрик А.А., Подлесская В.И. (ред.). Рассказы о сновидениях: корпусное исследование устного русского дискурса. М.: ЯСК, 2009. С. 478—487.
5. Кибрик А.А. Русский мультиканальный дискурс. Ч. I. Постановка проблемы // Психологический журнал. 2018а, Т. 39 (1). С. 70—80.
6. Кибрик А.А. Русский мультиканальный дискурс. Часть II. Разработка корпуса и направления исследований // Психологический журнал. 2018б. Т. 39 (2) С. 78—89.
7. Кибрик А.А., Подлесская В.И. (ред.). Рассказы о сновидениях: корпусное исследование устного русского дискурса. М.: ЯСК, 2009 735 с..
8. Кодзасов С. В. Исследования в области русской просодии. М.: ЯСК. 2009. 496 с.
9. Литвиненко А.О., Николаева Ю.В., Кибрик А.А. Аннотирование русских мануальных жестов: теоретические и практические вопросы // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог 2017», М., 2017. С. 271—286.
10. Федорова О.В., Кибрик А.А., Коротаев Н.А., Литвиненко А.О., Николаева Ю.В. Временная координация между жестовыми и речевыми единицами в мультимодальной коммуникации // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции Диалог (Москва, 1—4 июня 2016 г.). Вып. 15 (22). М.: Изд-во РГГУ, 2016. С. 159—170.
11. Федорова О.В. Распределение зрительного внимания собеседников в естественной коммуникации: 50 лет спустя // Е.В. Печенкова, М.В. Фаликман (ред.) Когнитивная наука в Москве: новые исследования. Материалы конференции 15 июня 2017 г. М.: БукиВеди, ИППиП, 2017. С. 370—375.
12. Языков С.А., Федорова О.В., Филимонова И.В., Потанина Ю.Д., Погодаев И.С. Исследование направления взора в диалоге на материале мультимодального корпуса «Рассказы и разговоры о грушах» // Седьмая международная конференция по когнитивной науке: Тезисы докладов. Светлогорск, 20—24 июня 2016 г. М.: Изд-во Институт психологии РАН, 2016. С. 682—683.
13. Abuczki A., Esfandiari B.G.An overview of multimodal corpora, annotation tools and schemes // Argumentum. 2013. Vol. 9. P. 86—98.
14. Beattie G., Webster K., Ross J. The fixation and processing of the iconic gestures that accompany talk // Journal of Language and Social Psychology. 2010. Vol. 29. P. 194—213.
15. Brône G., Oben B. InSight Interaction. A multimodal and multifocal dialogue corpus // Language Resources and Evaluation. 2015. Vol. 49 (1). P. 195—214.
16. Carletta J. Announcing the AMI Meeting Corpus // The ELRA Newsletter. 2003. Vol. 11 (1), January— March. P. 3—5.
17. Chafe W. (Ed.). The pear stories: Cognitive, cultural, and linguistic aspects of narrative production. Norwood, 1980.
18. Engbert R. Microsaccades: A microcosm for research on oculomotor control, attention, and visual perception // Progress in Brain Research. 2006. Vol. 154. P. 177—192.
19. Foster M.E., Oberlander J.Corpus-based generation of head and eyebrow motion for an embodied conversational agent // Language Resources and Evaluation. 2007. Vol. 41 (3/4). P. 305—323.
20. Gullberg M. Gestures, referents, and anaphoric linkage in learner varieties // C. Dimroth, M. Starren (Eds.) Information Structure, Linguistic Structure and the Dynamics of Language Acquisition. Amsterdam: John Benjamins, 2003. P. 311—328.
21. Gullberg M., Holmqvist K. Keeping an eye on gestures: Visual perception of gestures in face-to-face communication // Pragmatics and Cognition. 1999. Vol. 7. P. 35—63.
22. Gullberg M., Holmqvist K. Visual attention towards gestures in face-to-face interaction vs. on screen // I. Wachsmuth and T. Sowa (Eds.) Gesture and Sign Language in Human—Computer Interaction. Berlin Heidelberg: Springer, 2002. P. 206—214.
23. Gullberg M., Holmqvist K. What speakers do and what addressees look at: Visual attention to gestures in human interaction live and on video // Pragmatics & Cognition. 2006. Vol. 14 (1). P. 53—82.
24. Gullberg M., Kita S. Attention to speech-accompanying gestures: Eye movements and information uptake // Journal of Nonverbal Behavior. 2009. Vol. 33. P. 251—277.
25. Holler J., Kendrick K.H. Unaddressed participants’ gaze in multi-person interaction: Optimizing recipiency // Frontiers in Psychology. 2015. Vol. 6(98).
26. Hostetter A.B. When do gestures communicate? A meta-analysis // Psychological Bulletin. 2001. Vol. 137 (2). P. 297—315.
27. Jacob R., Karn K. Eye tracking in human-computer interaction and usability research: Ready to deliver the promises // R. Radach, J. Hyona, H. Deubel (Eds.). The mind’seye: Cognitive and applied aspects of eye movement research. Oxford: Elsevier Science, 2003.
28. Jokinen K. Turn taking, Utterance Density, and Gaze Patterns as Cues to Conversational Activity // Proceedings of The International Conference on Multimodal Interaction. Alicante, Spain, 2011.
29. Kendon A. Some functions of gaze direction in social interaction // Acta Psychologica. 1967. Vol. 26. P. 22—63.
30. Kendon A. Gesture. Visible action as utterance. Cambridge, 2004.
31. Kita S. How representational gestures help speaking // Language and gesture / D. McNeill (ed.). Cambridge University Press; Cambridge, UK, 2000. P. 162—185.
32. Kita S., Ozyurek A. What does cross-linguistic variation in semantic coordination of speech and gesture reveal?: evidence for an interface representation of spatial thinking and speaking // Journal of Memory and Language. 2003. Vol. 48 (1). P. 16—32.
33. Knight D. Multimodality and active listenership: A corpus approach. Bloomsbury, London, 2011.
34. Krauss R.M., Chen Y., Gottesman R. Lexical gestures and lexical access: A process model // Language and gesture / D. McNeill D (ed.). Cambridge University Press, Cambridge, UK, 2000. P. 261—283.
35. McNeill D. Hand and Mind: What Gestures Reveal about Thought. The University of Chicago Press, Chicago, 1992.
36. McNeill D. Gesture and thought. Chicago, 2005.
37. Mol L., Krahmer E., Maes A., Swerts M. Seeing and being seen: The effects on gesture production // Journal of Computer-Mediated Communication. 2011. Vol. 17. P. 77—100.
38. Mondada L.Challenges of multimodality: Language and the body in social interaction // Journal of sociolinguistics. 2016. Vol. 20. P. 336—366.
39. Müller C., Fricke E., Cienki A., McNeill D. (Eds.). Body — Language — Communication. Mouton de Gruyter, Berlin, 2014.
40. Scollon R. Multimodality and the language of politics // Encyclopedia of language and linguistics. Vol. 9 / K. Brown (Ed.). Amsterdam: Elsevier, 2006. P. 386—387.
41. Smith D.T., Schenk T. The premotor theory of attention: time to move on? // Neuropsychologia. 2012. Vol. 50. P. 1104—1114.
42. Taylor M. The Structure of Multimodal Dialogue. Elsevier, 1989.
43. Vertegaal R., Slagter R., Van der Veer G., Nijholt A. Eye gaze patterns in conversations: There is more to conversational agents than meets the eyes // Proceedings of the Conference on Human Factors in Computing Systems, 2001.

PlumX

Метрики публикации