Следи за руками собеседника! (о стратегиях распределения зрительного внимания)

1067

Аннотация

Настоящая работа вносит вклад в развитие мультиканальной лингвистики — нового направления, исследующего взаимодействие многочисленных каналов передачи информации между собеседниками, в том числе вербальных единиц, просодии, жестов, мимики, направления взора. Исследование выполнено на материале русскоязычного мультиканального корпуса «Рассказы и разговоры о грушах», собранного при помощи современного оборудования, включающего промышленные видеокамеры и очки-айтрекеры для регистрации движений глаз. На основании количественных и качественных результатов исследования описываются закономерности распределении зрительного внимания Рассказчика в ситуации восприятия информации от двух жестикулирующих собеседников, а также различные стили окуломоторной активности Рассказчика.

Общая информация

Ключевые слова: мультиканальная лингвистика, естественноязыковое общение, зрительное внимание, жестикуляция

Рубрика издания: Психолингвистика

Тип материала: научная статья

DOI: https://doi.org/10.17759/exppsy.2019120108

Финансирование. Работа выполнена при финансовой поддержке РНФ, грант №14-18-03819 «Язык как он есть: русский мультимодальный дискурс».

Благодарности. Авторы выражают благодарность всем участникам этого проекта, и в первую очередь его руководителю А.А. Кибрику, а также анонимному рецензенту, чьи замечания существенно помогли при доработке статьи.

Для цитаты: Фёдорова О.В., Жердев И.Ю. Следи за руками собеседника! (о стратегиях распределения зрительного внимания) // Экспериментальная психология. 2019. Том 12. № 1. С. 98–118. DOI: 10.17759/exppsy.2019120108

Фрагмент статьи

Мультиканальная (мультимодальная) лингвистика — новая перспективная область исследований, формирующаяся в последние годы быстрыми темпами. В течение большей части ХХ в. по разным объективным и субъективным причинам лингвистика занималась анализом исключительно письменных текстов, оставляя в стороне устную коммуникацию; при таком подходе исследовалась только вербальная составляющая дискурса, т. е. отдельные морфемы, слова, словосочетания и предложения.

Литература

  1. Барабанщиков В.А. Восприятие выражений лица. М.: Изд-во ИП РАН, 2009. 448.
  2. Барабанщиков В.А., Жегалло А.В. Распознавание экспрессий лица в ближней периферии зрительного поля // Экспериментальная психология, 2013. Т. 6. № 2. С. 58—83.
  3. Кибрик А.А. Мультимодальная лингвистика // Когнитивные исследования, 2010. Вып. IV. С. 134—152.
  4. Кибрик А.А. Просодические портреты говорящих // Кибрик А.А., Подлесская В.И. (ред.). Рассказы о сновидениях: корпусное исследование устного русского дискурса. М.: ЯСК, 2009. С. 478—487.
  5. Кибрик А.А. Русский мультиканальный дискурс. Ч. I. Постановка проблемы // Психологический журнал. 2018а, Т. 39 (1). С. 70—80.
  6. Кибрик А.А. Русский мультиканальный дискурс. Часть II. Разработка корпуса и направления исследований // Психологический журнал. 2018б. Т. 39 (2) С. 78—89.
  7. Кибрик А.А., Подлесская В.И. (ред.). Рассказы о сновидениях: корпусное исследование устного русского дискурса. М.: ЯСК, 2009 735 с..
  8. Кодзасов С. В. Исследования в области русской просодии. М.: ЯСК. 2009. 496 с.
  9. Литвиненко А.О., Николаева Ю.В., Кибрик А.А. Аннотирование русских мануальных жестов: теоретические и практические вопросы // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог 2017», М., 2017. С. 271—286.
  10. Федорова О.В., Кибрик А.А., Коротаев Н.А., Литвиненко А.О., Николаева Ю.В. Временная координация между жестовыми и речевыми единицами в мультимодальной коммуникации // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции Диалог (Москва, 1—4 июня 2016 г.). Вып. 15 (22). М.: Изд-во РГГУ, 2016. С. 159—170.
  11. Федорова О.В. Распределение зрительного внимания собеседников в естественной коммуникации: 50 лет спустя // Е.В. Печенкова, М.В. Фаликман (ред.) Когнитивная наука в Москве: новые исследования. Материалы конференции 15 июня 2017 г. М.: БукиВеди, ИППиП, 2017. С. 370—375.
  12. Языков С.А., Федорова О.В., Филимонова И.В., Потанина Ю.Д., Погодаев И.С. Исследование направления взора в диалоге на материале мультимодального корпуса «Рассказы и разговоры о грушах» // Седьмая международная конференция по когнитивной науке: Тезисы докладов. Светлогорск, 20—24 июня 2016 г. М.: Изд-во Институт психологии РАН, 2016. С. 682—683.
  13. Abuczki A., Esfandiari B.G.An overview of multimodal corpora, annotation tools and schemes // Argumentum. 2013. Vol. 9. P. 86—98.
  14. Beattie G., Webster K., Ross J. The fixation and processing of the iconic gestures that accompany talk // Journal of Language and Social Psychology. 2010. Vol. 29. P. 194—213.
  15. Brône G., Oben B. InSight Interaction. A multimodal and multifocal dialogue corpus // Language Resources and Evaluation. 2015. Vol. 49 (1). P. 195—214.
  16. Carletta J. Announcing the AMI Meeting Corpus // The ELRA Newsletter. 2003. Vol. 11 (1), January— March. P. 3—5.
  17. Chafe W. (Ed.). The pear stories: Cognitive, cultural, and linguistic aspects of narrative production. Norwood, 1980.
  18. Engbert R. Microsaccades: A microcosm for research on oculomotor control, attention, and visual perception // Progress in Brain Research. 2006. Vol. 154. P. 177—192.
  19. Foster M.E., Oberlander J.Corpus-based generation of head and eyebrow motion for an embodied conversational agent // Language Resources and Evaluation. 2007. Vol. 41 (3/4). P. 305—323.
  20. Gullberg M. Gestures, referents, and anaphoric linkage in learner varieties // C. Dimroth, M. Starren (Eds.) Information Structure, Linguistic Structure and the Dynamics of Language Acquisition. Amsterdam: John Benjamins, 2003. P. 311—328.
  21. Gullberg M., Holmqvist K. Keeping an eye on gestures: Visual perception of gestures in face-to-face communication // Pragmatics and Cognition. 1999. Vol. 7. P. 35—63.
  22. Gullberg M., Holmqvist K. Visual attention towards gestures in face-to-face interaction vs. on screen // I. Wachsmuth and T. Sowa (Eds.) Gesture and Sign Language in Human—Computer Interaction. Berlin Heidelberg: Springer, 2002. P. 206—214.
  23. Gullberg M., Holmqvist K. What speakers do and what addressees look at: Visual attention to gestures in human interaction live and on video // Pragmatics & Cognition. 2006. Vol. 14 (1). P. 53—82.
  24. Gullberg M., Kita S. Attention to speech-accompanying gestures: Eye movements and information uptake // Journal of Nonverbal Behavior. 2009. Vol. 33. P. 251—277.
  25. Holler J., Kendrick K.H. Unaddressed participants’ gaze in multi-person interaction: Optimizing recipiency // Frontiers in Psychology. 2015. Vol. 6(98).
  26. Hostetter A.B. When do gestures communicate? A meta-analysis // Psychological Bulletin. 2001. Vol. 137 (2). P. 297—315.
  27. Jacob R., Karn K. Eye tracking in human-computer interaction and usability research: Ready to deliver the promises // R. Radach, J. Hyona, H. Deubel (Eds.). The mind’seye: Cognitive and applied aspects of eye movement research. Oxford: Elsevier Science, 2003.
  28. Jokinen K. Turn taking, Utterance Density, and Gaze Patterns as Cues to Conversational Activity // Proceedings of The International Conference on Multimodal Interaction. Alicante, Spain, 2011.
  29. Kendon A. Some functions of gaze direction in social interaction // Acta Psychologica. 1967. Vol. 26. P. 22—63.
  30. Kendon A. Gesture. Visible action as utterance. Cambridge, 2004.
  31. Kita S. How representational gestures help speaking // Language and gesture / D. McNeill (ed.). Cambridge University Press; Cambridge, UK, 2000. P. 162—185.
  32. Kita S., Ozyurek A. What does cross-linguistic variation in semantic coordination of speech and gesture reveal?: evidence for an interface representation of spatial thinking and speaking // Journal of Memory and Language. 2003. Vol. 48 (1). P. 16—32.
  33. Knight D. Multimodality and active listenership: A corpus approach. Bloomsbury, London, 2011.
  34. Krauss R.M., Chen Y., Gottesman R. Lexical gestures and lexical access: A process model // Language and gesture / D. McNeill D (ed.). Cambridge University Press, Cambridge, UK, 2000. P. 261—283.
  35. McNeill D. Hand and Mind: What Gestures Reveal about Thought. The University of Chicago Press, Chicago, 1992.
  36. McNeill D. Gesture and thought. Chicago, 2005.
  37. Mol L., Krahmer E., Maes A., Swerts M. Seeing and being seen: The effects on gesture production // Journal of Computer-Mediated Communication. 2011. Vol. 17. P. 77—100.
  38. Mondada L.Challenges of multimodality: Language and the body in social interaction // Journal of sociolinguistics. 2016. Vol. 20. P. 336—366.
  39. Müller C., Fricke E., Cienki A., McNeill D. (Eds.). Body — Language — Communication. Mouton de Gruyter, Berlin, 2014.
  40. Scollon R. Multimodality and the language of politics // Encyclopedia of language and linguistics. Vol. 9 / K. Brown (Ed.). Amsterdam: Elsevier, 2006. P. 386—387.
  41. Smith D.T., Schenk T. The premotor theory of attention: time to move on? // Neuropsychologia. 2012. Vol. 50. P. 1104—1114.
  42. Taylor M. The Structure of Multimodal Dialogue. Elsevier, 1989.
  43. Vertegaal R., Slagter R., Van der Veer G., Nijholt A. Eye gaze patterns in conversations: There is more to conversational agents than meets the eyes // Proceedings of the Conference on Human Factors in Computing Systems, 2001.

Информация об авторах

Фёдорова Ольга Викторовна, доктор филологических наук, профессор кафедры теоретической и прикладной лингвистики филологического факультета, Московский государственный университет им. М.В. Ломоносова, ведущий научный сотрудник, Института языкознания РАН, Москва, Россия, e-mail: olga.fedorova@msu.ru

Жердев Иван Юрьевич, аффилированный сотрудник, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0001-6810-9297, e-mail: ivan866@mail.ru

Метрики

Просмотров

Всего: 2341
В прошлом месяце: 14
В текущем месяце: 5

Скачиваний

Всего: 1067
В прошлом месяце: 4
В текущем месяце: 0