Экспериментальная психология
2019. Том 12. № 1. С. 98–118
doi:10.17759/exppsy.2019120108
ISSN: 2072-7593 / 2311-7036 (online)
Следи за руками собеседника! (о стратегиях распределения зрительного внимания)
Аннотация
Общая информация
Ключевые слова: мультиканальная лингвистика, естественноязыковое общение, зрительное внимание, жестикуляция
Рубрика издания: Психолингвистика
Тип материала: научная статья
DOI: https://doi.org/10.17759/exppsy.2019120108
Финансирование. Работа выполнена при финансовой поддержке РНФ, грант №14-18-03819 «Язык как он есть: русский мультимодальный дискурс».
Благодарности. Авторы выражают благодарность всем участникам этого проекта, и в первую очередь его руководителю А.А. Кибрику, а также анонимному рецензенту, чьи замечания существенно помогли при доработке статьи.
Для цитаты: Фёдорова О.В., Жердев И.Ю. Следи за руками собеседника! (о стратегиях распределения зрительного внимания) // Экспериментальная психология. 2019. Том 12. № 1. С. 98–118. DOI: 10.17759/exppsy.2019120108
Фрагмент статьи
Мультиканальная (мультимодальная) лингвистика — новая перспективная область исследований, формирующаяся в последние годы быстрыми темпами. В течение большей части ХХ в. по разным объективным и субъективным причинам лингвистика занималась анализом исключительно письменных текстов, оставляя в стороне устную коммуникацию; при таком подходе исследовалась только вербальная составляющая дискурса, т. е. отдельные морфемы, слова, словосочетания и предложения.
Литература
-
Барабанщиков В.А. Восприятие выражений лица. М.: Изд-во ИП РАН, 2009. 448.
-
Барабанщиков В.А., Жегалло А.В. Распознавание экспрессий лица в ближней периферии зрительного поля // Экспериментальная психология, 2013. Т. 6. № 2. С. 58—83.
-
Кибрик А.А. Мультимодальная лингвистика // Когнитивные исследования, 2010. Вып. IV. С. 134—152.
-
Кибрик А.А. Просодические портреты говорящих // Кибрик А.А., Подлесская В.И. (ред.). Рассказы о сновидениях: корпусное исследование устного русского дискурса. М.: ЯСК, 2009. С. 478—487.
-
Кибрик А.А. Русский мультиканальный дискурс. Ч. I. Постановка проблемы // Психологический журнал. 2018а, Т. 39 (1). С. 70—80.
-
Кибрик А.А. Русский мультиканальный дискурс. Часть II. Разработка корпуса и направления исследований // Психологический журнал. 2018б. Т. 39 (2) С. 78—89.
-
Кибрик А.А., Подлесская В.И. (ред.). Рассказы о сновидениях: корпусное исследование устного русского дискурса. М.: ЯСК, 2009 735 с..
-
Кодзасов С. В. Исследования в области русской просодии. М.: ЯСК. 2009. 496 с.
-
Литвиненко А.О., Николаева Ю.В., Кибрик А.А. Аннотирование русских мануальных жестов: теоретические и практические вопросы // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог 2017», М., 2017. С. 271—286.
-
Федорова О.В., Кибрик А.А., Коротаев Н.А., Литвиненко А.О., Николаева Ю.В. Временная координация между жестовыми и речевыми единицами в мультимодальной коммуникации // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции Диалог (Москва, 1—4 июня 2016 г.). Вып. 15 (22). М.: Изд-во РГГУ, 2016. С. 159—170.
-
Федорова О.В. Распределение зрительного внимания собеседников в естественной коммуникации: 50 лет спустя // Е.В. Печенкова, М.В. Фаликман (ред.) Когнитивная наука в Москве: новые исследования. Материалы конференции 15 июня 2017 г. М.: БукиВеди, ИППиП, 2017. С. 370—375.
-
Языков С.А., Федорова О.В., Филимонова И.В., Потанина Ю.Д., Погодаев И.С. Исследование направления взора в диалоге на материале мультимодального корпуса «Рассказы и разговоры о грушах» // Седьмая международная конференция по когнитивной науке: Тезисы докладов. Светлогорск, 20—24 июня 2016 г. М.: Изд-во Институт психологии РАН, 2016. С. 682—683.
-
Abuczki A., Esfandiari B.G.An overview of multimodal corpora, annotation tools and schemes // Argumentum. 2013. Vol. 9. P. 86—98.
-
Beattie G., Webster K., Ross J. The fixation and processing of the iconic gestures that accompany talk // Journal of Language and Social Psychology. 2010. Vol. 29. P. 194—213.
-
Brône G., Oben B. InSight Interaction. A multimodal and multifocal dialogue corpus // Language Resources and Evaluation. 2015. Vol. 49 (1). P. 195—214.
-
Carletta J. Announcing the AMI Meeting Corpus // The ELRA Newsletter. 2003. Vol. 11 (1), January— March. P. 3—5.
-
Chafe W. (Ed.). The pear stories: Cognitive, cultural, and linguistic aspects of narrative production. Norwood, 1980.
-
Engbert R. Microsaccades: A microcosm for research on oculomotor control, attention, and visual perception // Progress in Brain Research. 2006. Vol. 154. P. 177—192.
-
Foster M.E., Oberlander J.Corpus-based generation of head and eyebrow motion for an embodied conversational agent // Language Resources and Evaluation. 2007. Vol. 41 (3/4). P. 305—323.
-
Gullberg M. Gestures, referents, and anaphoric linkage in learner varieties // C. Dimroth, M. Starren (Eds.) Information Structure, Linguistic Structure and the Dynamics of Language Acquisition. Amsterdam: John Benjamins, 2003. P. 311—328.
-
Gullberg M., Holmqvist K. Keeping an eye on gestures: Visual perception of gestures in face-to-face communication // Pragmatics and Cognition. 1999. Vol. 7. P. 35—63.
-
Gullberg M., Holmqvist K. Visual attention towards gestures in face-to-face interaction vs. on screen // I. Wachsmuth and T. Sowa (Eds.) Gesture and Sign Language in Human—Computer Interaction. Berlin Heidelberg: Springer, 2002. P. 206—214.
-
Gullberg M., Holmqvist K. What speakers do and what addressees look at: Visual attention to gestures in human interaction live and on video // Pragmatics & Cognition. 2006. Vol. 14 (1). P. 53—82.
-
Gullberg M., Kita S. Attention to speech-accompanying gestures: Eye movements and information uptake // Journal of Nonverbal Behavior. 2009. Vol. 33. P. 251—277.
-
Holler J., Kendrick K.H. Unaddressed participants’ gaze in multi-person interaction: Optimizing recipiency // Frontiers in Psychology. 2015. Vol. 6(98).
-
Hostetter A.B. When do gestures communicate? A meta-analysis // Psychological Bulletin. 2001. Vol. 137 (2). P. 297—315.
-
Jacob R., Karn K. Eye tracking in human-computer interaction and usability research: Ready to deliver the promises // R. Radach, J. Hyona, H. Deubel (Eds.). The mind’seye: Cognitive and applied aspects of eye movement research. Oxford: Elsevier Science, 2003.
-
Jokinen K. Turn taking, Utterance Density, and Gaze Patterns as Cues to Conversational Activity // Proceedings of The International Conference on Multimodal Interaction. Alicante, Spain, 2011.
-
Kendon A. Some functions of gaze direction in social interaction // Acta Psychologica. 1967. Vol. 26. P. 22—63.
-
Kendon A. Gesture. Visible action as utterance. Cambridge, 2004.
-
Kita S. How representational gestures help speaking // Language and gesture / D. McNeill (ed.). Cambridge University Press; Cambridge, UK, 2000. P. 162—185.
-
Kita S., Ozyurek A. What does cross-linguistic variation in semantic coordination of speech and gesture reveal?: evidence for an interface representation of spatial thinking and speaking // Journal of Memory and Language. 2003. Vol. 48 (1). P. 16—32.
-
Knight D. Multimodality and active listenership: A corpus approach. Bloomsbury, London, 2011.
-
Krauss R.M., Chen Y., Gottesman R. Lexical gestures and lexical access: A process model // Language and gesture / D. McNeill D (ed.). Cambridge University Press, Cambridge, UK, 2000. P. 261—283.
-
McNeill D. Hand and Mind: What Gestures Reveal about Thought. The University of Chicago Press, Chicago, 1992.
-
McNeill D. Gesture and thought. Chicago, 2005.
-
Mol L., Krahmer E., Maes A., Swerts M. Seeing and being seen: The effects on gesture production // Journal of Computer-Mediated Communication. 2011. Vol. 17. P. 77—100.
-
Mondada L.Challenges of multimodality: Language and the body in social interaction // Journal of sociolinguistics. 2016. Vol. 20. P. 336—366.
-
Müller C., Fricke E., Cienki A., McNeill D. (Eds.). Body — Language — Communication. Mouton de Gruyter, Berlin, 2014.
-
Scollon R. Multimodality and the language of politics // Encyclopedia of language and linguistics. Vol. 9 / K. Brown (Ed.). Amsterdam: Elsevier, 2006. P. 386—387.
-
Smith D.T., Schenk T. The premotor theory of attention: time to move on? // Neuropsychologia. 2012. Vol. 50. P. 1104—1114.
-
Taylor M. The Structure of Multimodal Dialogue. Elsevier, 1989.
-
Vertegaal R., Slagter R., Van der Veer G., Nijholt A. Eye gaze patterns in conversations: There is more to conversational agents than meets the eyes // Proceedings of the Conference on Human Factors in Computing Systems, 2001.
Информация об авторах
Метрики
Просмотров
Всего: 2341
В прошлом месяце: 14
В текущем месяце: 5
Скачиваний
Всего: 1067
В прошлом месяце: 4
В текущем месяце: 0