Коммуникативные взаимодействия: аналитический обзор

В течение многих лет различные аспекты коммуникативного взаимодействия были предметом концептуального и эвристического рассмотрения в рамках психологических и социальных наук. Около десяти лет назад началось исследование коммуникативных взаимодействий с помощью методов экспериментальных нейронаук. Представлен аналитический обзор психофизических и нейрофизиологических исследований в области анализа и определения основных феноменов коммуникативного взаимодействия и рассмотрения методологических основ изучения данного предмета социальной психологии. Рассмотрены основные направления и перспективы исследований коммуникативных взаимодействий с помощью методов экспериментальных нейронаук и математического моделирования.

Введение

В исследованиях коммуникативных взаимодействий с помощью методов экспериментальных нейронаук накоплено большое разнообразие феноменов (рис. 1), однако основные положения описывающих их концепций нередко вступают в противоречие друг с другом.

Кубики 1—5 на рис. 1 отражают количество исследований, выполненных в рамках различных экспериментальных подходов. Например, кубик 2 представляет исследования, в которых использованы парадигмы, позволяющие участнику теста оказывать прямое влияние на стимульный материал. Кубик 3 представляет исследования, в которых регистрируются данные от двух участников теста, взаимодействующих в рамках структурированной задачи (например, в игровой парадигме). Кубики 4 и 5 представляют исследования, направленные на изучение экологически валидных взаимодействий в реальном времени. Интенсивность серого в кубиках отражает степень изученности проблемы. Наименее изученная проблема маркирована черным (кубик 5).

Типы комммуникативных взаимодействий

В исследованиях в области коммуникативных взаимодействий с помощью методов нейронаук используются различные экспериментальные парадигмы (рис. 2).

Модифицированный Fig. 1 из статьи Nummenmaa et al. (2018): а — независимые параллельно действующие субъекты; б — субъекты, синхронизуемые общим сенсорным потоком; в — однонаправленная синхронизация фронтального типа от ведущего к ведомому; г — динамическое взаимодействие, когда ведущий и ведомый оказывают взаимное влияние друг на друга; д — множественное взаимодействие в группе, когда субъекты взаимозависимы.

Рис. 1. Ландшафт исследований в области коммуникативных взаимодействий. Модифицированный Fig. 2 из работы Schilbach et al. (2013)

Рис. 2. Типы коммуникативных взаимодействий

Методы исследования коммуникативных взаимодействий

В исследованиях коммуникативных взаимодействий применяются множество методов (рис. 3), в частности: регистрация поведенческой активности, регистрация глазных движений, гипер-сканирование активности мозга (одновременное отведение у двух или более индивидуалов в процессе проведения тестов) при регистрации ЭЭГ или фМРТ), оценка динамики реакций вегетативной нервной системы по гальваническому потенциалу кожи, частоте сердечных сокращений и ее вариабельности, определение эмоционального состояния и индивидуальных характеристик взаимодействующих участников теста [5; 7; 9—12; 14].

Одновременная регистрация глазных движений у двух участников тестовой пробы в сочетании с другими методами используется в большинстве когнитивных исследований [7; 11; 14; 20; 25]. Приоритет регистрации глазных движений определяется тем, что при решении коммуникативных задач область лица и прежде всего область глаз притягивают взгляд [25]. Обнаружено, что психофизиологические реакции при зрительном контакте более выражены при предъявлении подвижного изображения реального лица, а не его статического портрета [26]. Вместе с тем при предъявлении статических изображений лиц, ранее осмотренных на видео, взгляд осматривающего чаще притягивается к персоне в фронтальной позиции, чем к лицу с повернутым взглядом [26]. Авторы интерпретируют этот факт в пользу участия механизмов долговременной памяти. Описан большой спектр феноменов синхронизации активности мозга участников тестовых проб [7; 9; 25; 28] В некоторых исследованиях [14] проводилось ЭЭГ-гиперсканирование у двух участников эксперимента без прямого контакта их взгляда, в частности в случае удаленного разговора. При этом детектируется фазовая синхронизация ЭЭГ в различных полосах частот и между различными областями мозга.

Рис. 3. Методы исследования коммуникативных взаимодействий. Fig. 3 из работы Pfeiffer et al. (2013)

Рассмотрим результаты исследовательских работ, наиболее перспективных с точки зрения изучаемых феноменов и используемых методов. В работе [28] предложен количественный критерий для оценки зрительно-моторной координации участников эксперимента, а именно, индекс синхронности позиций взгляда и кончика указательного пальца. Во время поведенческого теста у двух участников одновременно регистрировались также эмоциональные реакции и ЭЭГ (рис. 4). Обнаружено, что синхронность движений кончика указательного пальца и мозговой активности у двух участников возрастает после кооперативного взаимодействия. Авторы предполагают, что динамика синхронизации движений тела во время взаимодействия участников эксперимента может быть измеримой основой для количественной оценки социального взаимодействия. Интересен также метод рекуррентного квантованного анализа глазных движений, разработанный в [1], который позволяет осуществить количественную оценку динамики зрительного внимания с помощью вычисления расположения и количества возвратных фиксаций взгляда. В работе [7] получены убедительные данные об индивидуальной вариабельности длительности осмотра областей глаз в процессе разговора двух участников эксперимента. Причем, несмотря на инструкцию игнорировать зону глаз, взгляд осматривающего фокусировался именно на этой зоне.

Рис. 4. Экспериментальная установка и результаты выполнения заданий обследуемыми. Модифицированный Fig 1 из работы Yun et al. (2012): а — схема обучения до проведения основных тестовых проб; б — схема основных экспериментов; в — анализ результатов обучения

Во многих исследованиях обнаружены выраженные эмоциональные реакции обследуемых, вовлеченных в просмотр эмоционально насыщенных видеоклипов [5; 10; 12; 21; 24]. Для оценки эмоционального состояния участников эксперимента используются несколько методов, в частности отчет тестируемых, фиксация выражения лица и вегетативных реакций автономной нервной системы. Кроме того, когда условия коммуникативного взаимодействия, в том числе совместный просмотр статических или динамических изображений, сопровождаются сильными эмоциями, активность ЭЭГ участников становится более синхронизованной [19]. В дополнение к этому, когда просматриваются статические и динамические изображения, эмоционально значимые фрагменты, особенно лица и глаза, первично притягивают взгляд, что было установлено по латентному периоду и длительности первых фиксаций.

Значительные различия между обследуемыми в параметрах глазных движений обнаружены во время взаимодействия или просмотра статических и динамических сцен [15; 21]. В частности, очевидные межиндивидуальные различия в предпочтении областей лиц (глаза или рот) для фиксаций взгляда обнаружены в процессе разговора. Наряду с феноменом, обнаруженным в работе [21], еще одним индивидуализирующим фактором является тип траекторий осмотра [16; 17], который позволяет оценить вклад доминирующего типа зрительного внимания (фокального или пространственно-распределенного) у конкретного тестируемого в процесс осуществляемых им коммуникативных взаимодействий.

В нескольких исследованиях были разработаны математические модели феноменов коммуникативного взаимодействия (2; 3; 6; 13; 29). Большинство этих моделей оперируют стандартными нейросетевыми методами, такими как обучение с подкреплением, глубокие нейронные сети, каскадные и параллельные сверточные рекуррентные нейронные сети, и не используют методы формализации экспериментальных данных, касающиеся регистрации глазных движений и фиксации эмоций при решении коммуникативных задач. Очевидно, что комплексный нейроинформационный подход, включающий формализацию количественных экспериментальных данных, разработку реалистических моделей, проведение компьютерных экспериментов на моделях и верификацию модельных предположений в направленных экспериментах, может быть использован при решении проблем коммуникативных взаимодействий. Этот подход был использован нами ранее (в экспериментах на изолированных испытуемых — one-person paradigm) и позволил получить ряд принципиально новых экспериментальных данных [17; 22; 23].

Заключение

Несмотря на широкий диапазон исследований, механизмы и функциональная роль синхронизации активности мозга участников эксперимента, вовлеченных в совместное решение коммуникативных задач, остаются предметом для разработки различных гипотез, не верифицированных однозначно в экспериментальном методе и процедуре. Одна из гипотез состоит в том, что системы «зеркальных» сенсорных и моторных нейронных систем непосредственно вовлечены в регуляцию синхронизации поведения и активности мозга взаимодействующих участников экспериментов [25].

Принимая во внимание широкое разнообразие подходов, методов и результатов, полученных в области second-person neuroscience, следующие задачи могут быть определены как приоритетные для будущих исследований коммуникативных взаимодействий:

1) унификация методов экспериментальных исследований;

2) поиск количественных параметров синхронности поведенческих действий и активности мозга взаимодействующих субъектов;

3) прямое сравнение специфических особенностей реагирования участников эксперимента в условиях просмотра эмоционально насыщенных видеоклипов как метода, применяемого в условиях one-person и two-person парадигм;

4) поиск критериев для избирательной оценки вклада в наблюдаемые феномены bottom-up и top-down механизмов зрительного внимания.

1. Anderson N., Bischof W., Laidlaw W., Risko E. Kingstone A. Recurrence quantification analysis of eye movements // Behavior research methods. 2013. Vol. 45. № 3. P. 842—856. DOI 10.3758/s13428-012- 0299-5
2. Botvinick M., Ritter S., Wang J., Kurth-Nelson Z., Blundell C., Hassabis D. Reinforcement learning, fast and slow // Trends in Cognitive Sciences. 2019. Vol. 23. № 5. P. 408—422. DOI /10.1016/j.tics.2019.02.006
3. Cichy R., Kaiser D. Deep neural networks as scientific models // Trends in Cognitive Sciences. 2019. Vol. 23. № 4. P. 305—317. DOI 10.1016/j.tics.2019.01.009
4. García A., Ibáñez A. Two-person neuroscience and naturalistic social communication: the role of language and linguistic variables in brain-coupling research // Frontiers in psychiatry. 2014. Vol. 5. P. 124. DOI 10.3389/fpsyt.2014.00124
5. Golland Y., Arzouan Y., Levit-Binnun N. The mere co-presence: synchronization of autonomic signals and emotional responses across co-present individuals not engaged in direct interaction // PLoS ONE. 2015. Vol. 10. № 5. P. e0125804. DOI 10.1371/journal.pone.0125804.g001
6. Gunkel D.J. Computational interpersonal communication: communication studies and spoken dialogue systems // Communication+1. 2016. Vol. 5. № 1. P. 1—20. DOI 10.7275/R5VH5KSQ
7. Hari R., Himberg T., Nummenmaa L., Hämäläinen M., Parkkonen L. Synchrony of brains and bodies during implicit interpersonal interaction // Trends in cognitive sciences. 2013. Vol. 17. № 3. P. 105—106. DOI 10.1016/j.tics.2013.01.003
8. Kharitonov A., Zhegallo A., Ananyeva K., Kurakova O. Registering eye movements in collaborative tasks: methodological problems and solutions // Perception ECVP abstract. 2012. Vol. 41. P. 104—105.
9. Liu D., Liu Sh., Liu X., Zhang Ch., Li A., Jin Ch., Chen Y., Wang H., Zhang X. Interactive brain activity: review and progress on EEG-based hyperscanning in social interactions // Frontiers in psychology. 2018. Vol. 9. P. 1862. DOI 10.3389/fpsyg.2018.01862
10. Lyyra P., Myllyneva A., Hietanen J.K. Mentalizing eye contact with a face on a video: gaze direction does not influence autonomic arousal // Scandinavian journal of psychology. 2018. Vol. 59. № 4. P. 360—367. DOI 10.1111/sjop.12452
11. Macdonald R.G., Tatler B.W. Gaze in a real-world social interaction: a dual eye-tracking study // Quarterly Journal of Experimental Psychology. 2018. Vol. 71. № 10. P. 2162—2173. DOI 10.1177/1747021817739221
12. Nummenmaa L., Glerean E., Viinikainen M., Jääskeläinen I.P., Hari R., Sams M. Emotions promote social interaction by synchronizing brain activity across individuals // Proceedings of the National Academy of Sciences. 2012. Vol. 109. №. 24. P. 9599—9604. DOI 10.1073/pnas.1206095109
13. Petukhov A., Polevaya S. Modeling of communicative individual interactions through the theory of information images // Current psychology. 2017. Vol. 36. № 3. P. 428—433. DOI 10.1007/s12144-016- 9431-5
14. Pfeiffer U.J., Vogeley K., Schilbach L. From gaze cueing to dual eye-tracking: novel approaches to investigate the neural correlates of gaze in social interaction // Neuroscience and Biobehavioral Reviews. 2013. Vol. 37. № 10. P. 2516—2528. DOI 10.1016/j.neubiorev.2013.07.017
15. Podladchikova L.N., Koltunova T.I., Shaposhnikov D.G., Lomakina O.V. Individual features of viewing emotionally significant images // Neuroscience and Behavioral Physiology. 2017. Vol. 47. № 8. P. 941—947. DOI 10.1007/s11055-017-0495-y
16. Podladchikova L.N., Shaposhnikov D.G., Koltunova T.I. Spatial and temporal properties of gaze return fixations while viewing affective images // Russian Journal of Physiology. 2018. Vol. 104. № 2. P. 245—254 (In Russian).
17. Podladchikova L.N., Shaposhnikov D.G., Kozubenko E.A. Towards neuroinformatic approach for second-person neuroscience // Advances in Neural Computation, Machine Learning, and Cognitive Research 2020. IV. P. 143—148. DOI 10.1007/978-3-030-60577-3_16
18. Privitera C. M., Stark L. W. Scanpath Theory, attention, and image processing algorithms for predicting human eye fixations // Neurobiology of Attention. 2005. P. 296—299. DOI 10.1016/B978-012375731- 9/50052-5.
19. Redcay E., Schilbach L. Using second-person neuroscience to elucidate the mechanisms of social interaction // Nature Reviews Neuroscience. 2019. Vol. 20. № 8. P. 495—505. DOI 10.1038/s41583-019-0179-4
20. Rogers S.L., Speelman C.P., Guidetti O., Longmuir M. Using dual eye tracking to uncover personal gaze patterns during social interaction // Scientific reports. 2018. Vol. 8. № 1. P. 1—9. DOI 10.1038/s41598- 018-22726-7
21. Rubo M., Gamer M. Social content and emotional valence modulate gaze fixations in dynamic scenes // Scientific reports. 2018. Vol. 8. № 1. P. 1—11. DOI 10.1038/s41598-018-22127-w
22. Samarin A., Koltunova T., Osinov V., Shaposhnikov D., Podladchikova L. Scanpaths of complex image viewing: insights from experimental and modeling studies // Perception. 2015. Vol. 44. № 8—9. P.1064— 1076. DOI 10.1177/0301006615596872
23. Samarin A.I., Podladchikova L. N., Petrushan M. V., Shaposhnikov D. G. Active vision: from theory to application // Optical Memory and Neural Networks. 2019. Vol. 28. № 3. P. 185—191. DOI 10.3103/ S1060992X19030068
24. Scheller E., Büchel C., Gamer M. Diagnostic features of emotional expressions are processed preferentially // PLoS ONE. 2012. Vol. 7. № 7. P. e41792. DOI 10.1371/journal.pone.0041792
25. Schilbach L., Timmermans B., Reddy V., Costall A., Bente G., Schlicht T., Vogeley K. Toward a second-person neuroscience // Behavioral and brain sciences. 2013. Vol. 36. № 4. P. 393—414. DOI 10.1017/ S0140525X12000660
26. Smith T.J., Mital P.K. Attentional synchrony and the influence of viewing task on gaze behavior in static and dynamic scenes // Journal of vision. 2013. Vol. 13. № 8. P. 16—16. DOI 10.1167/13.8.16
27. Yarbus A. L. Eye movements and vision. Springer, Boston, MA, 1967. С. 171—211. DOI 10.1007/978- 1-4899-5379-7
28. Yun K., Watanabe K., Shimojo Sh. Interpersonal body and neural synchronization as a marker of implicit social interaction // Scientific reports. 2012. Vol. 2. P. 959. DOI 10.1038/srep00959
29. Zhang D., Yao L., Zhang X, Wang S., Chen W., Boots R. Cascade and parallel convolutional recurrent neural networks on eeg-based intention recognition for brain computer interface // AAAI. 2018. P. 1703— 1710. DOI https://doi.org/10.48550/arXiv.1708.06578

PlumX

Метрики публикации