Введение
В исследованиях коммуникативных взаимодействий с помощью методов экспериментальных нейронаук накоплено большое разнообразие феноменов (рис. 1), однако основные положения описывающих их концепций нередко вступают в противоречие друг с другом.
Кубики 1—5 на рис. 1 отражают количество исследований, выполненных в рамках различных экспериментальных подходов. Например, кубик 2 представляет исследования, в которых использованы парадигмы, позволяющие участнику теста оказывать прямое влияние на стимульный материал. Кубик 3 представляет исследования, в которых регистрируются данные от двух участников теста, взаимодействующих в рамках структурированной задачи (например, в игровой парадигме). Кубики 4 и 5 представляют исследования, направленные на изучение экологически валидных взаимодействий в реальном времени. Интенсивность серого в кубиках отражает степень изученности проблемы. Наименее изученная проблема маркирована черным (кубик 5).
Типы комммуникативных взаимодействий
В исследованиях в области коммуникативных взаимодействий с помощью методов нейронаук используются различные экспериментальные парадигмы (рис. 2).
Модифицированный Fig. 1 из статьи Nummenmaa et al. (2018): а — независимые параллельно действующие субъекты; б — субъекты, синхронизуемые общим сенсорным потоком; в — однонаправленная синхронизация фронтального типа от ведущего к ведомому; г — динамическое взаимодействие, когда ведущий и ведомый оказывают взаимное влияние друг на друга; д — множественное взаимодействие в группе, когда субъекты взаимозависимы.
Рис. 1. Ландшафт исследований в области коммуникативных взаимодействий. Модифицированный Fig. 2 из работы Schilbach et al. (2013)
Рис. 2. Типы коммуникативных взаимодействий
Методы исследования коммуникативных взаимодействий
В исследованиях коммуникативных взаимодействий применяются множество методов (рис. 3), в частности: регистрация поведенческой активности, регистрация глазных движений, гипер-сканирование активности мозга (одновременное отведение у двух или более индивидуалов в процессе проведения тестов) при регистрации ЭЭГ или фМРТ), оценка динамики реакций вегетативной нервной системы по гальваническому потенциалу кожи, частоте сердечных сокращений и ее вариабельности, определение эмоционального состояния и индивидуальных характеристик взаимодействующих участников теста [5; 7; 9—12; 14].
Одновременная регистрация глазных движений у двух участников тестовой пробы в сочетании с другими методами используется в большинстве когнитивных исследований [Hari, 2013; Macdonald, 2018; Pfeiffer, 2013; Rogers, 2018; Schilbach, 2013]. Приоритет регистрации глазных движений определяется тем, что при решении коммуникативных задач область лица и прежде всего область глаз притягивают взгляд [Schilbach, 2013]. Обнаружено, что психофизиологические реакции при зрительном контакте более выражены при предъявлении подвижного изображения реального лица, а не его статического портрета [Smith, 2013]. Вместе с тем при предъявлении статических изображений лиц, ранее осмотренных на видео, взгляд осматривающего чаще притягивается к персоне в фронтальной позиции, чем к лицу с повернутым взглядом [Smith, 2013]. Авторы интерпретируют этот факт в пользу участия механизмов долговременной памяти. Описан большой спектр феноменов синхронизации активности мозга участников тестовых проб [Hari, 2013; Liu, 2018; Schilbach, 2013; Yun, 2012] В некоторых исследованиях [Pfeiffer, 2013] проводилось ЭЭГ-гиперсканирование у двух участников эксперимента без прямого контакта их взгляда, в частности в случае удаленного разговора. При этом детектируется фазовая синхронизация ЭЭГ в различных полосах частот и между различными областями мозга.
Рис. 3. Методы исследования коммуникативных взаимодействий. Fig. 3 из работы Pfeiffer et al. (2013)
Рассмотрим результаты исследовательских работ, наиболее перспективных с точки зрения изучаемых феноменов и используемых методов. В работе [Yun, 2012] предложен количественный критерий для оценки зрительно-моторной координации участников эксперимента, а именно, индекс синхронности позиций взгляда и кончика указательного пальца. Во время поведенческого теста у двух участников одновременно регистрировались также эмоциональные реакции и ЭЭГ (рис. 4). Обнаружено, что синхронность движений кончика указательного пальца и мозговой активности у двух участников возрастает после кооперативного взаимодействия. Авторы предполагают, что динамика синхронизации движений тела во время взаимодействия участников эксперимента может быть измеримой основой для количественной оценки социального взаимодействия. Интересен также метод рекуррентного квантованного анализа глазных движений, разработанный в [Anderson, 2013], который позволяет осуществить количественную оценку динамики зрительного внимания с помощью вычисления расположения и количества возвратных фиксаций взгляда. В работе [Hari, 2013] получены убедительные данные об индивидуальной вариабельности длительности осмотра областей глаз в процессе разговора двух участников эксперимента. Причем, несмотря на инструкцию игнорировать зону глаз, взгляд осматривающего фокусировался именно на этой зоне.
Рис. 4. Экспериментальная установка и результаты выполнения заданий обследуемыми. Модифицированный Fig 1 из работы Yun et al. (2012): а — схема обучения до проведения основных тестовых проб; б — схема основных экспериментов; в — анализ результатов обучения
Во многих исследованиях обнаружены выраженные эмоциональные реакции обследуемых, вовлеченных в просмотр эмоционально насыщенных видеоклипов [Golland, 2015; Lyyra, 2018; Nummenmaa, 2012; Rubo, 2018; Scheller, 2012]. Для оценки эмоционального состояния участников эксперимента используются несколько методов, в частности отчет тестируемых, фиксация выражения лица и вегетативных реакций автономной нервной системы. Кроме того, когда условия коммуникативного взаимодействия, в том числе совместный просмотр статических или динамических изображений, сопровождаются сильными эмоциями, активность ЭЭГ участников становится более синхронизованной [Redcay, 2019]. В дополнение к этому, когда просматриваются статические и динамические изображения, эмоционально значимые фрагменты, особенно лица и глаза, первично притягивают взгляд, что было установлено по латентному периоду и длительности первых фиксаций.
Значительные различия между обследуемыми в параметрах глазных движений обнаружены во время взаимодействия или просмотра статических и динамических сцен [Podladchikova, 2017; Rubo, 2018]. В частности, очевидные межиндивидуальные различия в предпочтении областей лиц (глаза или рот) для фиксаций взгляда обнаружены в процессе разговора. Наряду с феноменом, обнаруженным в работе [Rubo, 2018], еще одним индивидуализирующим фактором является тип траекторий осмотра [Podladchikova, 2018; Podladchikova, 2020], который позволяет оценить вклад доминирующего типа зрительного внимания (фокального или пространственно-распределенного) у конкретного тестируемого в процесс осуществляемых им коммуникативных взаимодействий.
В нескольких исследованиях были разработаны математические модели феноменов коммуникативного взаимодействия (2; 3; 6; 13; 29). Большинство этих моделей оперируют стандартными нейросетевыми методами, такими как обучение с подкреплением, глубокие нейронные сети, каскадные и параллельные сверточные рекуррентные нейронные сети, и не используют методы формализации экспериментальных данных, касающиеся регистрации глазных движений и фиксации эмоций при решении коммуникативных задач. Очевидно, что комплексный нейроинформационный подход, включающий формализацию количественных экспериментальных данных, разработку реалистических моделей, проведение компьютерных экспериментов на моделях и верификацию модельных предположений в направленных экспериментах, может быть использован при решении проблем коммуникативных взаимодействий. Этот подход был использован нами ранее (в экспериментах на изолированных испытуемых — one-person paradigm) и позволил получить ряд принципиально новых экспериментальных данных [Podladchikova, 2020; Samarin, 2015; Samarin, 2019].
Заключение
Несмотря на широкий диапазон исследований, механизмы и функциональная роль синхронизации активности мозга участников эксперимента, вовлеченных в совместное решение коммуникативных задач, остаются предметом для разработки различных гипотез, не верифицированных однозначно в экспериментальном методе и процедуре. Одна из гипотез состоит в том, что системы «зеркальных» сенсорных и моторных нейронных систем непосредственно вовлечены в регуляцию синхронизации поведения и активности мозга взаимодействующих участников экспериментов [Schilbach, 2013].
Принимая во внимание широкое разнообразие подходов, методов и результатов, полученных в области second-person neuroscience, следующие задачи могут быть определены как приоритетные для будущих исследований коммуникативных взаимодействий:
1) унификация методов экспериментальных исследований;
2) поиск количественных параметров синхронности поведенческих действий и активности мозга взаимодействующих субъектов;
3) прямое сравнение специфических особенностей реагирования участников эксперимента в условиях просмотра эмоционально насыщенных видеоклипов как метода, применяемого в условиях one-person и two-person парадигм;
4) поиск критериев для избирательной оценки вклада в наблюдаемые феномены bottom-up и top-down механизмов зрительного внимания.