Эмоциональное восприятие разномодальных и разновалентных аудиовизуальных стимулов

Контекст и актуальность. В статье анализируются особенности эмоционального состояния индивидов при воздействии на них внешних аудиовизуальных стимулов. Цель. В частности, изучаются особенности формирования субъективных эмоциональных образов, возникающих вследствие взаимодействия разномодальных (звук, изображение) и разновалентных (положительная, отрицательная валентность) аффективных аудиовизуальных стимулов из международных нормативных баз IAPS и IADS. Методы и материалы. Когнитивные отображения аффективных стимулов оценивались с помощью стандартизированной методики самодиагностики эмоциональной реакции Self-Assessment Manikin (SAM) по трем шкалам: валентность, сила стимула и влияние на самооценку. Проводится анализ полученных результатов с точки зрения теории информационных образов/репрезентаций. Выводы. В итоге были выявлены новые закономерности влияния различных комбинаций разномодальных и разновалентных аудиовизуальных стимулов на их изначальное индивидуальное эмоциональное восприятие.

Введение

В современном информационном мире проблема повышенного стрессового состояния, эмоциональной негативизации населения с каждым годом становится все актуальнее, что существенным образом влияет на последующее как психологическое, так и физиологическое состояние индивидов. Этому способствуют как внешние факторы (пандемия, войны, миграционные кризисы и т. д.), так и возросшее социальное давление из-за информационной интеграции человека в множество разнообразных процессов и возросшее количество соответствующих внешних стимулов.

Все это также актуализирует и проблемы диагностики эмоционального состояния (и сопутствующих явлений, таких как эмоциональная дезадаптация, повышенная тревожность и подобные) индивида. Причем, учитывая масштаб и распространенность явления, данная диагностика должна сочетать в себе массовость и простоту оценки и анализа без существенных потерь в точности.

На сегодняшний день разработано достаточное число методов и подходов к определению эмоций. Одним из наиболее популярных является опросник самооценки SAM (Self-Assessment Manikin) (Васанов, Марченко, Севостьянова, 2013; Павлов и др., 2015). Преимущество этой методики заключается в простоте и ясности ее использования для всех испытуемых и возможности применения даже в детской возрастной группе. В оригинальной методике SAM эмоции необходимо оценить по трем шкалам: 1) по валентности (знаку), от резко отрицательных (1 — отчаяние, депрессия) до крайне положительных эмоций (9 — радость, эйфория); 2) по возбуждению (соматическому), от расслабленного (1) до активного состояния (9); 3) по способности контролировать эмоцию, от полного отсутствия контроля (1) до полного контроля (9).

Во многих исследованиях эмоционального восприятия в качестве стимульного материала часто используются международные базы стимулов IAPS (разработана П. Лангом и состоит из 1182 фотографий) и IADS (разработана М. Брэдли и во второй редакции состоит из 168 звуковых композиций). Эффективность применения стимулов из этих нормативных баз показана во многих исследованиях (Lang, Bradley, Cuthbert, 1999; 2008; Stevenson, James, 2008). Набор изображений и звуков, представленных в этих базах, охватывает широкий спектр эмоциональных проявлений человека и направлен на определение целого комплекса субъективных и вегетативных эмоциональных реакций, варьирующихся в зависимости от валентности и активирующего содержания стимула.

Один важнейших аспектов когнитивной деятельности человека — основание его мышления, которым является не код (подобно ЭВМ), а взаимодействие многочисленных образов/репрезентаций (далее — ИО). Хотя у данных образов имееется вполне конкретная материальная база (а именно электрическая и химическая активность в головном мозге человека), но при этом их описание с применением обычных математических моделей затруднено (Полевая, Петухов, 2022; Petukhov, Polevaya, 2017; Petukhov, Petukhov, 2022; Petukhov, Polevaya, Polevaya, 2022).

Отдельной проблемой сравнительного исследования (экспериментального и модельного описания) может явиться изучение особенностей взаимодействия образов, находящихся в активном состоянии, т. е. анализ влияния одновременной активации двух и более ИО на восприятие каждого из них в отдельности.

Для ответа на данные вопросы авторами была разработана теория информационных образов/репрезентаций.

Теория информационных образов/репрезентаций

Основа предлагаемой теории — представление об универсальной когнитивной единице (Petukhov, Petukhov, 2022), информационном образе, о пространстве, в котором он существует, его топологии и свойствах. Информационные образы/репрезентации (ИО) можно определить как отображения объектов и событий в пространстве признаков (Petukhov, Polevaya, Polevaya, 2022). В рамках ТИО мы представляем разум человека как иерархическую систему взаимодействующих образов, находящуюся под регулярным внешним воздействием.

Можно выделить 4 условных типа ИО:

1. Доминирующие

Доминирующие образы определяют так называемую доминанту человеческого поведения, его информационный первичный портрет, его основной набор наиболее используемых сознательно информационных образов. Условно проводя аналогию с компьютером — содержимое оперативной памяти.

2. Активные

Активные образы являются одними из определяющих факторов в информационной системе человека. Однако их влияние менее значительное, нежели влияние доминантных, и они сознательно используются несколько реже.

Данные два типа ИО относятся в большей степени к эксплицитным когнитивным процессам индивида.

3. Пассивные

Пассивные образы являются, как правило, скрытыми в человеческой деятельности и отвечают за его виртуальное поведение: мечты, фантазии, проявления в виртуальной среде, например в социальных сетях под вымышленными именами, в онлайн-играх и т. д. Также в этой области находится большинство образов, относящихся к рефлекторным приобретенным функциям, пассивным навыкам и тому подобные.

4. Отложенные

Данные образы практически не проявляются внешне в осознанной деятельности индивида и включаются, как правило, лишь в определенных случаях или оказывают свое воздействие без их осознания и выделения в потребность.

ТИО позволяет иначе взглянуть на ряд характерных закономерностей в разуме человека, корректно интерпретировать и объяснить некоторые из них (подробнее см.: Полевая, Петухов, 2022; Petukhov, Polevaya, Polevaya, 2022). Также основы теории применяются при построении моделей для диагностики различных состояний человека.

Экспериментальное исследование

Гипотеза исследования заключалась в следующем: в зависимости от очередности предъявления стимулов, а также при добавлении новых модальностей, могут наблюдаться значимые различия в оценке эмоционального восприятия исходного стимула.

В качестве испытуемых были отобраны 227 человек: мужчины и женщины от 17 до 58 лет. У всех испытуемых отсутствовали какие-либо нарушения, связанные с сердечно-сосудистыми, психиатрическими заболеваниями, заболеваниями дыхательных путей, также они не принимали каких-либо лекарственных препаратов. Все испытуемые были ознакомлены с условиями проведения эксперимента и подписали информационное согласие на участие в исследовании.

В качестве стимульного материала были отобраны 24 изображения (12 крайне положительных и 12 крайне отрицательных по шкале валентности SAM) из международной базы IAPS и 24 звуковых стимула (12 крайне положительных и 12 крайне отрицательных по шкале валентности SAM) из международной базы IADS. 

Данные визуальные и звуковые стимулы в случайном порядке были объединены в единые блоки:

• Негативный звук (S-) (12 отрицательных звуков);
• Позитивный звук (S+) (12 положительных звуков);
• Негативное изображение (P-) (12 отрицательных изображений);
• Позитивное изображение (P+) (12 положительных изображений).

Выходные данные указанных четырех групп стимулов представлены в таблицах 1—4.

Таблица 1 / Table 1

Позитивные изображения (P+)

Positive Images (P+)

Таблица 2 / Table 2

Негативные изображения (P-)

Negative Images (P-)

Таблица 3 / Table 3

Позитивные звуки (S+)

Positive sounds (S+)

Таблица 4 / Table 4

Негативные звуки (S-)

Negative sounds (S-)

Испытуемым предлагалось прослушать/просмотреть блок, а затем оценить свои впечатления с помощью методики SAM.

Кроме того, из отобранных стимулов были составлены 4 аудиовизуальных стимульных набора:

• Негативное видео (изображение + звук) (P-S-) (12 отрицательных звуков и 12 отрицательных изображений);
• Позитивное видео (изображение + звук) (P+S+) (12 положительных звуков и 12 положительных изображений);
• Диссонансное видео 1 (изображение + звук) (P-S+) (12 отрицательных изображений и 12 положительных звуков);
• Диссонансное видео 2 (изображение + звук) (P+S-) (12 положительных изображения и 12 отрицательных звуков).

Указанные стимулы были объединены в 8 пар комбинаций (сессий), см. табл. 5.

Таблица 5 / Table 5

Время экспозиции составляло 6 секунд (в соответствии со временем проигрывания одного звукового стимула из базы IADS). После демонстрации каждого стимула в комбинации испытуемый оценивал каждый стимул по методике SAM на основании трех шкал: валентность, возбуждение, доминантность.

Предъявление первого и второго стимула внутри комбинации разделялось паузой в 20 минут. Замеры сессий проводились в разные дни с целью исключения влияния фактора наложения на восприятие индивида впечатлений от других стимулов.

Исследование проводилось в изолированном от внешнего шума помещении с удобным рабочим местом, с соблюдением базовых требований проведения психологического эксперимента.

Результаты экспериментального исследования

На основе оценок по трем шкалам SAM (валентность, возбуждение, доминантность) для каждой пары стимулов внутри комбинации по всем 8 сессиям были подсчитаны суммарные абсолютные значения разности оценок. В рамках каждой сессии для всех оценок были рассчитаны основные статистики (среднее значение, стандартное отклонение, медиана и мода).

Для оценки достоверных различающихся вариаций сравнения блоков исследования был применен парный W-критерий Уилкоксона, p < 0,05.

Далее было произведено сравнение средних значений оценок по шкале валентности для разномодальных блоков (P-S- и P+S+). Сочетание негативного изображения и звука привело к проявлению эффекта усиления оценки негативных стимулов. При этом негативный звук имел больший эффект, чем негативное изображение. Достоверных различий между позитивными стимулами не выявлено. Однако при сравнении вариаций разномодальных стимулов из базовых и диссонансных наборов были получены значимые различия.

На основе оценок валентности диссонансного набора была отмечена тенденция к негативной оценке стимульных блоков. Вне зависимости от типа предъявления двумодальных стимулов в данном наборе в средних значениях по выборке были получены равные негативные значения. То есть при добавлении любого негативного информационного образа (визуального или аудиального) отмечается тенденция к негативному отношению к среде.

Далее было проведено сравнение оценок по шкале валентности между первыми стимулами в комбинациях одномодальных и одновалентных стимулов, а потом с их совмещениями в единые полимодальные ролики. Были отсеяны данные испытуемых, оценка стимула которых не соответствовала его валентности, полученной по средним значениям при валидации стимулов. Например, для стимула P+ (позитивное изображение) отрицательная или нейтральная оценка. Доля таких оценок в множестве вариантов комбинаций значительна — 47% (рис. 1).

Далее было выяснено, что одномодальные звуки и изображения оценивались на одном уровне в соответствии с валентностью. Совмещение в едином ролике этих компонентов приводило к негативной оценке всех стимулов в рамках интегративного образа.

В наборах P-S+ и P+S- были построены распределения значений по каждому составляющему стимулу для всех испытуемых в выборке со стандартными ответами (рис. 3, 4).

В результате был выявлен эффект доминирования негативного эмоционального образа над позитивным. При интеграции хотя бы одного негативного одномодального компонента в структуру позитивного образа происходит редукция оценки.

Далее был проведен анализ взаимосвязи показателей восприятия вторых стимулов с показателями восприятия первых стимулов, которые демонстрировались перед ними. В комбинациях с демонстрацией первым стимулом негативного образа в случае демонстрации позитивного второго наблюдалась тенденция к снижению оценок вплоть до нулевой. Был получен эффект, связанный с очередностью предъявления контента: опережающий негативный редуцирует позитивный элемент образа (рис. 5).

При сравнении с другими вариантами комбинаций, где первым стимулом являлся позитивный, а потом негативный, выявлено, что влияние очередности на оценку негативного контента отсутствует. Негативный образ устойчив к опережающему его позитивному и не ведет к достоверному изменению оценки (рис. 6).

При сравнении оценок по модальности было выявлено, что наибольшие значения получали негативные одномодальные стимулы (рис. 7). Точно оценить, в чем причина такого эффекта на данном этапе исследований, не представляется возможным. Не исключено, что присутствует зависимость от времени экспозиции.

Для одновалентных комбинаций стимулов было построено фазовое пространство по шкалам валентности и возбуждения SAM. В круг выделены 50% ответов, что соответствует доле стандартных ответов (рис. 8).

Для проверки эффекта преобладания негативного эмоционального образа над позитивным была апробирована экспериментальная модель основного исследования с демонстрацией трехминутных роликов. В данном случае каждому испытуемому предлагалось предварительно оценить по методике SAM каждый стимул, который входил в состав ролика (12 негативных и 12 позитивных звуков и такое же количество по валентности изображений). Время экспозиции — 6 секунд, в соответствии с продолжительностью воспроизведения стимулов IADS. Стимулы демонстрировались в случайном порядке.

В результате был выявлен эффект «накопления эмоций»: при последовательном предъявлении набора одновалентных аффективных стимулов формируется интегративный эмоциональный образ, который соответствует средневыборочной валентности по знаку и больше по модулю для оценки по шкале валентности. Этот эффект проявляется для негативных и позитивных аффективных стимулов.

Выявлена линейная зависимость (y = 1,7027x + 0,1267) между валентностью интегративного эмоционального образа и средневыборочной валентностью аффективных стимулов (r2 = 0,88) (рис. 9). Черным обозначена ожидаемая линия тренда, если средняя оценка соответствовала такой же интегративной.

При предъявлении набора разновалентных стимулов линейная зависимость отсутствует и эффект «накопления эмоций» не проявляется. Присутствует доминантность негативного образа (рис. 10).

Здесь важно также отметить специфичность и нелинейность эффекта влияния бимодальной компоненты на состояние индивида с учетом эффекта «накопления эмоций». Возникает искажение/изменение как количественных, так и качественных показателей воздействия информационных образов по причине их взаимного влияния на восприятие; такого рода воздействие часто используется в индустрии кино, при разработке компьютерных игр и т. д. (Lang, Bradley, Cuthbert, 1999).

Заключение

Гипотеза исследования о зависимости оценки эмоционального восприятия исходного стимула от очередности предъявления стимулов, а также от добавления новых модальностей подтвердилась.

Авторами были выявлены следующие особенности:

• Преобладание негативного информационного образа, связанного с эмоциями, над позитивным. Если в структуру позитивного образа включен хотя бы один негативный одномодальный компонент, то происходит снижение оценки.
• Существует зависимость оценки позитивного стимула от предшествующего ему стимула. Негативный стимул, предшествующий позитивному, снижает оценку позитивного элемента образа, в то время как негативный образ устойчив к опережающему позитивному.
• Происходит усиление оценки негативного одновалентного одномодального стимула, независимо от предшествующего стимула. Точная причина этого эффекта не может быть определена путем сравнения с двухвалентными стимулами из предыдущих этапов исследования, так как средние оценки на данном этапе отличаются от полученных в комбинациях двухвалентных стимулов. Возможно, это связано с зависимостью от времени экспозиции.
• Был выявлен эффект «накопления эмоций»: при последовательном предъявлении набора одновалентных аффективных стимулов формируется интегративный эмоциональный образ, который соответствует средневыборочной валентности по знаку и больше по модулю для оценки по шкале «Удовольствие». Этот эффект проявляется для негативных и позитивных аффективных стимулов. Выявлена линейная зависимость (y = 1,7027x + 0,1267) между валентностью интегративного эмоционального образа и средневыборочной валентностью аффективных стимулов (r2 = 0,88). При предъявлении набора разновалентных стимулов линейная зависимость отсутствует и эффект «накопления эмоций» не проявляется. Присутствует доминантность негативного образа.

Исследование выявило проблемы и определенные ограничения разрабатываемой экспериментальной модели и, следовательно, необходимость пересмотра некоторых методологических положений, лежащих в ее основе.

Вопрос о длительности существования эмоционального образа до переключения на другие образы остается недостаточно изученным. Также не было исследовано минимальное время экспозиции стимулов для формирования образа и максимальное время до начала ослабления эффектов возбуждения после стимуляции.

Необходимо проведение анализа интерференции эмоциональных образов в процессе их взаимодействия — не только в случае нейтральной оценки, но и в случае негативной, как при предъявлении одномодальных стимулов, так и при предъявлении полимодальных стимулов разной валентности (согласованных и рассогласованных по валентности).

Выявленные закономерности, связанные с «накоплением впечатления»: образ, полученный при восприятии совокупности различных стимулов, характеризуется более высокими показателями оценки по фактору удовольствия, чем образы, полученные при восприятии отдельных стимулов, — необходимо проверить на больших выборках и в условиях регистрации быстрого ответа, например при использовании методов айтрекинга, анализа кожно-гальванических реакций, дыхания и активности мозга.

1. Васанов, А.Ю., Марченко, О.П., Севостьянова, М.С. (2013). Подбор культурноспецифичных эмоционально окрашенных фотоизображений для экспериментальных исследований. Экспериментальная психология, 6(4), 105—114.
   Vasanov, A.Yu., Marchenko, O.P., Sevostyanova, M.S. (2013). Selection of culturally specific emotionally colored photographic images for experimental research. Experimental Psychology (Russia), 6(4), 105—114. (In Russ.).
2. Павлов, С.В., Рева, Н.В., Локтев, К.В., Коренек, В.В., Афтанас, Л.Ю. (2015). Влияние практики медитации на сердечно-сосудистый ответ при восприятии и когнитивной переоценке эмоциогенных стимулов эмоций. Рос. физиол. журн. им. И.М. Сеченова, 101(3), 360—373.
   Pavlov, S.V., Reva, N.V., Loktev, K.V., Korenek, V.V., Aftanas, L.Yu. (2015). The influence of meditation practice on the cardiovascular response in perception and cognitive reassessment of emotionogenic stimuli of emotions. I.M. Sechenov Russian Journal of Physiology, 101(3), 360—373. (In Russ.).
3. Полевая, С.А., Петухов, А.Ю. (2022). Измерение когнитивного потенциала на основе выполнения задач различного уровня сложности. Известия высших учебных заведений. Прикладная нелинейная динамика, 30(3), 311—321.
   Polevaya, S.A., Petukhov, A.Yu. (2022). Measuring cognitive potential based on the performance of tasks of varying levels of complexity. News of higher educational institutions. Applied nonlinear dynamics, 30(3), 311—321. (In Russ.).
4. Lang, P.J., Bradley, M.M., Cuthbert, B.N. (1999). International affective picture system (IAPS): Instruction manual and affective ratings. Technical Report A-4. Gainesville, FL: The Center for Research in Psychophysiology, University of Florida.
5. Lang, P.J., Bradley, M.M., Cuthbert, B.N. (2008). International affective picture system (IAPS): Affective ratings of pictures and instruction manual. Technical Report A-8. University of Florida, Gainesville, FL. Pp. 1—14.
6. Petukhov, A.Yu., Polevaya, S.A. (2017). Modeling of cognitive brain activity through the Information Images Theory in terms of the bilingual Stroop test. International Journal of Biomathematics, 10(6), 1750092 (16 pages). https://doi.org/10.1142/S1793524517500929
7. Petukhov, A.Yu., Petukhov, Yu.V. (2022). Model of cognitive activity of the human brain based on the mathematical apparatus of self-oscillating quantum mechanics. Mathematics, 10(22), 4215. https://doi.org/10.3390/math10224215
8. Petukhov, A.Yu., Polevaya, S.A., Polevaya, A.V. (2022). Experimental Diagnostics of the Emotional State of Individuals Using External Stimuli and a Model of Neurocognitive Brain Activity. Diagnostics, 12, 125. https://doi.org/10.3390/diagnostics12010125
9. Stevenson, R.A., James, T.W. (2008). Affective auditory stimuli: Characterization of the International Affective Digitized Sounds (IADS) by discrete emotional categories. Behavior Research Methods, 40, 315—321. https://doi.org/10.3758/BRM.40.1.315