Построение индивидуального портрета динамики восприятия музыки с использованием данных частотно-временного анализа суммарного кожного потенциала

148

Аннотация

Изучалась индивидуальная динамика эмоциональной составляющей восприятия музыкальных мелодий. В качестве индикаторов эмоционального статуса служили непроизвольные реакции суммарного кожного потенциала (СКП) и произвольные нажатия испытуемыми на кнопки «нравится» или «не нравится» во время прослушивания мелодий. Частота произвольных нажатий на кнопки служит показателем степени дифференцированности (детальности) осознанного восприятия различных элементов мелодии. Путем цифровой обработки СКП были получены его производные показатели — сердечного ритма, медианной частоты и среднеквадратичной амплитуды СКП как функций от времени, и др. Временная динамика этих показателей оказалась более интенсивной по сравнению с частотой нажатий, что объясняется спецификой взаимодействия между осознаваемыми и неосознаваемыми уровнями восприятия. В связи с использованием нескольких показателей непрерывной эмоциональной динамики возникает необходимость в их интегральной репрезентации. Приводится пример такой интеграции для двух показателей в виде индивидуальных аппроксимирующих эллипсов. В перспективе предполагается применение современной компьютерной графики для решения поставленной задачи.

Общая информация

Ключевые слова: суммарный кожный потенциал, музыкальные мелодии, эмоциональная динамика, осознаваемые реакции, неосознаваемые реакции, артикулированность восприятия, интегральная репрезентация

Рубрика издания: Психофизиология

Тип материала: научная статья

DOI: https://doi.org/10.17759/exppsy.2021140214

Для цитаты: Назаров А.И. Построение индивидуального портрета динамики восприятия музыки с использованием данных частотно-временного анализа суммарного кожного потенциала // Экспериментальная психология. 2021. Том 14. № 2. С. 198–208. DOI: 10.17759/exppsy.2021140214

Полный текст

 

Введение

Восприятие музыки, как и восприятие вообще, протекает в процессе непрерывного взаимодействия субъективных и объективных сил. Субъективные составляющие определяют различные типы восприятия музыки, блестящее описание которых предложил Адорно [1]. К объективным силам относится структура мелодии, важнейшие элементы которой впервые и подробно были обозначены Яворским и Беляевой еще в 1929 г. [12]. Динамическая модель музыкального восприятия в целом, хотя и несколько аллегорически, представлена в работе Курта [6]. В современных отечественных работах по музыкальной психологии теме восприятия музыки также уделяется много внимания, но, к сожалению, больше в количественном, а не в качественном аспекте. Во многих учебниках, издававшихся в разное время — советское и постсоветское — говорится по существу об одном и том же, а весь материал представлен в виде скучных рассуждений [3; 4; 5; 8; 9]. Создается впечатление, что после известной работы Теплова [11] ничего существенно нового в музыкальной психологии не происходило.

Еще хуже обстоят дела в области экспериментальных исследований восприятия музыки. Если сравнить тематику и годовой объем таких исследований в России и за рубежом, то в результате окажется, что нескольким десяткам зарубежных экспериментов мы можем противопоставить 0! У нас есть немало спекулятивных работ, например, на тему об эмоциональном восприятии музыки [2; соответствующие разделы в упомянутых учебниках по музыкальной психологии], но в момент написания данной статьи я не нашел ни одного отечественного эксперимента на эту тему.

Следует отметить, что в зарубежных экспериментальных исследованиях музыкального восприятия преобладает тема его эмоциональности, которая действительно является важнейшей составляющей музыкальности. Здесь все сосредоточено на поисках телесных индикаторов эмоций, сопровождающих восприятие музыки. К таким индикаторам относятся кожно-гальваническая реакция (КГР) [14; 15; 17; 19; 24; 26], вызванный потенциал (ВП) [16], частота сердечных сокращений (ЧСС) [20; 22; 25], электромиограмма (ЭМГ) лицевых мышц [13; 18; 25], энцефалограмма (ЭЭГ) [23; 24] или их комбинации, в том числе с другими физиологическими показателями (кровяное давление, дыхание, температура участков тела). Все чаще применяются различные модификации методики нейро-визуализации [15, 21]. При этом, как правило, во всех этих случаях испытуемым предъявляют одиночные стимулы разной валентности, что существенно ограничивает возможности изучения эмоциональной динамики в естественных условиях ее протекания в меняющемся окружении, например, при восприятии фильма, музыки, различных событий. Лишь сравнительно недавно начали появляться работы, в которых указанное ограничение преодолевается благодаря использованию динамичных стимульных ситуаций [24]. Характерным для этого направления работ является комплексный подход, при котором одновременно регистрируется несколько объективных показателей. Однако у такого «полиэффекторного метода» есть один существенный недостаток: каждый отдельный показатель обладает собственными динамическими характеристиками, иногда совпадающими, а иногда не совпадающими друг с другом во времени, так что объединить их в единый «гештальт» не представляется возможным. В результате вместо истинной интегральности создается только ее иллюзия. Идеальной интегральностью обладает (да и то лишь в своей осознаваемой части) субъективная репрезентация эмоции, которая в этом отношении подобна субъективности ощущения цвета. Это не случайная аналогия. Цветовое ощущение имеет объективный коррелят в виде результирующего вектора в трехмерном пространстве RGB. Можно предположить, что и у эмоции есть аналогичный вектор в неизвестном пока многомерном пространстве ее репрезентации. Известна так называемая сиркумплексная модель, в которой представлены только две полярные координаты (возбудимость и валентность), но она применима только к простейшим ситуациям с одиночными стимулами или к тем случаям, когда испытуемый дает общую оценку прослушанной мелодии.

В данной работе в качестве первого шага в поиске интегрального показателя эмоциональной динамики приводится пример построения другой (пока двумерной) модели с иными координатами. Гипотеза состояла в том, что для этой цели будет пригоден суммарный кожный потенциал (СКП), о котором (правда, еще без определения «суммарный») я рассказал в недавней статье [7].

Методика

Стимульный материал. Поскольку восприятие музыки, как правило, сопровождается переживанием эмоций, которые имеют определенную временную динамику, испытуемым во время эксперимента предлагалось прослушать 7 инструментальных мелодий разных стилей:

1)    «Соната для фортепиано» Скарлатти;

2)    «Колыбельная» из оперы Гершвина «Порги и Бесс» (саксофон);

3)    Чардаш В. Монти (симфонический оркестр);

4)    латино-американская мелодия (флейта);

5)    рок-н-ролл (группа Прокл Харм);

6)    блюз (квартет Бенсона);

7)    «Лунная соната» (Л.-ван Бетховен, фортепиано).

Хорошо знакомой для всех участников оказалась только «Лунная соната». О фрагментах 2 и 4 некоторые участники говорили, как о чем-то знакомом.

Продолжительность звучания каждой мелодии — 2 мин. Испытуемые слушали мелодии через стерео-наушники. Предварительно они устанавливали для себя комфортную громкость, слушая нецелевую мелодию. Каждая из целевых мелодий предъявлялась один раз. Мелодии следовали в указанном выше порядке с паузами между ними 10—15 с.

Задача для испытуемых. Во время прослушивания испытуемый делал короткое нажатие на одну кнопку мыши[1], если ему (ей) нравился тот или иной фрагмент мелодии, и — на другую, если он не нравился. Впечатления «нравится», «не нравится» имеют разные градации, которые могут проявляться или вовсе исчезать в разные моменты прослушивания. То есть эти впечатления, как правило, носят волнообразный характер. Нажимать на кнопки мыши нужно было тогда, когда впечатление изменялось либо по валентности (например, с нейтрального на положительное или отрицательное), либо по интенсивности (в большую или меньшую сторону). Поэтому реагировать нажатиями на кнопку нужно было на всем протяжении мелодии, а не только в ее начале или конце. Количество нажатий не ограничивалось.

Регистрация. Основной зависимой переменной в эксперименте был суммарный кожный потенциал (СКП), из которого путем его цифровой обработки были получены производные показатели — спектральная мощность СКП, среднеквадратичная амплитуда СКП (RMS), частота сердечных сокращений (ЧСС), медианная частота СКП (МЧ), низкочастотная составляющая СКП (КП 1 Гц — аналог КГР), коэффициент соотношения симпатической и парасимпатической регуляции (С/П). Для регистрации и цифровой обработки использовались два усилителя ADC 100 и программный пакет Acqknowkge 4.4.1 (Biopac, США). Частотная полоса усилителей устанавливалась в диапазоне 0,05—300 Гц.

СКП представляет собой агрегированную электро-кожную активность, которая является результатом суммации электрических сигналов, возникающих в различных частях организма. Такая суммация обусловлена, во-первых, электропроводностью кожного покрова и, во-вторых, высокой влажностью внутренней среды организма. Поэтому, на каком бы месте кожной поверхности ни размещался отводящий активный электрод, он всегда будет фиксировать именно суммарную электрическую активность организма, а не только ту ее составляющую, которая локализована на околоэлектродном участке. Более подробно об этом изложено в другой моей статье [7].

Регистрировались два СКП: один активный электрод размещался в районе лучевого сгибателя левого запястья, другой — в таком же районе правого запястья. Для лучшего «заземления» испытуемого указательный палец его левой руки контактировал с референтным электродом через обычную слегка теплую воду, которая находилась в чашке Петри; при этом непосредственный контакт пальца с референтным электродом, подключенным ко входу Ground усилителя, отсутствовал. Такое распределение активных и референтного электродов позволяло вести одновременную запись двух сигналов — собственно СКП (с левой руки) и простую кардиограмму (с правой руки). Все электроды — типа EL258S (та же фирма). Частота дискретизации аналоговых сигналов составляла 2000 Гц.

Испытуемые. Данные об испытуемых (случайная выборка, всего 9 человек) приведены в табл. 1.

 

Таблиц 1

Данные о выборке испытуемых

Категория

Возраст

Пол

1

М

23

ж

2

М

23

ж

3

Л

23

ж

4

С

19

м

5

М

30

ж

6

М

23

ж

7

Л

23

ж

8

М

23

м

9

С

33

м

Примечание: М — музыканты с образованием; Л — любители музыки; С — самоучки.

 

Результаты

Типичная картина динамики основных параметров, характеризующих состояние участников при восприятии различных мелодий, показана на рис. 1. Если соотнести изменения по какому-либо показателю, отраженные на соответствующих каналах регистрации, с произвольными двигательными реакциями (нажатиями на кнопки «нравится»/«не нравится»), то здесь нельзя обнаружить однозначного соответствия:

1)   одной и той же валентности реакции могут соответствовать разные по характеру изменения показателей по знаку и амплитуде;

2)   в тех случаях, когда встречались оба типа произвольных реакций, означающих либо положительную («нравится»), либо отрицательную («не нравится») эмоцию, их нельзя было идентифицировать по характеру изменения того или иного показателя.

Такую неоднозначность можно объяснить естественными различиями в динамике не­осознаваемых и осознаваемых процессов. Индикаторами первых являются процессы, представленные на верхних пяти каналах рис. 1 (КП, ЧСС, RMS, медианная и средняя частоты СКП). Они характеризуются быстротекущей динамикой, которая разворачивается на фоне более медленно текущих процессов. Индикаторами вторых являются произвольные реакции нажатий на кнопку. Эти реакции возникают как итоговый результат неосознаваемых процессов, которые разыгрываются в скользящем «временном окне» их интеграции. О ширине этого виртуального окна можно судить по среднему количеству нажатий на кнопки во время прослушивания каждого фрагмента: чем шире временное окно, тем меньше будет число таких нажатий. Отсюда также следует, что чем реже испытуемый фиксирует в своем сознании изменения текущего эмоционального статуса, тем менее артикулировано (детально) его осознанное восприятие мелодии; она представляется как нечто целое, состоящее из небольшого количества разных эпизодов. Индексом артикулированности восприятия в нашем случае может служить приведенный в табл. 2 показатель количества нажатий на кнопки. Видно, что он разный, как для отдельных мелодий, так и для отдельных испытуемых. Наиболее артикулированным было восприятие у испытуемой № 7: здесь наблюдается не только максимальный общий индекс для всех мелодий (56), но и наличие контрастных эмоций (всего 36 положительных и 20 отрицательных). Интересно, что эта испытуемая относится к категории любителей музыки, т. е. не имеет специального музыкального образования. Второй результат (-5 и +31, всего 36 нажатий) также показала любитель музыки (испытуемая № 3).

Вопреки ожиданиям, у испытуемых с музыкальным образованием (№ 2, 3, 6, 8) общий индекс артикулированности был меньше (от 10 до 29 нажатий). Конечно, это не значит, что все музыканты не так тонко воспринимают музыку, как любители. Приведенные данные относятся только к нашей ограниченной выборке. И здесь можно констатировать, что не всякое образование имеет результатом образованность.

При дальнейшей обработке для каждой мелодии и испытуемого были определены средние величины каждого из перечисленных выше параметров СКП. Соответствующие данные приведены в магистерской диссертации Поляковой [10]. Воспроизводить их в данной статье не имеет смысла по следующим соображениям. Во-первых, в средних значениях непрерывной динамики, теряется информация о ее специфике: одним и тем же средним может соответствовать разное, иногда даже противоположное поведение одного или нескольких параметров на данном интервале времени. Во-вторых, графики поведения отдельных параметров при разных условиях не дают действительно общего, интегрального представления о том, чем отличается эмоциональный статус одного испытуемого от другого, как и о том, чем отличаются эмоциональные восприятия одной мелодии от другой. Другими словами, существующий инструментарий обработки реакций на одиночные, дискретные стимулы не подходит для случаев непрерывной, динамичной стимуляции, вызывающей неоднородный комплекс таких реакций.

Таблица 2

Количество нажатий на кнопки «нравится» (+), «не нравится» (-)

Муз. мелодии

Испытуемые

1*

2

3

4

5

6

7

8

9

1

0

-1

-4

+1

+3

+3

+5, -4

0

+1

2

0

+6

+7

+1

+4

+3

+8

+2

+1

3

0

+3

+3; -1

+2

+5

+1

+4, -3

+2

+2

4

0

-1

+4

0

+4

+3

+5, -4

+2

+1

5

0

0

+7

+1

+4

+2

+4, -3

+2

+1

6

0

-5

+5

+2

+7

+1

+5, -3

+1

+1

7

0

+4

+5

+2

+2

+3

+5, -3

+1

+1

Сумма

0

+13, -7

+31, -5

+9

+29

+16

+36, -20

+10

8

Всего, абс.

0

20

36

9

29

16

56

10

8

Примечание: «*» — эта испытуемая забыла, что нужно нажимать кнопки «нравится» или «не нравится» во время прослушивания мелодии.

 

Как отмечалось выше, разработка инструментария для обработки аналоговых ситуаций — задача будущего. Ниже приводится пример того, как может выглядеть простейший, но действительно интегральный показатель для двух параметров — частоты СКП и его амплитуды (RMS).

Для этого строим график XY, откладывая по оси Х медианную частоту СКП, по оси Y — величины RMS[2]. На рис. 2 изображены такие графики для выборочных испытуемых и мелодий. Вертикальные отрезки линий на графиках образованы множеством дискретных значений RMS, которые встречались на всем интервале звучания мелодии при соответствующей медианной частоте СКП[3].

Аналогичные портреты были построены для всех сочетаний «Испытуемый х Мелодия». Их качественное сравнение показало, что площади и ориентации аппроксимирующих эллипсов в каждом сочетании разные. При этом у одного и того же испытуемого частотный диапазон СКП при прослушивании разных мелодий остается приблизительно постоянным — либо очень узким (пример 1-5 на рис. 2), либо достаточно широким (примеры 9—4 и 6—1 на рис. 2). То же характерно для диапазона амплитуд RMS: у каждого испытуемого он меняется незначительно для разных мелодий. Здесь намечается существование у испытуемых разных стилей реагирования на музыку, которые характеризуются тремя свойствами: размахом частотного диапазона СКП, локализацией этого диапазона на частотной шкале (сдвиг в сторону либо низких, либо высоких частот), уровнем постоянной составляющей RMS и диапазоном колебаний величины RMS (например, у испытуемых № 9 и 5 постоянная составляющая RMS равна чуть более 30 и 20 мкв соответственно, а у испытуемых № 1 и 6 она существенно меньше — около 4 мкв).


 

Следует отметить, что упомянутые качественные характеристики реагирования испытуемых могут оцениваться и количественно путем применения известной формулы эллипса, в которую входят величины его малой и большой осей. То есть в данном случае эллипс является тем интегральным показателем (зрительным гештальтом), который в целях анализа может быть разложен на отдельные составляющие, соответствующие регистрируемым параметрам СКП.

Выводы

1.   СКП — это интегральный показатель электрической активации целостного организма. В изложенном выше эксперименте была обнаружена чувствительность различных параметров СКП к динамике эмоционального статуса испытуемых при прослушивании разных музыкальных мелодий. Ранее изучались преимущественно «мгновенные» состояния эмоций при восприятии дискретных стимулов — отдельных картинок, звуков или слов; для этого использовались разные психофизиологические индикаторы, относящиеся, как принято считать, к разным функциональным системам организма — КГР, ЭЭГ, ЭМГ, ЭКГ. Дифференцированное реагирование СКП на эмоциональную динамику установлено впервые.

2.   В осознаваемых действиях испытуемых, реагирующих на изменение своего эмоционального статуса, отражается лишь конечный результат ближайших по времени изменений, происходящих на неосознаваемом уровне и по-разному отраженных в параметрах СКП. Этим объясняется несовпадение характеров поведения этих параметров во времени.

Отсюда возникает невозможность применения методов изучения эмоций, возникновение которых жестко «привязано» к моменту появления эмоциогенного стимула, в ситуациях со сложной динамикой, что характерно при восприятии музыкальных мелодий.

3.   Цифровая обработка параметров СКП, результаты которой представлены в упрощенном интегральном формате в виде двумерного графика XY, позволяет определить некоторые стилевые качества индивидуального восприятия музыки, отраженные в относительно устойчивой для данного испытуемого конфигурации аппроксимирующего эллипса. В частности, по осям эллипса можно определить частотный и амплитудный диапазон общей электрической активации (электротонус) испытуемого.

Надеюсь, что в дальнейшем идея интегральной репрезентации динамики психических процессов в непрерывно меняющихся ситуациях станет более экологической альтернативой дисперсионному анализу.

[1] Внутреннее устройство мыши было модифицировано автором.

[2] В программе Acknowlege 4.4.1 для автоматического построения такого графика нужно последовательно включить вкладки Dysplay ^ Show ^ XY. Перед этим из первичной записи СКП удаляется низкочастотная компонента 1 Гц (вкладки Transform ^ Digitel Filters ^ High Pass), далее вычисляется RMS (вкладки Analysis ^ Electromyography ^ Derive RMS) при эпохе анализа 3 с и производится частотный анализ высокочастотной компоненты СКП (вкладки Analysis ^ Electromyography ^ Frequency and Power Analysis), в результате которого получают, в частности, функцию медианной частоты от времени (см. рис. 1).

[3] Такой график похож на график рассеивания, известный по корреляционным исследованиям, однако это сходство внешнее.

Литература

  1. Адорно Т.В. Типы отношения к музыке // Избранное: Социология музыки: пер. с нем. 2-е изд. / Сост. С.Я. Левит, С.Ю. Хурумов; М.: Российская политическая энциклопедия, 2008. С. 10—26.
  2. Апарина И.М. Влияние музыки и музыкальной деятельности на эмоциональное развитие детей // Музыкальное и художественное образование детей и юношества: теория и практика: межвузовский сборник научных трудов. Уральский гос. пед. ун-т / Отв. ред. К.П. Матвеева. Екатеринбург, 2011. С. 13—17.
  3. Бочкарев Л.Л. Психология музыкальной деятельности. М.: Институт психологии РАН, 2004. 352 с.
  4. Готсдинер А.Л. Музыкальная психология. М.: Изд. Межд. акад. пед. наук, 1993. 189 с.
  5. Кирнарская Д.К. Музыкальное восприятие // Музыкальная психология и психология музыкального образования: Теория и практика : учебник для студ. муз. фак. учреждений высш. пед. проф. Образования. 2-е изд., перераб. и доп / [Д.К. Кирнарская, Н.И. Киященко, К.В. Тарасова и др.]; под. ред. Г.М. Цыпина. М. : Издательский центр «Академия», 2011. С. 68—123.
  6. Курт Э. Структура музыкального восприятия. Тонпсихология и музыкальная психология // Психология музыки и музыкальных способностей: хрестоматия / Сост. и ред. А.Е. Тарас. М.: АСТ; Минск: Харвест, 2005. С. 643—673.
  7. Назаров А.И. Сравнение частотных компонент ЭЭГ и кожного потенциала (количественный анализ) // Экспериментальная психология. 2018. Том 11. №. 2. С. 95—109. DOI:10.17759/ exppsy.2018110207
  8. Овсянкина Г.П. Музыкальная психология. М.: Союз художников, 2007. 240 с.
  9. Петрушин В.И. Познавательные процессы в деятельности музыканта // Музыкальная психология: учеб. пособие для вузов. 3-е изд. М: Академический проект; Гаудеамус, 2009. С. 188.
  10. Полякова А.С. Психосоматические индикаторы эмоциональных состояний при восприятии музыки: магистерская диссертация. Государственный университет «Дубна», 2019.
  11. Теплов Б.М. Основные музыкальные способности. Гл. IX / Психология музыкальных способностей. М. : Изд-во Академии пед. наук, 1947. С. 303—319.
  12. Яворский Б., Беляева С-Э. Структура мелодии. М.: Государственная академия художественных наук, 1929.
  13. Grewe O.N.F., Reinhard K., Altenmuller E. Emotions over time: synchronicity and development of subjective, physiological, and facial affective responses to music // Emotion. 2007. Vol. 7. Р. 774—788.
  14. Gupta U., Gupta B.S. Psychophysiological reactions to music in male coronary patients and healthy controls // Psychology of Music. 2015. Vol. 43(5). P. 736—755.
  15. Juslin P.N., Vastfjall D. Emotional responses to music: the need to consider underlying mechanisms // Behavioral Brain Science. 2008. Vol. 31. P. 559—621.
  16. Koelsch S., Jentschke S., Sammler D., and D. Mietchen. Untangling syntactic and sensory processing: An ERP study of music perception // Psychophysiology. 2007. Vol. 44. Р. 476—490.
  17. Krumhansl C.L. An exploratory study of musical emotions and psychophysiology // Canadian J. Experimental Psychology. 1997. Vol. 51. Р. 336—353.
  18. Lundqvist L-O., Carlsson F., Hilmersson P., Juslin P.N. Emotional responses to music: experience, expression, physiology // Psychology of Music. 2009. Vol. 37. Р. 61—90.
  19. Music Perception / Eds. M.R. Jones, R.R. Fay, A.N. Popper. Springer. New York — Dordrecht — Heidelberg — London. 2010.
  20. Nykliček I., Thayer J.F., Van Doornen L.J.P. Cardiorespiratory differentiation of musically induced emotions. // J. Psychophysiology. 1997. Vol. 11. P. 304—321.
  21. Peretz I. Towards a neurobiology of musical emotions / Handbook of Music and Emotion: Theory, Research, Applications / P.N Juslin, J.A Sloboda (eds). Oxford: Oxford University Press. 2010. P. 99—126.
  22. Sammler D., Grigutsch M., Fritz T., Koelsch S. Music and emotion: electrophysiological correlates of the processing of pleasant and unpleasant music // Psychophysiology. 2007. Vol. 44. Р. 293—304.
  23. Schmidt L.A., Trainor L.J. Frontal brain electrical activity (EEG) distinguishes valence and intensity of musical emotions // Cognition and. Emotion. 2001. Vol. 15. Р. 487—500.
  24. Sokhadze E.M. Effects of music on the recovery of autonomic and electrocortical activity after stress induced by aversive visual stimuli // Applied psychophysiology and biofeedback. 2007. Vol. 32. № 1. P. 31—50.
  25. Witvliet C.V.O., Vrana S.R. Play it again Sam: repeated exposure to emotionally evocative music polarises liking and smiling responses and influences other affective reports facial EMG and heart rate // Cognition and Emotion. 2007. Vol. 21. P. 3—25.
  26. Zentner M.R., Grandjean D., Scherer K.R. Emotions evoked by the sound of music: characterization classification and measurement // Emotion. 2008. Vol. 8. P. 494—521.

Информация об авторах

Назаров Анатолий Иосифович, кандидат психологических наук, доцент кафедры психологии ФСГН, Государственный университет «Дубна» (ГБОУ ВО МО «Университет “Дубна”»), Дубна, Россия, ORCID: https://orcid.org/0000-0002-5844-0688, e-mail: koval39@inbox.ru

Метрики

Просмотров

Всего: 570
В прошлом месяце: 14
В текущем месяце: 5

Скачиваний

Всего: 148
В прошлом месяце: 4
В текущем месяце: 1