База данных ENRuN с оценками эмоциональной окраски русских существительных

Контекст и актуальность. Базы с эмоциональными оценками стимулов необходимы при изучении переработки эмоциональной информации и для других исследований, где требуется контролировать эмоциональный компонент стимуляции. Эмоциональная окраска стимулов традиционно оценивается в рамках двух подходов к описанию эмоций: многомерного (оценки по континуальным шкалам) и категориального (оценки связи с отдельными эмоциональными категориями). Базы с эмоциональными оценками слов созданы для разных языков, но лишь в немногих из них реализуются оба подхода, хотя их совместное использование позволяет более тонко учитывать особенности стимулов. Методы и материалы. В статье дается характеристика базы ENRuN (Emotional Norms for Russian Nouns), включающей эмоциональные оценки 378 существительных русского языка. Каждое слово оценивалось в рамках многомерного (валентность и возбуждение) и категориального подхода (степень связи с эмоциональными категориями радость, грусть, злость, страх, отвращение). Результаты. Анализ связей между этими параметрами показал, что они часто носят нелинейный характер. Результаты обсуждаются с точки зрения современных моделей структуры аффекта. В целом паттерн полученных связей схож с результатами, полученными на других языках, что свидетельствует о валидности полученных оценок. Выводы. База ENRuN может использоваться в широком круге экспериментальных исследований, посвященных переработке эмоциональных стимулов.

Введение

В современной аффективной и когнитивной науке одним из важных направлений исследований является изучение особенностей переработки эмоциональной информации и влияния эмоционального содержания стимулов на протекание когнитивных процессов. В частности, существуют данные, что отрицательные слова перерабатываются медленнее, чем положительные (Kuperman et al., 2014), угрожающие стимулы автоматически привлекают к себе внимание (Yiend, 2010) и т. д.

Для проведения таких исследований необходимо использовать эмоциональные и нейтральные стимулы, и их подбор становится для исследователя отдельной трудоемкой задачей. Существуют разные виды вербальных и невербальных эмоциональных стимулов, в данной статье мы сосредоточимся на вербальных — словах.

Стандартной практикой определения эмоционального содержания стимулов является привлечение респондентов, которые оценивают большой их набор по заданным параметрам. Полученные оценки обобщаются и в дальнейшем используются для отбора стимулов в основное исследование. Чтобы облегчить работу исследователей, а также унифицировать стимульный материал, использующийся в разных экспериментах, создаются специальные базы (списки, датасеты) — большие наборы стимулов, эмоциональные оценки для которых заранее получены на представительных выборках респондентов.

Рассматривая вопрос о том, какие эмоциональные параметры следует учитывать при оценивании эмоциональной окраски, исследователи придерживаются двух основных подходов, соответствующих принятым в современной аффективной науке подходам к классификации эмоций, — многомерного (dimensional) и категориального (categorical, discrete) (Shiota, 2018; Harmon-Jones, Harmon-Jones, Summerell, 2017).

В рамках многомерного подхода все эмоциональные состояния (а также эмоциональные стимулы) предлагается характеризовать несколькими континуальными шкалами, количество и конкретный набор которых различается в разных теоретических моделях (Russell, 1980; Watson, Tellegen, 1985; Schimmack, Grob, 2000; Люсин, 2019). Практически любая модель включает такие шкалы, как валентность (valence) — оценочное качество, характеристика состояния как положительного или отрицательного, приятного или неприятного, — и возбуждение (arousal) — интенсивность ментальной и/или физической активации. Часто с учетом описанной Ч. Осгудом и др. структуры эмоционального значения (Osgood, Suci, Tannenbaum, 1957) добавляется третья шкала, доминантность (Mehrabian, Russell, 1974; Mehrabian, 1996) — степень контроля или подчиненности. Именно эти три параметра представлены в наиболее популярной англоязычной базе ANEW (Affective Norms for English Words (Bradley, Lang, 1999a)), которая позже была адаптирована на многие языки, а также легла в основу создания других аналогичных баз. Каждое слово в ней характеризуется по этим трем шкалам.

В рамках категориального подхода к описанию и классификации эмоций каждое эмоциональное состояние рассматривается как отдельная категория (например, радость, грусть, злость, страх и т.д.), качественно отличная от других. Такой подход наиболее отчетливо реализуется в теориях базовых эмоций. При переносе этой теоретической идеи на оценку эмоциональной окраски стимулов авторы выбирают несколько эмоциональных категорий, либо обращаясь к спискам базовых эмоций, например по П. Экману (Ekman, Sorenson, Friesen, 1969), либо руководствуясь собственными целями и интересами. В итоге каждое слово получает оценки одновременно по нескольким эмоциональным категориям, что в некотором смысле также помещает каждый стимул в пространство континуумов, но в данном случае этими континуумами являются конкретные эмоции. Например, в работе Стивенсона и др. (Stevenson, Mikels, James, 2007) представлены оценки слов из базы ANEW по таким категориям, как радость, грусть, страх, отвращение и злость.

К настоящему времени создано уже достаточно большое количество баз с эмоциональными оценками слов (см. обобщающую базу KAPODI (Diconne et al., 2022)). Изначально базы разрабатывались для слов английского языка, но с увеличением популярности исследований эмоциональной переработки они стали адаптироваться или создаваться и для других языков. Наиболее популярными эмоциональными оценками в таких базах оказываются оценки в рамках многомерного подхода — по шкалам валентности и возбуждения. И лишь для небольшого процента списков слов предлагаются оценки в рамках категориального подхода. Тем не менее, аналогично тому, как подчеркивается важность обоих подходов к описанию эмоций при изучении субъективного эмоционального опыта (Harmon-Jones, Harmon-Jones, Summerell, 2017), некоторые авторы, занимающиеся разработкой баз с эмоциональными стимулами, указывают на то, что использование обоих подходов при получении эмоциональных оценок стимулов также оказывается полезным. Например, показано, что набор эмоциональных категорий, оценки по которым лучше предсказывают показатели валентности, различаются для положительных и отрицательных слов (Stevenson, Mikels, James 2007), а скорость распознавания слов может определяться степенью связи слова с конкретной эмоциональной категорией даже при уравнивании валентности и возбуждения (Briesemeister, Kuchinke, Jacobs, 2011). Таким образом, использование оценок эмоциональной окраски разных типов позволяет исследователям более тонко подбирать стимульный материал в эксперименты, уравнивая слова по возможно большему количеству параметров, и проверять более сложные гипотезы.

При этом информация о том, как связаны между собой оценки, полученные в рамках категориального и многомерного подходов, может представлять интерес сама по себе, косвенно проливая свет на специфику структуры эмоциональных значений и эмоционального опыта. И хотя подобный анализ проводился для других языков, проведение его на материале русского языка может позволить уточнить имеющиеся данные.

На русском языке существует только одна база данных, в которой представлены эмоциональные оценки слов и в многомерном, и в категориальном подходах, — ENRuN (Emotional Norms for Russian Nouns). Полностью информация о ней прежде не представлялась в единой публикации: информация о категориальных оценках была опубликована (Люсин, Сысоева, 2017), а данные с оценками в рамках многомерного подхода были представлены лишь на конференции (Сысоева, Люсин, 2016). ENRuN включает эмоциональные оценки 378 имен существительных по семи параметрам. Два из них —– валентность и возбуждение — реализуют многомерный подход к оценке эмоциональных стимулов; другие пять параметров — связь с радостью, грустью, злостью, страхом и отвращением — реализуют категориальный подход. Эти параметры были выбраны в связи с тем, что они чаще всего используются в исследованиях переработки эмоциональной информации и включаются в аналогичные базы данных на других языках. Цель данной статьи — представить полностью базу ENRuN и проанализировать связь различных параметров эмоциональной оценки на примере приведенных в ней данных.

Материалы и методы

Подбор слов для включения в базу ENRuN

Был составлен список из 378 имен существительных русского языка, в который включались слова разной частотности (по словарю Ляшевской, Шарова (2009)) и длины (2—14 букв; 1—5 слогов). Предложенный набор слов по замыслу составителей должен содержать как слова с ярко выраженной эмоциональной окраской (положительной и отрицательной), так и слова без выраженной эмоциональной окраски (нейтральные слова). В список включались слова, использовавшиеся в экспериментах по переработке эмоциональной информации самими авторами и другими исследователями, а также антонимы, синонимы и ассоциации к этим словам. Более подробная информация о подборе слов приводится в нашей более ранней публикации (Люсин, Сысоева, 2017). Эмоциональные оценки для каждого слова получены в рамках многомерного и категориального подходов.

Выборка и процедура

Оценки в рамках категориального подхода были получены на выборке, включавшей 100 человек 17—27 лет (M = 18,67, SD = 2,04), 43% мужчин, 57% женщин. Весь список слов был разделен случайным образом на две половины. Каждому участнику предлагалось оценить доставшийся ему набор слов по пяти параметрам: насколько слово ассоциируется с такими эмоциями, как радость, грусть, злость, страх и отвращение, используя шкалу от 0 до 5. При этом 14 слов были предъявлены каждому респонденту, причем дважды; оценки этих слов использовались для расчета показателей надежности и качества работы участников. Оценки собирались на бумажных бланках в присутствии экспериментатора. Более подробно процедура сбора и обобщения этих оценок описана ранее (Люсин, Сысоева, 2017). В результате каждое слово было оценено 46—100 респондентами.

Оценки в рамках многомерного подхода были получены на другой выборке, включавшей 190 человек 17—31 года (M = 19,49, SD = 2,14), 29% мужчин, 71% женщин. Процедура и методика сбора данных были аналогичны описанным выше, отличалась лишь инструкция. Респондент должен был оценить каждое слово по двум параметрам: валентность (насколько слово связано с положительными или отрицательными эмоциями) и эмоциональное возбуждение (насколько слово связано с высоким или низким эмоциональным возбуждением). Для оценки валентности использовалась шкала от 1 до 7, где 1 означало, что слово очень отрицательное, 7 — что слово очень положительное, а 4 — что слово ни положительное, ни отрицательное. Для оценки возбуждения также использовалась шкала от 1 до 7, но здесь 1 означала низкую степень эмоционального возбуждения, 7 — высокую, а 4 — среднюю (см. подробнее в Сысоева, Люсин, 2016). Каждое слово было оценено 90—190 респондентами.

Результаты

Для анализа данных использовался статистический пакет JASP 0.17.2.1 (JASP Team, 2023).

Описание базы ENRuN

В результате обобщения собранных данных была получена база ENRuN, содержащая нормативные оценки эмоциональной окраски русских существительных. Для каждого слова представлены средние значения, стандартные отклонения, минимальные и максимальные оценки по каждому параметру, а также количество человек, оценивших данное слово. Дополнительно для каждого слова указана частотность по словарю Ляшевской, Шарова (2009) и длина в буквах и слогах. Эта информация представлена как по выборке в целом, так и отдельно для подвыборок мужчин и женщин, а слова, имеющие значимые различия в оценках мужчин и женщин по какому-нибудь из параметров (по t-критерию Стьюдента), снабжены соответствующими пометками.

База ENRuN размещена в открытом доступе и предназначена для свободного распространения (https://www.doi.org/10.13140/RG.2.2.33177.62566).

Описательная статистика по каждому параметру эмоциональной оценки для всех слов по выборке в целом приведена в табл. 1.

Таблица 1 / Table 1

Описательная статистика для каждого параметра эмоциональной оценки слов из базы ENRuN

Descriptive statistics for each emotional parameter in the ENRuN database

Как видно, разброс по каждому параметру достаточно высок и почти достигает экстремальных показателей шкал оценивания (0—5 для категориального и 1—7 для многомерного подходов), при том, что средние в целом невысоки (для категориального подхода) или стремятся к центру шкалы (для многомерного подхода). Это закономерно, так как в базе содержатся и эмоционально окрашенные, и нейтральные слова.

Связи между различными параметрами эмоциональных оценок слов

Для оценки связей между различными параметрами эмоциональных оценок вычислялись коэффициенты корреляции Спирмена. Сначала анализировались связи между оценками в категориальном подходе, они приведены в табл. 2, а соответствующие диаграммы рассеяния — на рис. 1.

Таблица 2 / Table 2

Коэффициенты корреляции Спирмена между оценками в категориальном подходе

Spearman correlation coefficients between categorical and dimensional ratings

Примечание: «***» — корреляция значима на уровне 0,001 (двусторонняя).
Note: «***» — correlation is significant at the 0,001 level (two-sided).

Все корреляции между оценками по эмоциональным категориям значимы и достаточно высоки. Оценки по категории радость отрицательно коррелируют с оценками по остальным четырем эмоциональным категориям, которые относятся к отрицательным эмоциям (грусть, злость, страх, отвращение). Однако при визуальном анализе диаграмм рассеяния можно заметить, что эти связи не линейные, но имеют L-образную (или гиперболическую) форму. Получается, что низкие показатели по радости могут сочетаться с любыми показателями по отрицательным эмоциональным категориям, а низкие оценки по отрицательным эмоциональным категориям могут сочетаться с любыми оценками по радости. При этом сочетания высоких оценок по радости с высокими оценками по отрицательным эмоциональным категориям отсутствуют. Оценки по категориям отрицательных эмоций положительно коррелируют между собой. Визуальный анализ диаграмм рассеяния показывает, что при низких оценках связь более тесная, но при высоких оценках она ослабевает. Иначе говоря, низким оценкам по одной отрицательной эмоции обычно соответствуют низкие оценки и по другим отрицательным эмоциям, однако высоким оценкам по одной отрицательной эмоции могут соответствовать как высокие, так и низкие оценки по другим отрицательным эмоциям.

Связь между оценками в многомерном подходе (шкалы валентность и возбуждение) также оценивалась с помощью коэффициента корреляции Спирмена; она является отрицательной и довольно низкой, хоть и статистически значимой (r = –0,114, p = 0,005). Очевидно, что не имеет смысла интерпретировать эту связь как линейную, потому что она имеет выраженную U-образную форму: нейтральные слова оцениваются как связанные с наиболее низким возбуждением, а нарастание валентности (и положительной, и отрицательной) сопровождается нарастанием возбуждения (см. рис. 2).

Наибольший интерес представляют связи между параметрами эмоциональной оценки в рамках многомерного и категориального подходов. Коэффициенты корреляции Спирмена для них представлены в табл. 3, а диаграммы рассеяния — на рис. 3.

Таблица 3 / Table 3

Коэффициенты корреляции Спирмена между оценками в многомерном и категориальном подходах

Spearman correlation coefficients between dimensional and categorical ratings

Примечание: «***» — корреляция значима на уровне 0,001 (двусторонняя).
Note: «***» — correlation is significant at the 0,001 level (two-sided).

Оценки по шкале валентность высоко коррелируют с оценками по всем эмоциональным категориям. Положительная и наиболее сильная связь наблюдается с оценками по радости (коэффициент корреляции близок к единице). С остальными эмоциональными категориями корреляции отрицательные, при этом форма связей гиперболическая.

Корреляции оценок по возбуждению с оценками по эмоциональным категориям в целом ниже. С категорией радость коэффициент корреляции практически нулевой (r = –0,032, p = 0,536). По диаграмме рассеяния можно увидеть, что низким оценкам по радости могут соответствовать любые оценки по возбуждению, однако при увеличении оценок по радости оценки по возбуждению становятся все менее вариативными, стремясь к высоким значениям. Ту же форму имеют и связи оценок по возбуждению с отрицательными эмоциями; соответствующие коэффициенты корреляции средние по величине, между 0,4 и 0,5. До некоторой степени исключением является категория отвращение (r = 0,283), которая более слабо связана с возбуждением.

Обсуждение результатов

Созданная база ENRuN позволила провести анализ связей между разными параметрами эмоциональных оценок слов на материале 378 существительных русского языка.

Между шкалами валентность и возбуждение наблюдается выраженная U-образная связь, что соответствует результатам аналогичных исследований лексиконов и русского (Марченко, 2019), и других языков (Bradley, Lang, 1999a; Warriner, Kuperman, Brysbaert, 2013; Hinojosa et al., 2016; Xu, Li, Chen, 2022; Mahjoubnavaz, Mokhtari, Khosrowabadi, 2024 и многие другие). Результаты многочисленных исследований обнаруживают следующую закономерность: слова, нейтральные с точки зрения валентности, характеризуются низким эмоциональным возбуждением, в то время как слова с выраженной валентностью (очень положительные или очень отрицательные) связаны с высоким возбуждением. Эти результаты хорошо соответствуют модели Д. Уотсона и А. Теллегена (Watson, Tellegen, 1985), предполагающей двухфакторную структуру аффекта, в которой факторы «Позитивный аффект» и «Негативный аффект» являются независимыми, представляя собой комбинацию валентности и возбуждения. В то же время эти результаты не согласуются с известной круговой моделью ядерного аффекта Дж. Расселла (Russell, 1980), представляющую валентность и возбуждение как две независимые шкалы. Таким образом, если исследователи ставят перед собой задачу проанализировать отдельно роль валентности и возбуждения при переработке эмоциональных стимулов, они сталкиваются с той проблемой, что эти параметры невозможно полностью развести.

Что касается структуры связей между оценками по эмоциональным категориям, то отметим два интересных наблюдения. Во-первых, связь между положительной категорией радость и отрицательными эмоциональными категориями не просто отрицательная; это является довольно банальным результатом, соответствующим многим другим исследованиям (Briesemeister, Kuchinke, Jacobs, 2011; Hinojosa et al., 2016; Ferré et al., 2017; Stadthagen-González et al., 2018; Kapucu et al., 2021; Syssau et al., 2021). Эта связь имеет L-образную форму (см. также Speed, Brysbaert, 2024), что могло бы поддерживать теоретические представления о валентности как биполярном конструкте, из чего следует, что эмоциональный стимул не может иметь одновременно положительную и отрицательную окраску. Однако такой вывод кажется преждевременным, потому что в базу ENRuN подбирались слова с более или менее однозначной эмоциональной окраской и при ее расширении в будущем могут выявиться более тонкие закономерности. Во-вторых, связи между отрицательными эмоциональными категориями оказываются сильнее при низких оценках, но ослабевают при повышении оценок. Это может свидетельствовать о том, что отрицательная окраска стимула при низкой интенсивности оказывается слабо дифференцированной, сводясь к общему отрицательному аффекту, и лишь при увеличении интенсивности она дифференцируется на отдельные эмоциональные категории. Таким образом, отбор слов, являющихся «чистыми» представителями какой-либо отрицательной эмоциональной категории, возможно осуществить только в случае использования слов с сильно выраженной отрицательной валентностью. Связи отвращения с другими отрицательными категориями несколько слабее, что совпадает с результатами некоторых других исследований (Ferré et al., 2017; Stadthagen-González et al., 2018; Kapucu et al., 2021; Syssau et al., 2021; Speed, Brysbaert, 2024).

Анализ связи оценок валентности с оценками по радости показывает, что эти шкалы оказываются практически идентичными (r = 0,930). В других работах также показана достаточно высокая связь между ними (Kapucu et al., 2021; Stadthagen-González et al., 2018; Hinojosa et al., 2016; Ferré et al., 2017; Briesemeister, Kuchinke, Jacobs, 2011). Схожесть этих двух шкал прослеживается и в том, как оценки по валентности коррелируют с оценками по отрицательным эмоциональным категориям, а также с возбуждением.

Связь оценок валентности с оценками по отрицательным эмоциональным категориям менее тесная по сравнению с оценками по радости, и схожий паттерн можно проследить в результатах некоторых упомянутых выше исследований других авторов. Отдельно стоит отметить, что оценки по категории грусть, которая часто противопоставляется радости, не обнаруживают столь же высокой отрицательной корреляции с валентностью, что ставит под вопрос это противопоставление. Такие результаты могут объясняться тем, что разнообразие положительных эмоций не столь высоко по сравнению с разнообразием отрицательных, и положительная часть шкалы валентность несет в себе более однозначную информацию об эмоциях, чем ее отрицательная часть.

Оценки по шкале возбуждение в целом невысоко коррелируют с оценками по эмоциональным категориям, а на диаграммах рассеяния можно проследить, что увеличение оценок по ним сопровождается уменьшением разброса оценок по возбуждению, что подтверждает ранее сделанный вывод о том, что выраженная валентная окраска связана с высоким возбуждением.

Для лучшего понимания природы полученных оценок эмоциональной окраски слов полезно иметь в виду, что существует два разных представления о том, что такое эмоциональные стимулы. Во-первых, под эмоциональным можно понимать стимул, который вызывает некоторый эмоциональный отклик у воспринимающего его человека, во-вторых – стимул, который ассоциируется с той или иной эмоцией, безотносительно того, возникает ли на него соответствующая эмоциональная реакция. Эти два представления соответствуют различению ядерного аффекта (как психического состояния) и аффективного качества (как характеристики стимула) у Дж. Расселла (Russell, 2003) и различению аффективной и семантической валентности у О. Иткес с соавторами (Itkes, Kron, 2019; Itkes et al., 2017). К сожалению, при создании баз данных с эмоциональными оценками стимулов это различение редко артикулируется, а исследователи даже не всегда приводят дословные инструкции, что не позволяет понять, что именно подлежало оценке.

При создании базы ENRuN в инструкции давалось задание оценить эмоциональную окраску слов, то есть аффективное качество стимулов. Однако при создании некоторых других аналогичных баз, таких как ANEW (Bradley, Lang, 1999a) или баз с изображениями и звуками (Bradley, Lang, 1999b; Lang, Bradley, Cuthbert, 2008), респондентов просили оценивать свои эмоциональные реакции. Авторы базы с эмоциональными изображениями OASIS напрямую сопоставили оценки, полученные с двумя видами инструкции, и показали, что результаты в основном совпадают друг с другом (Kurdi, Lozano, Banaji, 2017). Такой результат может объясняться нечувствительностью респондентов к этому различению и, следовательно, смешением в ответах оценок эмоциональной окраски слов и оценок собственной эмоциональной реакции. Однако, учитывая, что в стандартных процедурах респондент оценивает много десятков или сотен стимулов в течение небольшого интервала времени, вряд ли следует ожидать, что на каждый из них он действительно эмоционально реагирует, поэтому, скорее всего, в базах содержатся именно «семантические» эмоциональные оценки.

Заключение

В результате проведенной работы была создана база данных ENRuN, включающая нормативные оценки эмоциональной окраски 378 существительных русского языка. Каждое слово оценивалось в рамках категориального (степень связи с эмоциональными категориями радость, грусть, злость, страх, отвращение) и многомерного (валентность и возбуждение) подхода. База ENRuN может использоваться в широком круге экспериментальных исследований, посвященных переработке эмоциональных стимулов.

Анализ связей между этими оценками показал, что они часто носят нелинейный характер. В целом результаты схожи с результатами, полученными на других языках, что косвенно свидетельствует о валидности представленных в базе ENRuN оценок.

Главным ограничением данной работы является то, что связи анализировались на относительно небольшой выборке слов, которые, к тому же, специально подбирались так, чтобы среди них были и отрицательные, и положительные, и нейтральные, поэтому переносить эти результаты на весь лексический состав языка следует с осторожностью.

База данных ENRuN является важным инструментом для изучения переработки эмоциональных стимулов, анализа тональности текстов, разработки процедур индукции эмоций в лабораторных условиях и т. п. Перспектива дальнейших исследований состоит в существенном увеличении объема этой базы данных, для чего сейчас ведется работа по созданию ENRuN-2, в которую будет включено несколько тысяч русских существительных, а также в добавлении новых параметров эмоциональных оценок, включая более разнообразные эмоциональные категории и различение аффективной и семантической валентности.

1. Люсин, Д.В. (2019). Трехмерная модель структуры эмоциональных состояний, основанная на русскоязычных данных. Психология. Журнал Высшей школы экономики, 16(2), 341—356. https://doi.org/10.17323/1813-8918-2019-2-341-356
   Lyusin, D.V. (2019). A Three-Dimensional Model of the Affect Structure Based on the Russian Data. Psychology. Journal of the Higher School of Economics, 16(2), 341–356. (In Russ.). https://doi.org/10.17323/1813-8918-2019-2-341-356
2. Люсин, Д.В., Сысоева, Т.А. (2017). Эмоциональная окраска имен существительных: база данных ENRuN. Психологический журнал, 38(2), 122—131.
   Lyusin, D.V., Sysoeva, T.A. (2017). Emotional norms for nouns: the database ENRuN. Psychological journal, 38(2), 122—131. (In Russ.).
3. Ляшевская, О.Н., Шаров, С.А. (2009). Новый частотный словарь русской лексики. М.: Азбуковник.
   Lyashevskaya, O.N., Sharov, S.A. (2009). A new frequency dictionary of Russian vocabulary. Moscow: Azbukovnik. (In Russ.).
4. Марченко, О.П. (2019). Роль фактора культуры в подборе аффективно-окрашенного стимульного материала по шкалам валентности, эраузала и доминантности для исследований лицевых экспресcий. В: К.И. Ананьева, В.А. Барабанщиков, А.А. Демидов (Ред.), Лицо человека: познание, общение, деятельность: коллективная монография (с. 165—185). М.: Московский институт психоанализа.
   Marchenko, O.P. (2019). The role of the culture in the affective stimuli selection on the scales of valence, arousal and dominance for studies of facial expressions. In: K.I. Anan'eva, V.A. Barabanshhikov, A.A. Demidov (Eds.), The human face: cognition, communication, activity: a collective monograph (pp. 165—185). Moscow: Moscow Institute of Psychoanalysis. (In Russ.).
5. Сысоева, Т.А., Люсин, Д.В. (2016). ENRuN: база данных с нормативными оценками эмоциональной окраски существительных русского языка. В: В.А. Барабанщиков (Ред.), Процедуры и методы экспериментально-психологических исследований (с. 126—131). М.: Изд-во «Институт психологии РАН».
   Sysoeva, T.A., Lyusin, D.V. (2016). ENRuN: the database with norms of emotional ratings for Russian nouns. In: V.A. Barabanshchikov (Ed.), Procedures and methods of experimental psychological research (pp. 126—131). Moscow: Institute of Psychology of the Russian Academy of Sciences Publishing House. (In Russ.).
6. Bradley, M.M., Lang, P.J. (1999a). Affective norms for English words (ANEW): Stimuli, instruction manual and affective ratings. Technical report C-1. Gainesville, FL, The Center for Research in Psychophysiology, University of Florida.
7. Bradley, M.M., Lang, P.J. (1999b). International affective digitized sounds (IADS): Stimuli, instruction manual and affective ratings (Technical Report No. B-2). Gainesville, FL, University of Florida, Center for Research in Psychophysiology.
8. Briesemeister, B.B., Kuchinke, L., Jacobs, A.M. (2011). Discrete emotion norms for nouns: Berlin affective word list (DENN-BAWL). Behavior research methods, 43(2), 441—448.
9. Diconne, K., Kountouriotis, G.K., Paltoglou, A.E., Parker, A., Hostler, T.J. (2022). Presenting KAPODI — The searchable database of emotional stimuli sets. Emotion Review, 14(1), 84—95. https://doi.org/10.1177/17540739211072803
10. Ekman, P., Sorenson, E.R., Friesen, W.V. (1969). Pan-cultural elements in facial displays of emotion. Science, 164(3875), 86—88. https://doi.org/10.1126/science.164.3875.86
11. Ferré, P., Guasch, M., Martínez-García, N., Fraga, I., Hinojosa, J.A. (2017). Moved by words: Affective ratings for a set of 2,266 Spanish words in five discrete emotion categories. Behavior research methods, 49(3), 1082—1094. https://doi.org/10.3758/s13428-016-0768-3
12. Harmon-Jones, E., Harmon-Jones, C., Summerell, E. (2017). On the Importance of Both Dimensional and Discrete Models of Emotion. Behavioral sciences, 7(4), 66. https://doi.org/10.3390/bs7040066
13. Hinojosa, J.A., Martínez-García, N., Villalba-García, C., Fernández-Folgueiras, U., Sánchez-Carmona, A., Pozo, M.A., Montoro, P.R. (2016). Affective norms of 875 Spanish words for five discrete emotional categories and two emotional dimensions. Behavior research methods, 48(1), 272—284. https://doi.org/10.3758/s13428-015-0572-5
14. Itkes, O., Kimchi, R., Haj-Ali, H., Shapiro, A., Kron, A. (2017). Dissociating affective and semantic valence. Journal of experimental psychology. General, 146(7), 924—942. https://doi.org/10.1037/xge0000291
15. Itkes, O., Kron, A. (2019). Affective and semantic representations of valence: A conceptual framework. Emotion Review, 11(4), 283—293. https://doi.org/10.1177/1754073919868759
16. JASP Team. (2023). JASP (Version 0.17.2.1). [Computer software].
17. Kapucu, A., Kılıç, A., Özkılıç, Y., Sarıbaz, B. (2021). Turkish Emotional Word Norms for Arousal, Valence, and Discrete Emotion Categories. Psychological reports, 124(1), 188—209. https://doi.org/10.1177/0033294118814722
18. Kuperman, V., Estes, Z., Brysbaert, M., Warriner, A.B. (2014). Emotion and language: Valence and arousal affect word recognition. Journal of Experimental Psychology: General, 143(3), 1065—1081. https://doi.org/10.1037/a0035669
19. Kurdi, B., Lozano, S., Banaji, M.R. (2017). Introducing the Open Affective Standardized Image Set (OASIS). Behavior research methods, 49(2), 457—470. https://doi.org/10.3758/s13428-016-0715-3
20. Lang, P.J., Bradley, M.M., Cuthbert, B.N. (2008). International affective picture system (IAPS): Affective ratings of pictures and instruction manual. Technical Report A-8. Gainesville, FL, University of Florida.
21. Mahjoubnavaz, F., Mokhtari, S., Khosrowabadi, R. (2024). Norms for 718 Persian Words in Emotional Dimensions, Animacy, and Familiarity. Journal of psycholinguistic research, 53(5), 69. https://doi.org/10.1007/s10936-024-10104-6
22. Mehrabian, A. (1996). Pleasure-arousal-dominance: A general framework for describing and measuring individual differences in temperament. Current Psychology, 14(4), 261—292.
23. Mehrabian, A., Russell, J.A. (1974). An approach to environmental psychology. Cambridge, MA, The MIT Press.
24. Osgood, C.E., Suci, G.J., Tannenbaum, P.H. (1957). The measurement of meaning. Urbana, IL, University of Illinois Press.
25. Russell, J.A. (1980). A circumplex model of affect. Journal of Personality and Social Psychology, 39(6), 1161—1178. https://doi.org/10.1037/h0077714
26. Russell, J.A. (2003). Core affect and the psychological construction of emotion. Psychological Review, 110(1), 145—172. https://doi.org/10.1037/0033-295X.110.1.145
27. Schimmack, U., Grob, A. (2000). Dimensional models of core affect: A quantitative comparison by means of structural equation modeling. European Journal of Personality, 14(4), 325—345. https://doi.org/10.1002/1099-0984(200007/08)14:4<325::AID-PER380>3.0.CO;2-I
28. Shiota, M.N, Kalat, J.W. (2018). Emotion. Third Edition. Oxford University Press.
29. Stadthagen-González, H., Ferré, P., Pérez-Sánchez, M.A., Imbault, C., Hinojosa, J.A. (2018). Norms for 10,491 Spanish words for five discrete emotions: Happiness, disgust, anger, fear, and sadness. Behavior research methods, 50(5), 1943—1952. https://doi.org/10.3758/s13428-017-0962-y
30. Stevenson, R.A., Mikels, J.A., James, T.W. (2007). Characterization of the affective norms for English words by discrete emotional categories. Behavior research methods, 39(4), 1020—1024. https://doi.org/10.3758/bf03192999
31. Speed, L.J., Brysbaert, M. (2024). Ratings of valence, arousal, happiness, anger, fear, sadness, disgust, and surprise for 24,000 Dutch words. Behavior research methods, 56(5), 5023—5039. https://doi.org/10.3758/s13428-023-02239-6
32. Syssau, A., Yakhloufi, A., Giudicelli, E., Monnier, C., Anders, R. (2021). FANCat: French affective norms for ten emotional categories. Behavior research methods, 53(1), 447—465. https://doi.org/10.3758/s13428-020-01450-z
33. Warriner, A.B., Kuperman, V., Brysbaert, M. (2013). Norms of valence, arousal, and dominance for 13,915 English lemmas. Behavior research methods, 45(4), 1191—1207. https://doi.org/10.3758/s13428-012-0314-x
34. Watson, D., Tellegen, A. (1985). Toward a consensual structure of mood. Psychological Bulletin, 98(2), 219—235. https://doi.org/10.1037/0033-2909.98.2.219
35. Xu, X., Li, J., Chen, H. (2022). Valence and arousal ratings for 11,310 simplified Chinese words. Behavior research methods, 54(1), 26—41. https://doi.org/10.3758/s13428-021-01607-4
36. Yiend, J. (2010). The effects of emotion on attention: A review of attentional processing of emotional information. Cognition and Emotion, 24(1), 3—47. https://doi.org/10.1080/02699930903205698