Модель предсказания аффективных характеристик цветовой палитры изображений

В исследовании используются технологии компьютерного зрения и машинного обучения для оценки связи эмоциональной разметки изображений с характеристиками их цветовой палитры. Цветовая палитра изображений в пространстве HSV оценивалась с помощью модифицированного алгоритма кластеризации изображений, в которой состав центроидов кластеров определялся произвольно. В качестве центроидов кластеров были взяты цвета теста Люшера. Стимульный материал для обучения модели случайного леса нами был взят из базы Open affective standardized image set (OASIS). Параметры итоговой модели случайного леса для тестовой выборки: AUC = 0,77, Accuracy = 0,744, Kappa = 0,489; для обучающей выборки: AUC = 0,969, Accuracy = 0,904, Kappa = 0,808. Достигнутая точность классификации может интерпретироваться как достаточная при условии, что исходная разметка корпуса, на котором происходило обучение, имеет эмоциональную разметку, учитывающую не только низкоуровневые характеристики изображений, но и семантику сцен. Для проверки валидности модели мы: 1) использовали предварительно обученную модель случайного леса для оценки эмоциональной валентности базы художественных фотографий и базы абстрактных изображений; 2) статистически оценили качество оценки валентности конкретных эмоций у художественных фотографий и абстрактных изображений; 3) сопоставили результаты, полученные для обеих баз. Полученные результаты позволяют заключить, что предложенная модель случайного леса применима для решения задач на классификацию изображений по характеристикам цветовой палитры. Если уверенность отнесения к классу позитивных или негативных изображений более 60 %, мы можем предсказать, что цветовая палитра стимульного материала будет вызывать изумление, благоговение, возбуждение, страх или огорчение у испытуемых. Качество распознавания таких негативных эмоций, как гнев и отвращение, недостаточно хорошо. Предложенную модель рекомендуется использовать для гибридной разметки стимульного материала, особенно в случаях первичной оценки эмоциональной валентности изображений.

Базыма Б. А. Психология цвета: Теория и практика. СПб.: Речь, 2007.

Дубровская О. Ф. (сост.). Руководство по использованию восьмицветового теста Люшера. М.: Когито-Центр, 2008.

Маккини У. Python и анализ данных. М.: ДМК Пресс, 2020.

Мастицкий С. Э., Шитиков В. К. Статистический анализ и визуализация данных с помощью R. М.: ДМК, 2015.

Морозова С. В. Анализ текстов и изображений в психологических исследованиях с помощью библиотеки «psyscaling» // Ананьевские чтения — 2023. 60 лет социальной психологии в СПбГУ: Человек в современном мире: потенциалы и перспективы психологии развития. [Б. м.]: Кириллица, 2023.

Солем Я. Программирование компьютерного зрения на языке Python. М.: ДМК Пресс, 2016.

Хейт М., Груздев А. Изучаем Pandas. М.: ДМК Пресс, 2019.

Bartoszek G., Cervone D. Toward an implicit measure of emotions: Ratings of abstract images reveal distinct emotional states // Cognition and Emotion. 2017. Vol. 31 (7). P. 1377–1391.

Benjamini Yo., Yekutieli D. The control of the false discovery rate in multiple testing under dependency // Annals of statistics. 2001. Vol. 29 (4). P. 1165–1188.

Kurdi B., Lozano S., Banaji M. R. Introducing the open affective standardized image set (OASIS) // Behavior research methods. 2017. Vol. 49. P. 457–470.

Lüscher M. Psychologie der Farben. English The Lüscher color test / transl. and ed. by I. A. Scott. New York: Random House, [1969].

Machajdik J., Hanbury A. Affective image classification using features inspired by psychology and art theory // Proceedings of the 18th ACM international conference on Multimedia (MM ‘10). New York: ACM, 2010. P. 83–92. https://doi.org/10.1145/1873951.1873965

Sokolov E. N., Boucsein W. A psychophysiological model of emotion space // Integrative Physiological and Behavioral Science. 2000. Vol. 35. P. 81–119.

Yeo I. K., Johnson R. A. A new family of power transformations to improve normality or symmetry // Biometrika. 2000. Vol. 87 (4). P. 954–959. https://doi.org/10.1093/biomet/87.4.954

Zhao S., Huang Q., Tang Yo., Yao X., Yang J., Ding G., Schuller B. W. Computational emotion analysis from images: Recent advances and future directions // Human Perception of Visual information: psychological and computational perspectives. Berlin: Springer International Publishing, 2022. P. 85–113.

Zhao S., Yao Z., Yang J., Jia G., Ding G., Chua T.-S., Schuller B. W., Keutzer K. Affective image content analysis: Two decades review and new perspectives // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021. Vol. 44 (10). P. 6729–6751.