Классификация мимики эмоциональных лиц людьми и нейронной сетью на материале экологически валидной базы изображений

В данной работе исследуется проблема универсальных мимических паттернов для валентностей эмоций, эмоциональных семейств и культурно-специфических эмоций. Для решения этой проблемы проводилось множество исследований, но в них по результатам распознания эмоций респондентами иногда делались выводы об универсальности выражения эмоций, а также использовались традиционные базы изображений, в которых не соблюдаются условия экологической валидности. Сравниваются четыре группы теорий происхождения эмоций: теория универсальности базовых эмоций, теория культурной специфичности базовых эмоций, теория социального научения эмоциям и теория социального конструирования эмоций. Цель исследования: установить, имеет ли мимика людей специфические паттерны для положительной и отрицательной валентностей эмоций (степень положительной или отрицательной аффективной реакции), эмоциональных семейств (включает в себя базовую эмоцию и вариации базовой эмоции) и конкретных эмоций при использовании базы изображений, авторы которой стремились к экологической валидности: фотографируемым не задавалось стандарта паттернов мимики для демонстрации эмоций. Для независимого от респондентов способа рассмотрения процесса выражения используется нейронная сеть teachable machine. Использовалось гетерогенное трансферное обучение. В нашей работе респонденты и нейросеть классифицировали изображения эмоциональных лиц по 14 эмоциям. Респонденты чаще нейросети правильно классифицировали конкретные эмоции. И нейросеть, и люди более эффективно распознавали валентность и эмоциональные семейства, чем конкретные эмоции. Это может говорить о наличии специфических паттернов эмоциональных семейств и валентности эмоций. Возможна слабая специфичность на уровне конкретных эмоций. Результаты соответствуют теории базовых эмоций «New BET» А. Скарантино. Возможна интерпретация в русле теории социального научения эмоциям. Обсуждаются ограничения нейронной сети в распознавании всего диапазона вариаций прототипических выражений эмоций. Описываются дальнейшие возможные кросс-культурные исследования для уточнения результатов.

Барабанщиков В. А., Королькова О. А., Лободинская Е. А. Распознавание эмоций в условиях ступенчатой стробоскопической экспозиции выражений лица // Экспериментальная психология. 2018. Т. 11, № 4. С. 50–69. https://doi.org/10.17759/exppsy.2018110405

Барабанщиков В. А., Суворова Е. В. Оценка эмоционального состояния человека по его видеоизображению // Экспериментальная психология. 2020. Т. 13, № 4. С. 4–24. https://doi.org/10.17759/exppsy.2020130401

Королькова О. А., Лободинская Е. А. База видеоизображений естественных эмоциональных экспрессий: восприятие эмоций и автоматизированный анализ мимики лица // Оптический журнал. 2022. Т. 89, № 8. С. 97–103. https://doi.org/10.17759/exppsy.2021140401

Петракова А. В., Лебедева Е. И., Кузьмина Ю. В., Юрчик Е. Н. Опыт создания российской базы лиц, изображающих различные эмоции: первый этап // Психология. Журнал Высшей школы экономики. 2024. Т. 21, № 2. С. 423–431. https://doi.org/10.17323/1813 8918 2024 2 423 431

Рюмина Е. В., Карпов А. А. Аналитический обзор методов распознавания эмоций по выражениям лица человека // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20, № 2. С. 163–176. https://doi.org/10.17586/2226 1494 2020 20 2 163 176

Федосеева Е. В., Терехова В. А., Цесаренко О. В., Гладкова М. М. Обработка результатов токсикологических исследований в статистической программе R // Принципы экологии. 2015. № 3 (15). С. 12–26. https://doi.org/10.15393/j1.art.2015.4381

Badrulhisham N. A. S., Mangshor N. N. A. Emotion recognition using convolutional neural network (CNN) // Journal of Physics: Conference Series. IOP Publishing. 2021. Vol. 1962, no. 1. P. 012040. https://doi.org/10.1088/1742-6596/1962/1/012040

Bandura A., Walters R. H. Social learning theory. Englewood Cliffs: Prentice hall, 1977. Vol. 1. P. 141–154.

Barrett L. F. Constructing emotion // Psihologijske teme. 2011. Vol. 20, no. 3. P. 359–380.

Barrett L. F. Discrete emotions or dimensions? The role of valence focus and arousal focus // Cognition & Emotion. 1998. Vol. 12, no. 4. P. 579–599. https://doi.org/10.1080/026999398379574

Barrett L. F., Adolphs R., Marsella S., Martinez A. M., Pollak S. D. Emotional expressions reconsidered: Challenges to inferring emotion from human facial movements // Psychological science in the public interest. 2019. Vol. 20, no. 1. P. 1–68. https://doi.org/10.1177/1529100619832930

Barrett L. F., Simmons W. K. Interoceptive predictions in the brain // Nature reviews neuroscience. 2015. Vol. 16, no. 7. P. 419–429. https://doi.org/10.1038/nrn3950

Carney M., Webster B., Alvarado I., Phillips K., Howell N., Griffith J., Jongejan J., Pitaru A., Chen A. Teachable machine: Approachable Web-based tool for exploring machine learning classification // Extended abstracts of the 2020 CHI conference on human factors in computing systems. 2020. P. 1–8. https://doi.org/10.1145/3334480.3382839

Dailey M. N., Cottrell G. W., Padgett C., Adolphs R. EMPATH: A neural network that categorizes facial expressions // Journal of cognitive neuroscience. 2002. Vol. 14, no. 8. P. 1158–1173. https://doi.org/10.1162/089892902760807177

Deng J., Dong W., Socher R., Li L. J., Li K., Fei-Fei L. ImageNet: A large-scale hierarchical image database // 2009 IEEE conference on computer vision and pattern recognition. 2009. P. 248–255. https://doi.org/10.1109/CVPR.2009.5206848

Ekman P. An argument for basic emotions // Cognition & Emotion. 1992. Vol. 6, no. 3–4. P. 169–200. https://doi.org/10.1080/02699939208411068

Ekman P. Basic emotions // Handbook of cognition and emotion. Chichester: Wiley, 1999a. P. 16.

Ekman P. Facial expressions // Handbook of cognition and emotion. Chichester: Wiley, 1999b. P. 320.

Ekman P. Universal facial expressions in emotion // Studia Psychologica. 1973. Vol. 15, no. 2. P. 140–147.

Ekman P. Universals and cultural differences in facial expressions of emotion // Nebraska symposium on motivation. Lincoln: University of Nebraska Press, 1971. P. 207–283.

Ekman P., Friesen W. V. Constants across cultures in the face and emotion // Journal of personality and social psychology. 1971. Vol. 17, no. 2. P. 124. https://doi.org/10.1037/h0030377

Gendron M., Hoemann K., Crittenden A. N., Mangola S. M., Ruark G. A., Barrett L. F. Emotion perception in Hadza hunter-gatherers // Scientific reports. 2020. Vol. 10, no. 1. P. 3867. https://doi.org/10.1038/s41598 020 60257 2

Gendron M., Roberson D., van der Vyver J. M., Barrett L. F. Perceptions of emotion from facial expressions are not culturally universal: evidence from a remote culture // Emotion. 2014. Vol. 14, no. 2. P. 251. https://doi.org/10.1037/a0036052

Gruhn D., Sharifian N. Lists of emotional stimuli // Emotion measurement. Sawston: Woodhead Publishing, 2016. P. 145–164. https://doi.org/10.1016/B978 0 08 100508 8.00007-2

Kretzschmar R., Karayiannis N. B., Eggimann F. Handling class overlap with variance-controlled neural networks // Proceedings of the International Joint Conference on Neural Networks, 2003. New York: IEEE, 2003. Vol. 1. P. 517–522. https://doi.org/10.1109/IJCNN.2003.1223400

Leon E., Clarke G., Callaghan V., Sepulveda F. Real-time detection of emotional changes for inhabited environments // Computers & Graphics. 2004. Vol. 28, no. 5. P. 635–642. https://doi.org/10.1016/j.cag.2004.06.002

Oatley K., Johnson-Laird P. N. The communicative theory of emotions: Empirical tests, mental models, and implications for social interaction // Striving and feeling. Hove: Psychology Press, 2014. P. 363–393.

Russell J. A. Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies // Psychological Bulletin. 1994. Vol. 115, no. 1. P. 102. https://doi.org/10.1037/0033-2909.115.1.102

Sato W., Hyniewska S., Minemoto K., Yoshikawa S. Facial expressions of basic emotions in Japanese laypeople // Frontiers in psychology. 2019. Vol. 10. P. 420264. https://doi.org/10.3389/fpsyg.2019.00259

Scarantino A. Basic emotions, psychological construction, and the problem of variability // The psychological construction of emotion. New York: The Guilford Press, 2015. P. 334–376. https://doi.org/10.1007/s13164 020 00492 8

Scherer K. R., Wallbott H. G. Evidence for universality and cultural variation of differential emotion response patterning // Journal of personality and social psychology. 1994. Vol. 66, no. 2. P. 310. https://doi.org/10.1037/0022-3514.66.2.310

Trommsdorff G. Development of emotions as organized by culture // ISSBD Newsletter. 2006. Vol. 49, no. 1. P. 1–4.