Typology of facial expressions in study participants during joint solution of the discriminatory AB-X task mediated by video communication

In a paired experiment, subjects solved a discriminatory AB-X task. One subject was briefly shown two similar images of transient emotional expressions, A and B, while the other was shown a target image X, matching either A or B. The participants' facial expressions were videotaped throughout the study. For further analysis of facial expressions, we used facial landmarks marking, individual principal component analysis, and a further search for facial expression patterns common to the study participants using k-means cluster analysis. The initial data for the cluster analysis were the loading vectors of individual principal components (up to the 16th component), describing individual complex facial expression patterns. Based on the results of the cluster analysis, 10 clusters were described, fully including the first 5 principal components and partially including components 6 through 12. The identified clusters correspond to the following changes: high-intensity horizontal, vertical, and diagonal shifts of facial position; medium-intensity smile with squinting of the eyes and lowering of the eyebrows; medium-intensity head tilts to the left and right; medium-intensity mouth opening/closing; low-intensity compression of the mouth with simultaneous squinting of the eyes; low-intensity changes in the eyebrow and mouth area; low-intensity left-right rotations around the vertical axis. Further study of changes in the intensity of the generalized principal components during the solution of the target task is planned. It is assumed that this will make it possible to assess the functional role of facial expressions in the conducted model experiment.

1. Барабанщиков, В.А. (2012). Экспрессии лица и их восприятие. М.: ИП РАН.
   Barabanshchikov, V.A. (2012). Facial expressions and their perception. Moscow: IP RAN. (In Russ.).
2. Барабанщиков, В.А., Жегалло, А.В., Королькова, О.А. (2016). Перцептивная категоризация выражений лица. М.: Когито-Центр.
   Barabanschikov, V.A., Zhegallo, A.V., Korolkova, O.A. (2016). Perceptual categorization of facial expressions. Moscow: Kogito-Center. (In Russ.).
3. Барабанщиков, В.А., Жегалло, А.В. (2018). Окуломоторная активность при восприятии динамических и статических выражений лица. Экспериментальная психология, 11(1), 5—34. https://doi.org/10.17759/exppsy.2018110101
   Barabanschikov, V.A., Zhegallo, A.V. (2018). Oculomotor activity at the perception of dynamic and static expressions of the face. Experimental psychology (Russia), 11(1), 5—34. (In Russ.). https://doi.org/10.17759/exppsy.2018110101
4. Жегалло, А.В. (2019). Различия в латентности саккад при опознании периферически экспонируемых изображений лица и комплексных геометрических объектов. В: Е.В. Печенкова, М.В. Фаликман (Ред.), Когнитивная наука в Москве: новые исследования. Материалы конференции 19 июня 2019 г. (с. 167—172). М.: ООО «Буки Веди», ИППиП.
   Zhegallo, A.V. (2019). Differences in saccade latency during recognition of peripherally exposed face images and complex geometric objects. In: E.V. Pechenkova, M.V. Falikman (Ed.), Cognitive Science in Moscow: New Research. Conference Proceedings, June 19, 2019 (pp. 167—172). Moscow: “Buki Vedi”. (In Russ.).
5. Жегалло, А.В. (2023). Регистрация движений глаз при межличностной коммуникации. В: Е.В. Печенкова, М.В. Фаликман (Ред.), Когнитивная наука в Москве: новые исследования. Материалы конференции 21—22 июня 2023 г. (с. 588—592). М.: ООО «Буки Веди», Московский институт психоанализа.
   Zhegallo, A.V. (2023). Recording eye movements in interpersonal communication. In: E.V. Pechenkova, M.V. Falikman (Ed.), Cognitive Science in Moscow: New Research. Conference Proceedings, June 21—22, 2023 (pp. 588—592). Moscow: “Buki Vedi”, MIP. (In Russ.).
6. Жегалло, А.В. (2024). Восприятие лица другого при совместном решении задач. В: И.Ю. Владимиров, С.Ю. Коровкин (Ред.), Психология познания: материалы конференции (с. 126—130). Ярославль: ЯрГУ.
   Zhegallo, A.V. (2024). Perception of another's face in joint problem solving. In: I.Yu. Vladimirov, S.Yu. Korovkin (Ed.), Psychology of Cognition: Conference Proceedings (pp. 126—130). Yaroslavl: YarGU. (In Russ.).
7. Жегалло, А.В., Басюл, И.А. (2019). Парный эксперимент для выявления индикаторов правды и лжи с высокой экологической валидностью. Экспериментальная психология, 12(4), 151—159. https://doi.org/17759/exppsy.2019120412
   Zhegallo, A.V., Basyul, I.A. (2019). A paired experiment to identify indicators of truth and falsehood with high environmental validity. Experimental psychology (Russia), 12(4), 151—159. (In Russ.). https://doi.org/10.17759/exppsy.2019120412
8. Жегалло, А.В., Басюл, И.А. (2023). Предикторы невербального опознания эмоциональных экспрессий лица. Экспериментальная психология, 16(3), 53—68. https://doi.org/10.17759/exppsy.2023160304
   Zhegallo, A.V., Basyul, I.A. (2023). Predictors of Nonverbal Recognition of Emotional Facial Expressions. Experimental Psychology (Russia), 16(3), 53—68. (In Russ.). https://doi.org/10.17759/exppsy.2023160304
9. Жегалло, А.В., Басюл, И.А. (2025). Организация окуломоторной активности человека при совместном решении дискриминационной АВХ-задачи, опосредованном видеокоммуникацией. Экспериментальная психология, 18(4), 30—46. https://doi.org/10.17759/exppsy.2025180402
   Zhegallo, A.V., Basyul, I.A. (2025). Organization of oculomotor activity of a person in the joint solution of a discriminatory AB-X task through video communication. Experimental Psychology (Russia), 18(4), 30—46. (In Russ.). https://doi.org/10.17759/exppsy.2025180402
10. Жегалло, А.В., Хозе, Е.Г. (2015). Индуцированные эмоциональные экспрессии: реконструкция перцептивных категорий. Экспериментальная психология, 8(4), 30—44. https://doi.org/10.17759/exppsy.2015080403
    Zhegallo, A.V. Khoze, E.G. (2015). Induced emotional expressions: reconstruction of perceptual categories. Experimental Psychology (Russia), 8(4), 30—44. (In Russ.). https://doi.org/10.17759/exppsy.2015080403
11. Королькова, О.А., Жегалло, А.В. (2012). Эффект категориальности восприятия экспрессий лица: многообразие проявлений. Экспериментальная психология, 5(2), 22—38.
    Korolkova, O.A., Zhegallo, A.V. (2012). The effect of categorical perception of facial expressions: a variety of manifestations. Experimental Psychology (Russia), 5(2), 22—38. (In Russ.).
12. Crivelli, C., Fridlund, A. (2018). Facial Displays Are Tools for Social Influence. Trends in Cognitive Sciences, 22(5), 388—399. https://doi.org/1016/j.tics.2018.02.006
13. Ekman, P., Friesen W. (1969). The Repertoire of Nonverbal Behavior Categories, Origins, Usage and Coding. Semiotica, 1(1), 49—98.
14. Ekman, P. (1984). Expression and the Nature of Emotion. In: P. Ekman, K. Scherer (Ed.), Approaches to Emotion (pp. 319—343). Lawrence Erlbaum Associates Publishers.
15. Etcoff, N., Magee, J. (1992). Categorical Perception of Facial Expressions. Cognition, 44(3), 227—240. https://doi.org/1016/0010-0277(92)90002-Y
16. Hornik, K., Feinerer, I., Kober, M., Buchta, C. (2012). Spherical k-Means Clustering. Journal of Statistical Software, 50(10), 1—22. https://doi.org/18637/jss.v050.i10
17. Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Zhang, F., Chang, C.-L., Yong, M., Lee, J., Chang, W.-T., Hua, W., Georg, M., Grundmann, M. (2019). Mediapipe: A framework for perceiving and processing reality. In: Third workshop on computer vision for AR/VR at IEEE computer vision and pattern recognition (CVPR). URL: https://mixedreality.cs.cornell.edu/s/NewTitle_May1_MediaPipe_CVPR_CV4ARVR_Workshop_2019.pdf (viewed: 13.07.2025).