Автоматическая оценка впечатлений обучающихся методами анализа тональности (на материале отзывов на онлайн-курсы на русском и английском)

В статье описывается эксперимент, направленный на сравнение эффективности инструментов анализа тональности для оценки пользовательского опыта на материале публичных отзывов на онлайн-курсы на образовательной платформе Stepik. Рассматриваются результаты автоматического извлечения сентимент-оценок пользователей на соответствующие курсы как на русском, так и на английском языках. Для русскоязычных текстов обсуждается применение словаря эмотивной лексики «КартаСловСент» и предобученной на датасете RuSentiment модели, реализованной в библиотеке dostoevsky. Для отзывов на английском языке апробируются такие популярные NLP-библиотеки, как TextBlob и VADER. Прослеживается, как соотносится оценка за онлайн-курс, выставляемая пользователями по окончании обучения — по шкале от 1 до 5 — с эмоциональной оценкой, полученной на основе анализа их отзывов. Анализируется лексика, характерная для отзывов, описывающих положительный и негативный опыт от обучения. Предполагается, что совмещение инструментов позволит в дальнейшем разработать программу для интеллектуального анализа впечатлений пользователей от онлайн-курсов с целью улучшения предлагаемых образовательных продуктов.

1. Автоматическая обработка текстов на естественном языке и анализ данных : учеб. пособие / Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. М.: Изд-во НИУ ВШЭ, 2017. 269 с.
2. Al-Razgan M. et al. Using diffusion of innovation theory and sentiment analysis to analyze attitudes toward driving adoption by Saudi women // Technology in Society. 2021. Vol. 65. P. 101558. doi:10.1016/j.techsoc.2021.101558
3. Hutto C., Gilbert E. VADER: A Parsimonious Rule-Based Model for Sentiment Analysis of Social Media Text // Proceedings of the International AAAI Conference on Web and Social Media. 2014. Vol. 8 (1). P. 216–225.
4. Kim E., Klinger R. A Survey on Sentiment and Emotion Analysis for Computational Literary Studies. 2021. P. 38. doi:10.48550/arXiv.1808.03137
5. Kulagin D.I. Publicly available sentiment dictionary for the Russian language KartaSlovSent. 2021. P. 1106–1119. doi:10.28995/2075-7182-2021-20-1106-1119
6. Liang Y., Liu Y., Loh H. T. Exploring Online Reviews For User Experience Modeling. 2013. P. 10.
7. Loria S. textblob Documentation, 2020. P. 73.
8. Ngoc T. V., Thi M. N., Thi H. N. Sentiment Analysis of Students’ Reviews on Online Courses: A Transfer Learning Method. 2021. P. 9.
9. Phan M. H., Ogunbona P. O. Modelling Context and Syntactical Features for Aspect-based Sentiment Analysis Online: Association for Computational Linguistics, 2020. P. 3211–3220. doi: 10.18653/v1/2020.acl-main.293
10. Pope L. Comparing VADER and Text Blob to Human Sentiment // Medium [Электронный ресурс]. URL: https://towardsdatascience.com/comparing-vader-and-text-blob-to-human-sentiment-77068cf73982 (дата обращения: 02.09.2022)
11. Reyes-Menendez A., Saura J. R., Filipe F. Marketing challenges in the #MeToo era: gaining business insights using an exploratory sentiment analysis // Heliyon. 2020. Vol. 6, Issue 3. doi: 10.1016/j.heliyon.2020.e03626
12. Smetanin S. The Applications of Sentiment Analysis for Russian Language Texts: Current Challenges and Future Perspectives // IEEE Access. 2020. Vol. 8. P. 110693–110719. doi: 10.1109/ACCESS.2020.3002215
13. Wang X. et al. A Depression Detection Model Based on Sentiment Analysis in Micro-blog Social Network // J. Li et al. (eds.)., Berlin, Heidelberg: Springer Berlin Heidelberg, 2013. P. 201–213. doi: 10.1007/978-3-642-40319-4_18
14. White B. Sentiment Analysis: VADER or TextBlob? // Medium [Электронный ресурс]. URL: https://towardsdatascience.com/sentiment-analysis-vader-or-textblob-ff25514ac540 (дата обращения: 02.09.2022)