Вовлеченность в процесс онлайн-обучения: результаты психофизиологического исследования

Контекст и актуальность. Исследования с использованием методов компьютерного зрения являются новым, перспективным и востребованным направлением в образовании. Они открывают возможности использования нейронаук для создания научно обоснованных педагогических разработок в контексте повышения качества образования. Цель. Определить связь особенностей визуального дизайна образовательного видеоконтента с компонентами вовлеченности (когнитивными и эмоциональными). Гипотеза. Психофизиологические составляющие когнитивной и эмоциональной вовлеченности студентов в процессе просмотра образовательного видеоконтента (в процессе онлайн-обучения) положительно связаны с полилоговой формой подачи материала в видеолекциях, использованием конкретных примеров и наличием вопросов, адресованных лектором слушателям. Методы и материалы. Во время просмотра видеолекций и выполнения заданий у респондентов фиксировали изменение электрической активности кожи и движения взгляда. Электрическую активность кожи регистрировали с помощью биобраслета NTrend-BIO, координаты взгляда определяли с помощью айтрекера NTrend-ET500. На основе собранных данных в ПАК «Нейробарометр» (АО «Нейротренд») рассчитывались стандартные метрики эмоциональной вовлеченности, изменения валентности, внимания и интереса. Результаты. В ходе эксперимента выявлено, что существует связь между когнитивной вовлеченностью и особенностями визуального дизайна образовательного видеоконтента: метрики внимания были достоверно выше у тех участников эксперимента, которые смотрели видеолекцию с вопросами, обращенными к ним. Метрики эмоциональной вовлеченности достоверно выше у участников эксперимента при выполнении заданий, чем при просмотре видео. Результаты метрик айтрекинга также демонстрируют, что респонденты выделяют (метрика внимание и интерес) видеоряды с одним лектором или слайдами, а не диалоговые/полилоговые форматы видеолекции с несколькими преподавателями. Выводы. Полученные в проведенном исследовании результаты позволяют сделать предварительные выводы о том, что показатели вовлеченности обусловлены конкретными особенностями визуального дизайна образовательного видеоконтента, что можно принимать во внимание при разработке «идеальной модели» онлайн-курса.

Введение

Несмотря на улучшение качества, доступности и гибкости онлайн-образования, проблема вовлеченности студентов в процесс онлайн-обучения остается актуальной. В нашей статье представлен опыт исследования, направленного на определение характера влияния визуального дизайна образовательного видеоконтента на когнитивные и эмоциональные компоненты вовлеченности студентов в процесс онлайн-обучения. Мы допускали, что когнитивная и эмоциональная вовлеченность представляют собой динамические параметры, на которые могут оказывать влияние различные факторы дизайна визуального образовательного контента. Предметом исследования стали психофизиологические аспекты когнитивной и эмоциональной вовлеченности студентов во время просмотра образовательного видеоконтента в условиях онлайн-обучения. Проверялось влияние различных переменных дизайна визуального образовательного контента (способы подачи видеоматериала, формат и форма организации лекции) на вовлеченность студентов. В качестве индикаторов вовлеченности были выбраны эмоциональные реакции и когнитивная нагрузка, которые измерялись с помощью биобраслета NTrend-BIO и айтрекера NTrend-ET500.

Материалы и методы

Теоретический обзор

1. M. Bond, S. Bedenlier определяют вовлеченность как «энергию и усилия, которые студенты затрачивают в своем учебном сообществе, и о которых можно судить на уровне поведенческих, когнитивных или аффективных состояний (показателей)». Она формируется под воздействием целого ряда структурных внешних и внутренних факторов, включая интегральное взаимовлияние отношений со всеми участниками образовательного процесса, образовательных активностей и самой образовательной среды. Чем сильнее студенты вовлечены и воодушевлены в своей учебной среде, тем больше вероятность того, что они вернут эту энергию обратно в свое обучение, что, в свою очередь, обусловит ряд краткосрочных и долгосрочных (положительных) результатов в обучении, которые будут способствовать еще большей вовлеченности (Bond, Bedenlier, 2019).

Зарубежные исследователи вслед за Дженнифер Фредрикс (2004) в структуре вовлеченности выделяют три основных составляющих: поведенческую, эмоциональную и когнитивную (Fredricks, Blumenfeld, Paris, 2004). Поведенческий аспект связан с такими индикаторами, как участие в учебной и внеучебной деятельности – посещение занятий, выполнение заданий; эмоциональный аспект – с позитивными и негативными реакциями на образовательный контент, образовательную среду и с чувством принадлежности/сопричастности (belonging) к образовательному сообществу, а когнитивный – с когнитивными усилиями, направленными на понимание и усвоение учебного материала, саморегулируемым обучением, образовательными стратегиями решения задач (разрешения проблем). В научном сообществе нет общепринятой и общепризнанной категоризации признаков составляющих вовлеченности. Например, «усилия» по выполнению заданий (effort and persistence) некоторые относят к когнитивному компоненту, а другие – к поведенческому (Bond et al., 2020). Тем не менее ученые сходятся во мнении, что вовлеченность представляет собой сложный многомерный конструкт, в котором все его компоненты динамически связаны.

Зарубежные и российские исследователи фиксируют различные индикаторы компонентов вовлеченности (Fredricks, Mc Colskey, 2018) (Bond, Bedenlier, 2019). Расхождение в выделении показателей вовлеченности обусловлено разными концептуальными и методологическими основаниями исследования данного феномена. J. Symonds с коллегами концептуализируют в своих исследованиях понятие «кратковременной вовлеченности», которую понимают как локализованный, воплощенный, аффективно-мотивационный опыт интегрированной умственно-физической активности студента при выполнении задания. Кратковременное вовлечение обязательно происходит в определенные дискретные периоды, в течение которых выполняется какая-либо задача. Таким образом, кратковременное вовлечение представляет собой «быструю» динамическую систему, включающую мгновенное взаимодействие эмоций, мотивации, умственных и физических действий (Symonds et al., 2019). В других случаях вовлеченность рассматривается на институциональном уровне в контексте широких временных рамок (например, вовлеченность в образовательный курс или в обучение в университете в целом) либо в контексте влияния конкретных образовательных структур и форматов (например, смешанного обучения) на вовлеченность конкретных студентов (Fredricks, 2022).

Вовлеченность в онлайн-обучение: измерение и индикаторы

В связи с все большей распространенностью элементов онлайн-обучения и количества дистанционных онлайн-курсов в современных системах высшего образования важной исследовательской задачей становится измерение вовлеченности в процесс онлайн-обучения (Bond et al, 2020). В исследованиях вовлеченности в онлайн-образование используется в качестве базовой трехкомпонентная (или дополненная) модель вовлеченности и индикаторы, обусловливающие выбор конкретных методов измерения (Booth, Bosch, D’Mello, 2023).

Отдельно изучаются механизмы по управлению вовлеченностью в смешанном, гибридном и онлайн-форматах. Традиционно выделяют три ключевых типа взаимодействия в онлайн-среде: между студентом и контентом (student-content; S-C), между студентом и преподавателем (student–teacher; S–T) и между студентом и студентом (student–student; S–S) (Moore, 1989). В гибридном и онлайн-обучении большое значение отводится деятельности и позиции учителя/преподавателя, который выстраивает структуру курса, подбирает образовательные активности, комбинируя онлайн- и офлайн-форматы обучения. Непосредственное взаимодействие преподавателя/учителя со студентами и выстраивание активной обратной связи (онлайн или офлайн) обеспечивает высокую студенческую вовлеченность (Buhl-Wiggers, Kjærgaard, Munk, 2023).

В асинхронном онлайн-обучении условия для вовлеченности задаются взаимодействием между обучающимся и контентом. Результатом такого взаимодействия становятся цифровые (электронные) следы, которые выступают впоследствии основным индикатором поведенческой вовлеченности (Dewan, Murshed, Lin, 2019).

Асинхронное удаленное индивидуализированное онлайн-обучение значительно отличается от традиционного формата аудиторного обучения, а также от смешанного и гибридного. Взаимодействие с одногруппниками и с учителем здесь опосредовано использованием электронных средств. В данном контексте онлайн-среда представляет собой сложный конструкт, где на вовлеченность могут влиять сразу несколько значимых факторов (переменных): качество обучающих видео, педагогический дизайн курса, менеджер курса, ответственный за организацию учебного курса на конкретной платформе. Накоплены различные эмпирические данные по тому, какие особенности дизайна видео для обучения являются наиболее эффективными (Noetel et al., 2021). Наиболее известны в данном направлении работы профессора Майера, который выделяет такие принципы конструирования эффективного образовательного видео, как: сегментирование (дробление длинного видео на короткие), смена перспектив при видеосъемке лектора, исключение лишней информации (включение избыточных мультимедиа и иллюстраций, закадровой музыки и звуковых эффектов), динамическое написание лектором сопроводительных цифр или иллюстраций в противовес указанию на статичную картинку (Mayer, 2021).

Айтрекинг в исследовании эмоциональных и когнитивных процессов

В последние годы в научном сообществе (в области образования, психологии, когнитивной нейронауки и нейропсихологии) наметилась тенденция использования метрик айтрекинга для исследования высших когнитивных функций и эмоциональных состояний студентов (Skaramagkas et al., 2021). Ученые доказали, что данные по движению глаз и зрачков (такие, как взгляд, фиксация, саккады, моргание, изменение размера зрачка и т.д.) являются надежными индикаторами эмоционального возбуждения и когнитивной нагрузки. S. Aslan с коллегами использовали айтрекер для анализа вовлеченности студентов при просмотре видеоконтента (Aslan et al., 2014), создав классификации вовлеченности учащихся в аутентичной учебной среде.

L.B. Krithika и P.G.G. Lakshmi применили метрики фиксации глаз и движения головы для оценки эмоциональных состояний студентов во время электронного обучения (Krithika, Lakshmi, 2016). Raina с соавторами предложили модель повышения вовлеченности студентов в онлайн-обучение через анализ движений глаз при изучении контента (Raina et al., 2016). В сегментированных модулях (по сравнению с линейными) фиксировался больший охват чтения и меньший пропуск содержания.

В рамках мультимодального исследования ученые замеряют (фиксируют) различные физиологические сигналы в контексте распознавания когнитивных и эмоциональных состояний обучающихся (Buscher, Dengel, Elst, 2008; Sharma et al., 2019). Задания в мультимодальных исследованиях обычно связаны с просмотром изображений и видеороликов, вызывающих эмоции (Tarnowski et al., 2020). Исследователи часто используют один ведущий индикатор, а остальные рассматриваются как второстепенные. C. Wu с коллегами показали, что размер зрачка изменяется в зависимости от сложности задания (Wu et al., 2019). M. Pomplun и S. Sunkara доказали связь площади зрачка с трудностью задачи (Pomplun, Sunkara, 2003), а средний диаметр зрачка коррелирует с когнитивной нагрузкой (Ahmad et al., 2020). Стандартное отклонение размера зрачка также увеличивается при росте когнитивной нагрузки (Prabhakar et al., 2020). В исследовании T. Zu и коллег показано, что частота изменения размера зрачка наиболее чувствительна к посторонней и чрезмерной нагрузке (Zu et al., 2018).

Несмотря на эффективность айтрекера, исследователи выделяют ряд сложностей, связанных с его применением, в основном возникающих при калибровке глаз. Видеотрекеры могут ошибаться при измерении мелких движений глаз (Holmqvist, Blignaut, 2020). Точность данных требует нескольких сессий калибровки, часто возникают трудности у респондентов с очками или проблемами зрения (Raina et al., 2016). Также ограничение движений участников, необходимое для сохранения контакта с айтрекером, может затруднять проведение экспериментов.

В российской практике ученые лишь начинают применять методы компьютерного зрения для исследования вовлеченности (Касаткина и др., 2020). Основное внимание сосредоточено на изучении вовлеченности, в том числе в онлайн-обучение, посредством различных опросниковых методов: психодиагностических методик (Клименских и др., 2019), анкетирования (Грицова, Тиссенб 2021), интервьюирования (Баранников и др., 2023). Важность разработки и внедрения интеллектуальных систем анализа видео и машинного обучения активно обсуждается российским сообществом в контексте цифровой трансформации образования в последние пять лет (Уваров, 2018). Исследование когнитивной и эмоциональной вовлеченности студентов при просмотре образовательного контента с применением инструментальной диагностики (биобраслет NTrend-BIO и айтрекер NTrend-ET500), представленное в статье, вносит вклад в обсуждение использования нейротехнологий для совершенствования образовательных курсов и внедрения методологии когнитивного маркетинга.

Методология и методы исследования

Для достижения цели исследования был организован эксперимент, в ходе которого осуществлялась регистрация изменений психофизиологических реакций респондентов/испытуемых во время просмотра видеолекций двух массовых открытых онлайн-курсов, размещенных на образовательной платформе «Stepik» (асинхронное онлайн-обучение). Курсы были выбраны на основе трех критериев: 1) количество обучающихся; 2) оценки слушателей; 3) способы подачи материала. Курс «Критическое мышление» охватил 31518 обучающихся и получил высокую оценку слушателей – 4,5 из 5; курс «Организация предпринимательской деятельности» прошли 3439 учащихся и оценили его на 3,7 баллов из 5.

В курсе «Критическое мышление» часть информации была представлена в формате диалога между несколькими людьми, а курс «Организация предпринимательской деятельности» был снят более стандартным способом: лектор рассказывает информацию, а рядом на экране появляются основные термины, схемы и иллюстрации.

Участникам исследования предлагали посмотреть лекции первого модуля одного из курсов и выполнить задания. Во время просмотра видеолекций участники не могли изменять скорость воспроизведения или перематывать видеоролики. Общая продолжительность видеолекций курса «Критическое мышление» составила 25 минут, курса «Организация предпринимательской деятельности» – 34,5 минуты.

В исследовании приняли участие 20 участников в возрасте от 19 до 36 лет: 10 из них смотрели видеоматериалы из курса «Критическое мышление» (М = 24,5 лет, 5 женщин) и 10 – видеолекции из курса «Организация предпринимательской деятельности» (М = 24,5 лет, 7 женщин).

Во время просмотра видеолекций и последующего выполнения заданий у участников эксперимента записывали изменение электрической активности кожи и движения взгляда. Электрическую активность кожи регистрировали с помощью биобраслета NTrend-BIO, координаты взгляда определяли с помощью айтрекера NTrend-ET500. На основе собранных данных в ПАК «Нейробарометр» (АО «Нейротренд») рассчитывались стандартные метрики эмоциональной вовлеченности, изменения валентности, внимания и интереса. Эмоциональная вовлеченность понималась нами как сила (амплитуда) испытываемых эмоций и изменение их знака во время восприятия стимула; внимание – осознанная заинтересованность визуальной информацией, которая заставляет задуматься и рассчитывается на основе количества длительных фиксаций (остановок взгляда) на объектах в ролике, включает сенсорное (связанное с первичным сканированием, считыванием информации) и когнитивное (связанное с познанием объекта) внимание; интерес – избирательное зрительное восприятие элементов объекта, фокусировка на значимых деталях, связанная с потребностью узнать что-то новое об объекте (Королева, Лужин, 2019; Латанов и др., 2019) .

Метрики видеороликов сравнивали с метриками из собранной ранее базы данных, рассчитанных АО «Нейротренд» для других промороликов, и определяли успешность рассматриваемых видео на основании их принадлежности к одному из квинтилей распределения показателей роликов из этой базы данных.

Окулографические данные также использовали для определения заметности (количество респондентов, посмотревших на объект) брендированных объектов на экране и доли уделенного им внимания (средняя продолжительность нахождения взора респондентов в выделенной зоне с брендированным объектом относительно продолжительности ее демонстрации).

Изменение внимания, эмоциональной вовлеченности и валентности (знака эмоций) изучали визуально на основании построенных графиков изменения этих показателей.

На основе полученных данных с помощью ПАК «Нейробарометр» автоматически рассчитывались показатели эмоциональной вовлеченности, внимания и интереса. Для проверки гипотез из видео были выбраны участки длиной 15 с, в течение которых использовались или не использовались интересующие вовлекающие приемы (диалог, примеры, вопросы к слушателям). По каждому типу участников были рассчитаны средние показатели эмоциональной вовлеченности, внимания и интереса для каждого слушателя.

Статистический анализ выполняли в среде R Studio версии 1.3.959 (R Core Team, 2022).

Нормальность распределения данных оценивали с помощью критерия Шапиро-Уилка, а однородность дисперсий – с помощью F-критерия Фишера. Выбросы, превышающие 2 стандартных отклонения, были заменены на среднее. Статистический анализ проводился с помощью параметрического t-критерия Стьюдента для нормально распределенных данных с однородными дисперсиями и непараметрического критерия Манна-Уитни, если распределение было отличным от нормального и если дисперсии были не равны. В процессе анализа данных были исключены неполные записи, а также данные, содержащие артефакты, которые могли исказить результаты исследования.

Данные, имеющие нормальное распределение, описаны с помощью среднего арифметического и стандартного отклонения. При распределении, отличающемся от нормального, данные представлены медианой (Me) и квартилями Q1 и Q3 в формате Me (Q1; Q3).

Так как выполнялась проверка нескольких гипотез, к результатам была применена поправка Бонферрони.

В ходе исследования было сформулировано три основных гипотезы:

1. Диалог или полилог на экране более вовлекающий, чем монолог одного лектора (диалог/полилог связан с более высокими значениями эмоциональной вовлеченности, интереса и внимания).
2. Использование конкретных примеров лектором вовлекает в просмотр лекции, в отличие от простого монолога без примеров.
3. Вопросы, адресованные лектором к слушателям во время лекции или в конце лекции, являются вовлекающими.

Результаты

Для проверки первой гипотезы были использованы данные, полученные в ходе анализа результатов просмотра курса «Критическое мышление» (N = 10), в рамках которого были представлены оба исследуемых условия (монологическая и полилогическая формы изложения материала лекторами). Уровень вовлеченности студентов оценивался на основе сравнения показателей у одной и той же группы респондентов при просмотре различных компонентов видеолекций. Поэтому использовался t-критерий Стьюдента для зависимых выборок (табл. 1) с применением поправки Бонферрони.

Таблица 1 / Table 1

Результаты расчетов по метрикам «вовлеченность», «внимание», «интерес» (гипотеза 1)

Results of Metric Calculations for Engagement, Attention, and Interest (Hypothesis 1)

Примечание: SD – стандартное отклонение, значение t – статистика t-теста, df – степени свободы, p – уровень статистической значимости, p adj – скорректированное значение p.

Note: SD – standard deviation, t – t-test statistic, df – degrees of freedom, p – significance level, p adj – adjusted p-value.

Внимание и интерес значимо отличались для фрагментов видео, в которых присутствует один лектор, и тех, в которых представлен диалог между несколькими преподавателями. Вопреки ожиданиям, эти показатели были выше для первого условия, когда на экране присутствовал только лектор или слайды.

Для проверки 2-ой гипотезы были использованы данные, полученные в рамках анализа видеолекций двух учебных курсов: «Критическое мышление» и «Организация предпринимательской деятельности» (N = 20). Для анализа были выделены фрагменты видеоматериалов, в которых преподаватели использовали конкретные примеры (кейсы) для иллюстрации теоретических положений. Согласно второй гипотезе, использование примеров способствует повышению уровня вовлеченности студентов в процесс просмотра видеоконтента. Для проверки гипотезы использовался t-критерий Стьюдента (и критерий Манна-Уитни для независимых выборок) (табл. 2). После поправки Бонферрони все различия оказались незначимыми.

Таблица 2 / Table 2

Результаты расчетов по метрикам «вовлеченность», «внимание», «интерес» (гипотеза 2)

Results of Metric Calculations for Engagement, Attention, and Interest (Hypothesis 2)

Примечание: SD – стандартное отклонение, значение t – статистика t-теста, U – критерий Манна-Уитни, df – степени свободы, p – уровень статистической значимости, p adj – скорректированное значение p. N = 20.

Note: SD – standard deviation, t – t-test statistic, U – Mann-Whitney U test, df – degrees of freedom, p – significance level, p adj – adjusted p-value. N = 20.

Данная гипотеза не подтвердилась. По результатам эксперимента не было обнаружено достоверных различий между показателями метрик «вовлеченность», «внимание» и «интерес» у участников, которые просматривали видеолекции, в которых не было конкретных примеров, и тех, кто смотрел кадры, на которых они были.

Для проверки гипотезы 3 использовался t-критерий Стьюдента или критерий Манна-Уитни для независимых выборок (табл. 3). После поправки значимые результаты были выявлены только для метрики «внимание».

Таблица 3 / Table 3

Результаты расчетов по метрикам «вовлеченность», «внимание», «интерес» (гипотеза 3)

Results of Metric Calculations for Engagement, Attention, and Interest (Hypothesis 3)

Примечание: SD – стандартное отклонение, значение t – статистика t-теста, U – критерий Манна-Уитни, df – степени свободы, p – уровень статистической значимости, p adj – скорректированное значение p. N = 20.

Note: SD – standard deviation, t – t-test statistic, U – Mann-Whitney U test, df – degrees of freedom, p – significance level, p adj – adjusted p-value. N = 20.

Гипотеза № 3 по метрике «внимание» подтвердилась: внимание было более высоким у участников, которые смотрели видеолекцию с вопросами преподавателя к слушателям, по сравнению с участниками, смотревшими видеолекцию без вопросов (t(16) = -3,20; p = 0,0028). На основе метода наблюдения за участниками эксперимента была выдвинута дополнительная гипотеза о том, что вовлеченность при выполнении заданий выше, чем при просмотре видео. Анализ полученных данных показал, что эта гипотеза подтвердилась (t = 2,2536, df = 9, p-value = 0,03).

Обсуждение результатов

В статье представлен опыт исследования вовлеченности в процессе просмотра образовательного видеоконтента с использованием инструментальной диагностики (биобраслета NTrend-BIO, айтрекера NTrend-ET500). В исследовании были получены данные, которые позволяют сделать предварительные выводы о том, что показатели вовлеченности обусловлены конкретными особенностями визуального дизайна образовательного видеоконтента. Во-первых, показатели вовлеченности выше у респондентов, которые просматривают видеофрагменты с одним лектором или слайдами, а не диалоговые/полилоговые форматы видеолекции с несколькими преподавателями. Полученные результаты расходятся с ожиданиями и опровергают выдвинутую гипотезу о том, что именно диалоговые и полилоговые форматы лекционного материала будут вызывать интерес и внимание.

Во-вторых, метрики эмоциональной вовлеченности достоверно выше у участников эксперимента при выполнении заданий после видео, чем просто при просмотре видео, что соответствует накопленным данным об эффективности интегрированных в видео учебных активностей (Integrated learning activities) (Noetel, 2021).

В-третьих, отсутствие значимого различия между восприятием студентами видео с примерами и видео без примеров может быть связано с конкретным форматом примеров и требует дальнейшего уточнения.

Дальнейшие перспективы анализа вовлеченности в онлайн-образование связаны с усложнением и совершенствованием программы исследования за счет включения в него различных форматов занятий (лекций, практической и самостоятельной работы слушателей на образовательной платформе, совместной работы студента и преподавателя), используемых дидактических приемов (например, включение в презентацию схем, графиков, диаграмм, таблиц, анимированных элементов, видео, ссылок на сторонние ресурсы, возможность переписки в чате с преподавателем и др.). Кроме того, перспективы исследования связаны с включением данных биоэлектрической активности головного мозга обучающихся при просмотре видеолекций и выполнении заданий посредством использования метода электроэнцефалограммы (ЭЭГ) и измерения диаметра зрачка. ЭЭГ позволит оценить уровень активации, зрительное внимание, когнитивную нагрузку и утомление слушателей курса во время обучения и выполнения заданий.

Подобные исследования позволят создавать рекомендации по разработке «идеальной модели» онлайн-курса на основе объективных данных нейро- и психофизиологических реакций обучающихся (динамика смены кадров и планов, объем и содержание текстовой информации на слайде, оптимальное время обучения).

Заключение

1. Показатели вовлеченности обусловлены особенностями визуального дизайна образовательного видеоконтента, однако результаты следует интерпретировать с осторожностью из-за малого объема выборок.
2. Показатели вовлеченности выше у респондентов, которые просматривают видео с одним лектором или слайдами, чем при просмотре диалоговых/полилоговых форматов лекций.
3. Метрики эмоциональной вовлеченности повышаются при выполнении заданий после просмотра видео.
4. Отсутствие различий между восприятием видео с примерами и без примеров требует уточнения формата представления примеров в будущем.

Ограничения. Ограниченный объем выборок (n = 10 в каждой группе) снижает статистическую мощность тестов и ограничивает обобщаемость результатов. В связи с этим полученные данные следует рассматривать как предварительные.

Limitations. The limited sample size (n = 10 in each group) reduces the statistical power of the tests and restricts the generalizability of the results. Therefore, the obtained data should be considered preliminary.

1. Баранников, К.А., Ананин, Д.П., Стрикун, Н.Г., Алканова, О.Н., Байзаров, А.Е. (2023). Гибридное обучение: российская и зарубежная практика. Вопросы образования, (2), 33–69. https://doi.org/10.17323/1814-9545-2023-2-33-69
   Barannikov, K.A., Ananin, D.P., Strikun, N.G., Alkanova, O.N., Bayzarov, A.Ye. (2023). Hybrid Learning: Russian and International Practice. Educational Studies Moscow, (2), 33–69. (In Russ.)
2. Грицова, О.А., Тиссен, Е.В. (2021). Оценка качества онлайн-обучения в системе высшего образования в регионах. Экономика региона, 17(3), 929–943. https://doi.org/10.17059/ekon.reg.2021-3-15
   Gritsova, O.A., Tissen, E.V. (2021). Quality Assessment of Online Learning in Regional Higher Education Systems. Economy of Region, 17(3), 929–943. (In Russ.)
3. Касаткина, Д.А., Кравченко, А.М., Куприянов, Р.Б., Нехорошева, Е.В. (2020). Автоматическое распознавание вовлеченности в образовании: критический обзор исследований. Современная зарубежная психология, 9(3), 59–68. https://doi.org/10.17759/jmfp.2020090305
   Kasatkina, D.A., Kravchenko, A.M., Kupriyanov, R.B., Nekhorosheva, E.V. (2020). Automatic Engagement Detection in Education: Critical Review. Journal of Modern Foreign Psychology, 9(3), 59–68. (In Russ.)
4. Клименских, М.В., Лебедева, Ю.В., Мальцев, А.В., Савельев, В.В. (2019). Психологические факторы эффективного онлайн-обучения студентов. Перспективы науки и образования, 42(6), 312–321. https://doi.org/10.32744/pse.2019.6.26
   Klimenskikh, M.V., Lebedeva, Yu.V., Maltsev, A.V., Savelyev, V.V. (2019). Psychological Factors of Online Learning Efficiency of Students. Perspectives of Science and Education, 42(6), 312–321. (In Russ.)
5. Королева, М.В., Лужин, А.О. (2020). Способ анализа эмоционального восприятия аудиовизуального контента у группы пользователей: пат. 2723732 Рос. Федерация. № 2019133745 / заявл. 23.10.2019; опубл. 17.06.2020, Бюл. № 17.
   Koroleva, M.V., Luzhin, A.O. (2020). Method for Analyzing Emotional Perception of Audiovisual Content among a User Group. Patent RF, no. 2723732. (In Russ.)
6. Латанов, А.В., Анисимов, В.Н., Бойко, Л.А., Галкина, Н.В. (2020). Способ оценки произвольного внимания на основе глазодвигательных показателей и амплитудно-частотных характеристик электроэнцефалограммы: пат. 2722447 Рос. Федерация. № 2019136623 / заявл. 14.11.2019; опубл. 01.06.2020, Бюл. № 16.
   Latanov, A.V., Anisimov, V.N., Boiko, L.A., Galkina, N.V. (2020). Method for Assessing Voluntary Attention Based on Oculomotor Indicators and Amplitude-Frequency Characteristics of Electroencephalogram. Patent RF, no. 2722447. (In Russ.)
7. Уваров, А.Ю. (2018). Технологии искусственного интеллекта в образовании. Информатика и образование, (4), 14–22.
   Uvarov, A.Yu. (2018). The AI Technologies in Education. Informatics and Education, (4), 14–22. (In Russ.)
8. Aslan, S., Diner, I., Cataltepe, Z., Esme, A. A., Ferens, R., Kamhi, G., Dundar, O., Oktay, E., Soysal, C., Yener, M. (2014). Learner engagement measurement and classification in 1:1 learning. 13th International Conference on Machine Learning and Applications (ICMLA), 545–552. https://doi.org/10.1109/ICMLA.2014.111
9. Bond, M., Bedenlier, S. (2019). Facilitating student engagement through educational technology: Towards a conceptual framework. Journal of Interactive Media in Education, 1(1), 1–14. https://doi.org/10.5334/jime.528
10. Bond, M., Buntins, K., Bedenlier, S., Zawacki-Richter, O., Kerres, M. (2020). Mapping research in student engagement and educational technology in higher education: A systematic evidence map. International Journal of Educational Technology in Higher Education, 17(1), 1–30. https://doi.org/10.1186/s41239-019-0176-8
11. Booth, B.M., Bosch, N., D’Mello, K.S. (2023). Engagement detection and its applications in learning: A tutorial & selective review. Proceedings of the IEEE, 111(10), 1398–1422. https://doi.org/10.1109/JPROC.2023.3309560
12. Buhl-Wiggers, J., Kjærgaard, A., Munk, K. (2023). A scoping review of experimental evidence on face-to-face components of blended learning in higher education. Studies in Higher Education, 48(1), 151–173. https://doi.org/10.1080/03075079.2022.2123911
13. Buscher, G., Dengel, A., Elst, L.V. (2008). Eye movements as implicit relevance feedback. Extended Abstracts Proceedings of the 2008 Conference on Human Factors in Computing Systems, 2991–2996. https://doi.org/10.1145/1358628.1358796
14. Dewan, M., Murshed, M., Lin, F. (2019). Engagement detection in online learning: A review. Smart Learning Environments, 6(1), 1–20. https://doi.org/10.1186/s40561-018-0080-z
15. Fredricks, J.A., Blumenfeld, P.C., Paris, A.H. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59–109. https://doi.org/10.3102/00346543074001059
16. Fredricks, J.A., McColskey, W. (2012). The measurement of student engagement: A comparative analysis of various methods and student self-report instruments. In S.L. Christenson et al. (Eds.), Handbook of Research on Student Engagement (pp. 763–782). Boston, MA: Springer US. https://doi.org/10.1007/978-1-4614-2018-7_37
17. Fredricks, J.A. (2022). The measurement of student engagement: Methodological advances and comparison of new self-report instruments. In J.A. Fredricks et al. (Eds.), Handbook of Research on Student Engagement (pp. 597–616). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-031-07853-8_29
18. Krithika, L.B., Lakshmi, P.G.G. (2016). Student emotion recognition system (SERS) for e-learning improvement based on learner concentration metric. Procedia Computer Science, 85, 767–776. https://doi.org/10.1016/j.procs.2016.05.264
19. Mayer, R.E. (2021). Evidence-based principles for how to design effective instructional videos. Journal of Applied Research in Memory and Cognition, 10(2), 229–240.
20. Moore, M.G. (1989). Editorial: Three types of interaction. American Journal of Distance Education, 3(2), 1–7. https://doi.org/10.1080/08923648909526659
21. Noetel, M., Griffith, S., Delaney, O., Sanders, T., Parker, P.D., del Pozo Cruz, B., Lonsdale, C. (2021). Video improves learning in higher education: A systematic review. Review of Educational Research, 91(2), 204–236.
22. Pomplun, M., Sunkara, S. (2003). Pupil dilation as an indicator of cognitive workload in human-computer interaction. Proceedings of the International Conference on HCI, 1–5. Available at: https://api.semanticscholar.org/CorpusID:1052200
23. Raina, S., Bernard, L., Taylor, B., Kaza, S. (2016). Using eye-tracking to investigate content skipping: A study on learning modules in cybersecurity. IEEE Conference on Intelligence and Security Informatics (ISI), 261–266. https://doi.org/10.1109/ISI.2016.7745486
24. Sharma, P., Joshi, S., Gautam, S., Filipe, V., Reis, M. (2019). Student engagement detection using emotion analysis, eye tracking and head movement with machine learning. arXiv:1909.12913, 9 p. https://doi.org/10.48550/arXiv.1909.12913
25. Skaramagkas, V., Giannakakis, G., Ktistakis, E., et al. (2023). Review of eye tracking metrics involved in emotional and cognitive processes. IEEE Reviews in Biomedical Engineering, 16, 260–277. https://doi.org/10.1109/RBME.2021.3066072
26. Symonds, J., Kaplan, A., Upadyaya, K., Salmela-Aro, K., Torsney, B., Eccles, J. (2019). Momentary student engagement as a dynamic developmental system. PsyArXiv. https://doi.org/10.31234/osf.io/fuy7p
27. Tarnowski, P., Kołodziej, M., Majkowski, A., Rak, R.J. (2020). Eye-tracking analysis for emotion recognition. Computational Intelligence and Neuroscience, 2020, 1–13. https://doi.org/10.1155/2020/2909267
28. Wu, C., Cha, J.S., Sulek, J.E., et al. (2019). Eye-tracking metrics predict perceived workload in robotic surgical skills training. Human Factors: The Journal of the Human Factors and Ergonomics Society, 62(8), 001872081987454. https://doi.org/10.1177/0018720819874544
29. R Core Team (2022). R: A language and environment for statistical computing [online]. R Foundation for Statistical Computing, Vienna, Austria, 2022, available at: http://www.R-project.org/ (accessed 25.12.2023)