Моделирование и прогнозирование цифрового когнитивного выгорания у студентов на основе мультимодальных временных рядов и кросс-модальной архитектуры трансформера

Н.Е. Юрьева

doi:10.17759/mda.2026160304

Введение

Задачи прогнозирования динамики учебных и когнитивных показателей обучающихся в онлайн-средах в последние годы активно развиваются в рамках прикладных исследований образовательной аналитики. Однако большинство существующих работ ориентировано на предсказание академической успеваемости и агрегированных поведенческих метрик, а не на моделирование психологических состояний как непрерывных динамических процессов (Wang & Yu, 2025).

Цифровизация образования привела к возникновению нового психологического феномена — цифрового когнитивного выгорания (ЦКВ). Оно определяется как устойчивое сочетание истощаемости, дистанцирования и снижения эффективности в цифровых учебных средах (Soldatova, 2018). В отличие от кратковременной усталости, ЦКВ является хроническим состоянием, требующим ранней диагностики и профилактики (Kuppens & Verduyn, 2017; Юрьева, 2025).

Работа (Юрьева, 2025) была посвящена задаче классификации дискретных когнитивных состояний. Однако такой подход не позволяет анализировать динамику изменения психометрических показателей и выявлять ранние субклинические тренды, что существенно ограничивает возможности профилактики цифрового когнитивного выгорания.

Данное исследование переходит к более сложной задаче прогнозирования непрерывной многомерной траектории психометрического показателя (MBI-SS) на заданном временном горизонте. Фактически, это задача регрессионного анализа мультимодальных, неоднородных и зашумленных временных рядов.

Пусть

y_{t} \in ℝ^{3}

— вектор баллов по субшкалам MBI-SS (истощение, цинизм, эффективность) в момент времени

t

.

Дано мультимодальное временное окно истории

X_{[t - L : t]} = {X^{(A)}, X^{(V)}, X^{(T)}, X^{(K)}}_{t - L}^{t}

, где индексы

A, V, T, K

обозначают аудио, видео, текст и кинестетику соответственно.

Требуется построить модель

F_{Θ}

, аппроксимирующую условное распределение:

P (y_{t + 1}, \dots, y_{t + T} ∣ X_{[t - L : t]}; Θ),

где

T

— горизонт прогнозирования,

Θ

— параметры модели.

Цель работы: разработка и математическое обоснование архитектуры

F_{Θ}

, обеспечивающей минимизацию ошибки прогноза при сохранении интерпретируемости и устойчивости к пропускам данных.

1. Формальная постановка задачи и функционал потерь

1.1. Математическая формализация

Рассмотрим множество студентов

U = u_{1}, \dots, u_{N}}

. Для каждого студента

u \in U

в момент времени

t

определены:

Мультимодальные наблюдаемые переменные: $X_{u}^{(m)} (t) \in ℝ^{d_{m} \times s_{m}}$ , где $m \in {A, V, T, K}$ — тип модальности, $d_{m}$ — размерность признаков, $s_{m}$ — длина временного ряда в окне (может различаться для разных модальностей).
Целевая переменная: $y_{u} (t) \in ℝ^{3}$ — вектор баллов по трем субшкалам MBI-SS.

Задача 1 (прогнозирование). По заданной истории наблюдений

H_{u} (t) = {X_{u}^{(m)} (τ), y_{u} (τ)}_{τ = t - L}^{t}

построить оценку:

{\hat{y}}_{u} (t + 1 : t + T) = F_{Θ} (H_{u} (t)),

минимизирующую функционал потерь

L_{pred}

.

Задача 2 (классификация текущего состояния). На основе

H_{u} (t)

определить класс текущего уровня выгорания

c_{u} (t) \in {низкий, средний, высокий}

.

Следует отметить, что предполагаемая стационарность статистических свойств временных рядов на интервале наблюдения является приближением, допустимым лишь для относительно коротких временных окон, что накладывает ограничения на интерпретацию долгосрочных прогнозов.

1.2. Составной функционал потерь

Для совместного обучения модели регрессии и классификации вводится составной функционал:

L

Функция потерь прогноза (MSE):

L_{MSE} = \frac{1}{N \cdot T \cdot 3} \sum_{u = 1}^{N} \sum_{τ = 1}^{T} \sum_{s = 1}^{3} {({\hat{y}}_{u, s}_{❑} (t + τ) - y_{u, s} (t + τ))}^{2} .

Функция сглаживания траектории: штрафует резкие, немотивированные изменения прогноза между соседними временными шагами, что соответствует естественной инерционности психологического состояния (Выготский, 1982).

L_{Smooth} = \frac{1}{N \cdot (T - 1) \cdot 3} \sum_{u = 1}^{N} \sum_{τ = 1}^{T - 1} \sum_{s = 1}^{3} {({\hat{y}}_{u, s} (t + τ + 1) - {\hat{y}}_{u, s} (t + τ))}^{2} .

Использование штрафа на резкие изменения согласуется с представлениями о динамике психических состояний как инерционных процессов (Выготский, 1982).

2.Функция потерь классификации:

L_{Clf} = - \frac{1}{N} \sum_{u = 1}^{N} \sum_{c = 1}^{C} I [c_{u} (t) = c] \cdot \log p_{Θ} (c ∣ H_{u} (t)),

где

C = 3

,

p_{Θ}

— вероятность класса, предсказанная моделью.

3.L2-регуляризация параметров:

L_{Reg} = ∥ Θ ∥_{2}^{2} .

Коэффициенты

λ_{1}, λ_{2}, λ_{3}, λ_{4}

подбираются с помощью метода полного перебора на валидационной выборке.

2. Математическая модель архитектуры

2.1. Модальные кодировщики: отображение сырых данных в пространство признаков

Использование мультимодальных данных для анализа и прогнозирования психических и аффективных состояний опирается на результаты исследований, демонстрирующих, что сочетание поведенческих, речевых и физиологических сигналов позволяет более полно описывать динамику внутренних состояний по сравнению с одномодальными подходами (D’Mello & Kory, 2015).

Каждая модальность

m

обрабатывается специализированным кодировщиком

E_{m} : ℝ^{d_{m} \times s_{m}} \to ℝ^{d_{emb} \times s_{m}^{'}}

, который преобразует исходные данные в последовательность скрытых представлений фиксированной размерности

d_{emb}

. В общем виде:

Z^{(m)} = {Encoder}_{m} (X^{(m)}; Θ_{m}) .

Например, для текстовой модальности может использоваться трансформер BERT:

Z^{(T)} = BERT (Tokenize (X^{(T)}))

. Для аудио — сверточная сеть (1D-CNN) поверх мел-спектрограмм:

Z^{(A)} = {CNN}_{1 D} (MelSpectrogram (X^{(A)}))

.

2.2. Кросс-модальный модуль интеграции данных на основе механизма внимания

Выбор кросс-модального подхода к объединению разнородных источников данных соответствует современным представлениям мультимодального машинного обучения, в рамках которых особое внимание уделяется согласованию представлений различных модальностей и явному моделированию их взаимодействий (Baltrušaitis et al., 2019).

Полученные векторные представления

Z^{(A)}, Z^{(V)}, Z^{(T)}, Z^{(K)}

конкатенируются по временной оси с добавлением модальных позиционных кодировок

P_{m}

:

Z^{concat} = [Z^{(A)} + P_{A}; Z^{(V)} + P_{V}; Z^{(T)} + P_{T}; Z^{(K)} + P_{K}] \in ℝ^{d_{emb} \times S},

Где [;] — конкатенация по временной оси,

S = s_{A}^{'} + s_{V}^{'} + s_{T}^{'} + s_{K}^{'}

.

Затем

Z^{concat}

подается на вход стека из

L_{tr}

кросс-модальных блоков трансформера. В каждом блоке выполняется операция многоголового кросс-модального внимания (Cross-Modal Multi-Head Attention, CMMHA). Механизм внимания, лежащий в основе трансформерных архитектур, позволяет моделировать зависимости между элементами последовательностей без явного задания локальной структуры, что делает его удобным инструментом для анализа сложных временных и кросс-модальных зависимостей (Vaswani et al., 2017).

Для головы

h

:

{Attention}^{(h)} (Q^{(m_{i})}, K, V) = Softmax (\frac{Q^{(m_{i})} K^{⊤}}{\sqrt{d_{k}}} + M) V .

Здесь:

$Q^{(m_{i})} = Z^{(m_{i})} W_{Q}^{(h)}$ — запрос, получаемый из токенов модальности $m_{i}$ .
$K, V = Z^{concat} W_{K}^{(h)}, Z^{concat} W_{V}^{(h)}$ — ключи и значения из всех модальностей.
$M$ — маска, позволяющая, например, текстовым токенам «видеть» только аудио и видео за тот же временной интервал, что эмпирически снижает количество некоррелированных межмодальных взаимодействий и упрощает интерпретацию матриц внимания.

Результаты всех голов конкатенируются и проходят через линейное преобразование:

CMMHA (Z^{(m_{i})}, Z^{concat}) = Concat (h ea d_{1}, \dots, h ea d_{H}) W_{O} .

Это позволяет каждой модальности «запрашивать» релевантную информацию из других модальностей.

Альтернативой кросс-модальному вниманию могли бы выступать методы тензорной интеграции или графовые модели взаимодействия модальностей, однако они либо существенно увеличивают размерность параметрического пространства, либо затрудняют интерпретацию межмодальных связей.

2.3. Прогнозный декодер и классификатор

Скрытое состояние после трансформер-блоков

H \in ℝ^{d_{emb} \times S}

агрегируется (например, глобальным усреднением) в вектор контекста

c \in ℝ^{d_{emb}}

.

Прогнозный декодер представляет собой рекуррентную сеть (GRU/LSTM), которая по вектору контекста

c

и предыдущему прогнозу генерирует последовательность на горизонте

T

:

h_{0} = c, h_{τ} = DecoderRNN (h_{τ - 1}, {\hat{y}}_{τ - 1}; Θ_{dec}),

{\hat{y}}_{τ} = W_{out} h_{τ} + b_{out}, τ = 1, \dots, T .

Классификатор — линейный слой с функцией активации Softmax над вектором

c

:

p (c ∣ H = Softmax (W_{clf} c + b_{clf}) .

3. Алгоритм обучения и оптимизация

Алгоритм 1. Обучение кросс-модальной прогнозной модели.

1.Вход: мультимодальный набор данных $D = H_{u} (t), y_{u} (t + 1 : t + T), c_{u} (t)}$ , гиперпараметры $λ_{1 : 4}, L, T, d_{emb}, L_{tr}$ .
2.Инициализация: параметры $Θ = {Θ_{m}, Θ_{tr}, Θ_{dec}, Θ_{clf}}$ инициализируются согласно He et al. (2015).
Для каждой эпохи:
1. 1.Разбить $D$ на мини-пакеты $B$ .
2. 2.Для каждого мини-пакета $B_{j}$ :
  - Прямой проход: вычислить $\hat{y}, \hat{c} = F_{Θ} (H)$ .
  - Вычислить составную функцию потерь $L$ .
  - Обратный проход: вычислить градиенты $\nabla_{Θ} L$ .
  - Шаг оптимизации: обновить параметры с помощью AdamW: $Θ \leftarrow Θ - η AdamW (\nabla_{Θ} L, Θ)$ , где $η$ — скорость обучения.
Ранняя остановка: если значение функции потерь $L_{val}$ не улучшается $P$ эпох.
Выход: обученные параметры $Θ^{*}$ .

Использование оптимизатора AdamW с раздельным затуханием весов обусловлено его более стабильными обобщающими свойствами при обучении глубоких нейронных моделей по сравнению со стандартной версией Adam (Loshchilov & Hutter, 2019).

4. Экспериментальное моделирование и результаты

4.1. Синтетические данные и базовые модели

Для валидации математической корректности модели на первом этапе использован синтетический набор данных, где целевая переменная

y_{t}

генерируется линейно-динамической системой, возмущаемой скрытыми факторами, зависящими от смоделированных мультимодальных признаков. Использование синтетических данных на данном этапе обусловлено отсутствием открытых лонгитюдных мультимодальных наборов данных, включающих валидированные психометрические шкалы выгорания.

Для оценки эффективности предложенной архитектуры ее сравнивали с тремя классическими подходами (базовыми моделями):

BL1: линейная регрессионная модель с квадратичной регуляризацией (Ridge Regression), обученная на объединенном наборе признаков. Используется как простая интерпретируемая модель сравнения.
BL2: рекуррентная нейронная сеть с долговременной памятью (типа LSTM), обученная на объединенных временных рядах признаков, с учетом их последовательной структуры.
BL3: ансамблевая модель с раздельной обработкой модальностей и последующим объединением результатов (Late Fusion). Rомплексная модель, где для каждого типа данных (аудио, видео и т.д.) используется своя LSTM, а результаты их работы затем объединяются общим классификатором.

4.2. Метрики оценки

Для задач прогнозирования использовались следующие показатели: средняя абсолютная ошибка (MAE), среднеквадратичная ошибка (RMSE) и коэффициент детерминации (R²).
Качество классификации оценивалось с использованием:

- взвешенной F1-меры (weighted F1-score), учитывающей распределение классов;
- макроусреднённой площади под ROC-кривой (macro-averaged ROC-AUC).

3.Для оценки интерпретируемости моделей применялась норма Фробениуса матриц внимания

∥ A_{m_{i}, m_{j}} ∥_{F}

между различными модальностями, рассматриваемая как количественная мера их взаимного влияния.

Предыдущие исследования показывают, что анализ синхронизированных мультимодальных потоков данных позволяет выявлять скрытые закономерности, связанные с процессами обучения и вовлечённости, недоступные при анализе отдельных каналов информации (Grafsgaard et al., 2014).

4.3. Результаты и анализ

Таблица 1/ Table 1

Сравнение моделей по метрике MAE (прогноз) и F1 (классификация)

Comparison of models using the MAE (prediction) and F1 (classification) metrics

Модель / Model	MAE (Истощение/ Exhaustion)	MAE (Цинизм/ Cynicism)	MAE (Эффект./ Effect.)	MAE (Средн./ Average)	F1-score
BL1: Ridge	3.21	2.98	2.75	2.98	0.65
BL2: LSTM	2.45	2.67	2.30	2.47	0.72
BL3: Late Fusion	2.20	2.31	2.05	2.19	0.78
Предложенная модель / The proposed model	1.85	1.92	1.73	1.83	0.84

Анализ: предложенная модель показывает снижение MAE на ~16% относительно лучшей базовой модели (BL3). Функция

L_{Smooth}

снизила дисперсию ошибки прогноза на последовательных шагах на 30%.

Анализ матриц внимания: вычислены средние матрицы внимания

\overset{´}{A} = E [A_{m_{i}, m_{j}}]

по валидационной выборке. Обнаружено, что:

Аудио-токены проявляют высокое внимание к видео-токенам ( ${\overset{´}{A}}_{A \to V} = 0.31$ ), что соответствует интеграции голосового стресса и мимики.
Текстовые токены «циничных» высказываний сильно взаимодействуют с кинестетическими токенами замедления печати ( ${\overset{´}{A}}_{T \to K} = 0.28$ ), формируя паттерн поведенческой демотивации.

Следует отметить, что интерпретация матриц внимания и прямое трактование весов как свидетельства причинно-следственных связей не получила однозначного подтверждения и продолжает обсуждаться в научной литературе (Jain & Wallace, 2019).

Обсуждение, ограничения и заключение

Результаты исследований аффективных состояний в образовательных контекстах показывают, что эмоциональные и когнитивные компоненты обучения тесно взаимосвязаны и проявляются в динамике поведения обучающихся, что делает задачу их формального моделирования особенно сложной (Reis et al., 2018). Результаты прогнозирования цифрового когнитивного выгорания целесообразно рассматривать в более широком контексте регуляции психических состояний в учебной деятельности, где когнитивные, эмоциональные и поведенческие компоненты образуют взаимосвязанную динамическую систему. Современные исследования показывают, что устойчивые изменения в структуре учебной активности и саморегуляции обучающихся формируются постепенно и опосредуются как индивидуальными, так и средовыми факторами, что накладывает дополнительные ограничения на интерпретацию краткосрочных прогнозных моделей (Карташева, 2022).

Разработанная математическая модель формализует задачу прогнозирования ЦКВ как задачу условной регрессии на гетерогенных временных рядах. Введение составного функционала потерь

L

и механизма кросс-модального внимания позволило учесть временную динамику, согласованность модальностей и дискретную классификацию одновременно.

Полученные результаты не следует интерпретировать как готовую диагностическую методику, а лишь как формальный и вычислительный каркас для последующей клинической и психометрической валидации. Подобное ограничение интерпретации соответствует современной методологической позиции в психологии, согласно которой прогнозные модели временной динамики психических состояний не могут рассматриваться как прямые инструменты каузального вывода или индивидуальной диагностики без дополнительной теоретической и эмпирической валидации (Hamaker et al., 2015; Карпов, 2021).

Основные ограничения

Вычислительная сложность модели $F_{Θ}$ составляет $O (L_{tr} \cdot S^{2} \cdot d_{emb})$ , что требует оптимизации для реального времени.
Ограниченная доступность больших размеченных образовательных наборов данных является общей проблемой исследований в области образовательной аналитики и интеллектуальных обучающих систем, что существенно влияет на устойчивость и воспроизводимость результатов моделей машинного обучения (Baker, 2019).
Дополнительным ограничением практического применения прогнозных моделей в образовательных средах являются этические и нормативные аспекты использования методов искусственного интеллекта, включая вопросы интерпретации результатов, ответственности за принимаемые решения и защиты персональных данных обучающихся, что подчеркивается в современных обзорных работах по данной проблематике (Савгильдина, 2024).

Направления будущих исследований

Применение байесовских методов для количественной оценки неопределённости прогноза, что позволит получать не только точечные оценки траектории выгорания, но и доверительные интервалы $σ ({\hat{y}}_{t})$ .
Отдельным направлением является интеграция вариационных автоэнкодеров (VAE) в модальные кодировщики, что может повысить устойчивость моделей при работе с зашумлёнными и неполными данными.

Заключение

Разработанная в данной работе математическая модель служит теоретическим фундаментом и практическим инструментом для построения систем раннего обнаружения риска цифрового когнитивного выгорания (ЦКВ).

Формализация задачи как прогноза многомерных траекторий на основе гетерогенных временных рядов, а также предложенная кросс-модальная архитектура позволяют не только выявлять характерные изменения в динамике когнитивных и поведенческих показателей, но и рассматривать их во взаимосвязи, что принципиально важно для своевременной диагностики рисков снижения учебной и профессиональной эффективности.

Практическая значимость модели заключается в возможности её использования в качестве аналитического ядра интеллектуальных образовательных сред, ориентированных на поддержку обучающихся и профилактику перегрузки в условиях цифрового обучения. При этом модель рассматривается не как инструмент формального контроля, а как средство повышения адаптивности образовательных систем и более бережного отношения к когнитивным ресурсам человека.

Полученные на синтетических данных результаты подтверждают перспективность подхода, однако их нельзя напрямую экстраполировать на реальные образовательные контексты, поэтому дальнейшие исследования будут направлены на апробацию предложенной модели на масштабных эмпирических данных, собранных в условиях реальной цифровой образовательной среды. Особое внимание планируется уделить вопросам интерпретируемости результатов, корректной работы с неопределённостью прогнозов и строгому соблюдению этических принципов, включая прозрачность алгоритмов, защиту персональных данных и недопущение стигматизации обучающихся. Окончательной целью является создание на основе данной модели этичных, прозрачных и полезных инструментов, которые могут быть интегрированы в образовательные платформы.

В перспективе развитие данного направления может способствовать формированию нового класса интеллектуальных образовательных систем, ориентированных не только на оценку результатов обучения, но и на поддержку устойчивого когнитивного и психологического состояния участников образовательного процесса.

Резюме

Общая информация

Полный текст

Введение

4. Экспериментальное моделирование и результаты

Обсуждение, ограничения и заключение

Заключение

Литература

Информация об авторах

Конфликт интересов

Метрики

Просмотров web

Скачиваний PDF

Всего