Автоматическое распознавание вовлеченности в образовании: критический обзор исследований

Введение

Образовательный процесс состоит в достаточно большом количестве различных учебных заданий, которые учащийся должен выполнить.

Все обучение можно представить как последовательность конкретных задач, для решения которых студенту необходимы не только когнитивные способности, но и мотивация, и состояние включенности в деятельность (вовлеченность).

Вовлеченность является ситуативной, возникающей в конкретный момент направленностью на задачу, характеризующейся интенсивными мыслительными процессами и сопутствующими аффективными переживаниями [14]. Высокая степень вовлеченности обеспечивает быстрое, эффективное, творческое решение конкретных учебных задач, а значит, делает продуктивным процесс обучения в целом.

Однако вовлеченность в образовании зависит не только от мотивации и способностей студентов, но и от содержания учебных курсов, их соответствия потребностям и интересам учащихся. Ситуативная вовлеченность на занятиях зависит и от стиля подачи материала. В очном обучении преподаватель, опираясь на реакцию аудитории, может изменять форму подачи информации, чтобы включить студентов в активную работу. Но в онлайн-образовании это крайне сложно сделать: из-за специфики удаленного обучения практически невозможно следить за групповой динамикой. Поэтому необходимы технические методы отслеживания состояний студентов, в частности методы регистрации вовлеченности и аффектов по видео.

Тема аффективных состояний, их выявления и роли в деятельности, в том числе образовательной, была предметом исследования в психологии с XIX в. Но исследования в области компьютерного распознавания эмоций начались относительно недавно — с конца 70-х—начала 80-х гг. XX в. Распознавание эмоций в контексте вовле­ченности исследуется только с начала XXI в.

Основная задача подобных работ — научить системы видеорегистрации распознавать эмоции по изменениям мимики и позы и выявлять те состояния, которые возникают в деятельности. Есть большое количество исследований по определению эмоций в связи с изменениями мимики и положений тела, физиологическими реакциями, наблюдениями за работой мозга. Однако теоретически достаточно сложно определить, какие чувства указывают на состояние вовлеченности или этапы развития этого состояния. Также многие автоматические инструменты распознавания отличаются невысокой точностью, и надежность полученных данных необходимо подтверждать посредством экспертных оценок и/ или комплексом исследовательских инструментов.

Распознавание чувств значимо для организации как очного, так и дистанционного обучения [11; 17; 18]. Вовлеченность в процессе обучения является объектом многих дисциплин, как психолого-педагогического, так и информационного профиля.

В фокусе внимания авторов статьи — содержательные характеристики и динамика процесса вовлечен­ности.

Цель — разработать и обосновать теоретическую модель для автоматического распознавания вовлечен­ности по видеорегистрации проявлений эмоций.

Ниже будут рассмотрены основные подходы к оценке вовлеченности по видеорегистрации эмоциональных состояний и представлена теоретическая модель регистрации вовлеченности в учебной деятельности по видео.

Обзор работ по исследованию вовлеченности
и эмоций: модели и понимание

Существует две исследовательские позиции в отношении вовлеченности в обучении: 1) характеристика процесса; 2) актуальное состояние личности в процессе деятельности (решения задачи).

Вовлеченность как характеристика процесса описывает включенность личности в обучение в целом [30; 22; 18]. Тогда исследователи оценивают отношение к учебе, количество времени, уделяемое занятиям в течение года или семестра, инициативность в отношении задач, взаимодействие учащихся с преподавателями и однокурсниками, и т. д.

Вовлеченность как актуальное состояние включает когнитивные процессы решения задачи, участие в непосредственной совместной деятельности и связанные с этим переживания. В вовлеченности как состоянии можно выделить когнитивный, эмоциональный, поведенческий компоненты [10; 42].

Практически все авторы выделяют аффективные переживания как одну из значимых составляющих вовле­ченности. Ранние модели вовлеченности включают поведенческий (конкретная деятельность по решению задачи) и аффективный (ценность обучения, сопричастность и чувство «команды») компоненты [28; 32]. В последующих работах появляется когнитивный компонент (постановка учебной задачи, саморегуляция) [23; 30].

Н. Бош (N. Bosch) описывает проявления вовлечен­ности в процессе обучения по наличию специфического поведения (проявление инициативы), когнитивных процессов (внимание, сосредоточенность) и академических переживаний, таких как: сосредоточенность, скука, беспокойство, растерянность, разочарованность, счастье/ восторг [7; 11]. В своих исследованиях Н. Бош подтверждает, что именно эти переживания указывают на наличие вовлеченности при решении учебных задач [11].

Некоторые исследователи вовлеченности предполагают, что сила аффекта напрямую отражает степень вовлеченности в решение задачи [3]: чем сильнее переживания, вне зависимости от их модальности, тем выше вовлеченность. Так, скука, расслабленность и утомление указывают на отсутствие вовлеченности. Тогда как удивление, радость и энтузиазм, а также злость и нервозность указывают на сильную увлеченность делом.

Доказано, что различные переживания влияют на восприятие информации и эффективность ее запоминания в обучении [16; 40]. Особая роль отводится замешательству, фрустрации, скуке. Они возникают как реакция на чрезмерно сложные (не соответствующие уровню знаний) или незнакомые задачи и препятствуют процессу эффективного обучения [8]. Эти чувства изменяют отношение студентов к изучаемому предмету и напрямую влияют на мотивацию [8; 40].

Таким образом, можно говорить о специфических переживаниях, которые возникают у студентов в связи с обучением и отражают процесс решения студентом задачи, его успешность [17]. Кроме того, положительные академические переживания способствуют восприятию и запоминанию нового, поскольку связаны с мотивацией к обучению [5; 24]. Тогда вовлеченность, как интенсивную аффективно-когнитивную направленность на задачу, можно выявить по наличию академических аффектов студентов при решении учебных задач. При этом положительные аффекты могут свидетельствовать о росте вовлеченности, а отрицательные — о ее возможном снижении.

Распознавание эмоциональных состояний в иссле-
довании вовлеченности

Распознавание эмоций, особенно связанных с процессом обучения (educational affects) может стать ведущим способом исследования вовлеченности. Необходимо только определить перечень искомых переживаний и подобрать соответствующие методы их регистрации.

В работах по распознаванию чувств исследователь должен ответить на два вопроса: что понимается под тем или иным чувством (теория эмоций)? Какие алгоритмы распознавания можно использовать (математические и компьютерные модели, технические средства)?

Довольно много работ посвящено распознаванию базовых эмоций: злости, страха, счастья/радости, отвращения и удивления. Но в процессе решения задачи не все из этих чувств возникают часто, особенно в условиях онлайн-обучения [7; 13; 16; 17].

Теории эмоций

Представление о чувствах как о телесной, физической реакции, подобной инстинктам, было сформулировано на основе теории Ч. Дарвина. Базовые реакции- переживания (испуг, ярость, радость и т. д.) и их единообразные проявления можно наблюдать у многих животных. Последователи данного подхода рассматривают эмоции как пред-рефлекторные реакции, выражающиеся в экспрессивно-телесных движениях («serviceable associated habits»). Сложные эмоции являются сочетанием нескольких базовых переживаний, а у каждого базового чувства есть свои внешние проявления, по которым его можно распознать [25]. На основе данного подхода разрабатываются технологии и методы распознавания эмоций по мимике и телодвижениям.

В рамках психофизиологического подхода эмоции понимаются как реакция вегетативной нервной системы на значимые для жизни личности события. Данная теория разрабатывалась в русле поведенческой и когнитивной психологии (У. Джеймс, К. Ланге). При возникновении переживаний можно регистрировать изменения в работе сердечной, дыхательной, нейрогу-моральной систем. Для каждого переживания характерен свой физиологический «ответ». Наблюдение за изменениями работы сердца или кожно-гальванических реакций позволяет исследовать аффекты [21]. Но такие исследования часто сложно организовать в полевых условиях, например, на лекции, поскольку они требуют использования специальной аппаратуры.

В когнитивной теории эмоции — это неосознанная оценка личностью ситуации и ее особенностей с точки зрения собственных потребностей. Аффективные реакции зависят от опыта личности, новизны ситуации и возможностей с ней справиться. Данный подход сделал вклад в понимание взаимосвязей когнитивных и аффективных процессов. Некоторые ученые [36] разработали систему критериев оценки ситуации, по которым можно предсказать эмоции, испытываемые личностью. Но данные критерии практически невозможно применить на практике из-за сложности многих реальных ситуаций решения задачи [39]. Достижения когнитивной теории эмоций были использованы при разработке вероятностных моделей аффекта и искусственного интеллекта [15].

Социальная теория эмоций говорит о том, что переживания детерминированы культурой, группой (сообществом) и потребностями личности в принадлежности. Эмоции — это механизм установления и регуляции социальных отношений, а также саморегуляции в группе [38].

Нейрофизиологические исследования аффектов нацелены на выявление отделов мозга, отвечающих за проявления конкретных чувств. Данный подход предполагает картирование мозга с помощью электроэнцефалографии и магнитно-резонансной томографии мозга. По активности различных отделов мозга можно определить и аффекты, и когнитивные процессы (в последних исследованиях были обнаружены тесные связи нейромеханизмов проявления чувств и процессов решения задачи). К недостаткам данного подхода можно отнести: сложность организации подобных исследований, высокую стоимость оборудования, трудности в поиске участников исследования [12].

Собственно психологический подход к пониманию эмоций интегрирует знания об эмоциях как социальном, физиологическом, когнитивном феномене [37]. Теория эмоций строится на представлении о базовых переживаниях и разделении их по модальности (приятное—неприятное) и по степени воздействия (пассивный—активный). Можно различать общие эмоции и проявления эмоций в конкретных ситуациях. Возникновение чувств обеспечивается не одним механизмом, а совокупностью физиологических, нейро-социальных и оценочных механизмов. Именно психологический подход представляется ценным для оценки вовлеченности по переживаниям, поскольку он объединяет телесные, физиологические, когнитивные и социальные аспекты аффектов.

Эмпирические исследования аффективных состояний также идут по нескольким направлениям: исследования чувств по голосу и его модуляциям; по позе и движениям тела [31], по физиологическим показателям и особенностям работы мозга; по мимике и телодвижениям (языку тела).

Наиболее ценным для автоматической оценки вовлеченности представляется метод оценки эмоций по мимике. Но распознавание реальных эмоций пользователя является и самым сложным в эмпирических исследованиях, поскольку чувства — это не только набор физиологических реакций, но еще и культурно­социальное явление, поэтому многие переживания трудно определить, классифицировать однозначно.

Работы по регистрации эмоций с помощью компьютерных технологий предпринимаются на стыке психологии, компьютерных, инженерных и нейронаук и теории обучения. Многие проекты по разработке интерфейсов и технических средств распознавания часто недооценивают психологический и социальный аспекты эмоций [13].

Распознавание эмоций по видеозаписям
учебных занятий

Существует несколько возможностей распознавания академических аффектов в процессе обучения. Большинство исследователей опираются на логику выделения критериев искомого состояния (вовлечен­ность, радость, фрустрация и другие переживания) и обучение технических средств их распознаванию. В соответствии с этим происходит двойная фокусировка научно-практической задачи: 1) обоснование надежных критериев; 2) «обучение» программных алгоритмов с меньшим количеством ошибок распознавать искомые чувства. Можно выделить несколько подходов к распознаванию чувств по видеозаписи, большинство из них были апробированы в лабораторных исследованиях.

Во многих работах распознавание чувств по мимике осуществляется с помощью фильтра Габора. Это позволяет различить движения отдельного участка лица, с помощью векторного моделирования определить его направление и выявить изменение мимики, сравнить его с существующими выражениями лиц из баз эмоций и автоматически по совпадениям сделать вывод о наличии или отсутствии той или иной эмоции [41].

Ряд ученых в дополнение к видеораспознаванию мимики и черт лица используют данные с кинестетических сенсоров, получая информацию о движении тела, кисти руки, а также кожно-гальваническую реакцию. Их цель — выявление состояния фрустрации в процессе решения задачи [27].

Самые известные работы — в области автоматического распознавания эмоций по лицевым движениям (ЭмСКЛиД или Facial Action Coding System (FACS)). Для каждого состояния выявлены мимические коды (движения определенных мышц), по сочетанию которых можно предположить эмоцию, испытываемую респондентом [4]. Система ЭмСКЛиД применяется вместе с системами автоматического распознавания лица, например, с программой CERT, работающей на основе фильтров Габора и фиксирующей как мимику, так и позу и положение головы [11]. Также существует большое количество баз эмоций, с которыми можно сравнивать автоматически полученные данные [20].

В отечественных исследованиях вовлеченности авторы также используют готовые библиотеки базовых эмоций и стремятся наиболее точно определить переживания школьников и студентов в связи с обучением, различать чувства детей и взрослых и определить, какие из эмоций связаны с вовлеченностью в задачу [2; 26].

Достоинство данного подхода в том, что мимические движения одинаковы у всех, и определенное выражение лица можно распознать достаточно точно.

Недостаток в том, что точность результатов зависит от баз эмоций, многие из которых разрабатывались актерами, состоят из ограниченного набора переживаний [9] и в итоге могут ошибочно определять эмоции. В некоторых исследованиях это компенсируется дополнительными данными: физиологическими реакциями, самооценкой участников и методом экспертных оценок, но требует больших усилий и времени [33]. Кроме того, в этом подходе необходимо определить чувства, связанные с проявлениями вовлеченности, но в готовых программных решениях их нет, а значит, программы надо обучать на распознавание академических эмоций в конкретных выборках и задачах [4; 19].

Проблема автоматического распознавания
вовлеченности в образовании

Помимо технических проблем распознавания вовлеченности в образовании, есть и концептуальные. С. Д’Мелло (S. D’Mello) подчеркивает, что вовлечен­ность — это процесс, и при решении задачи студент может переживать ее спады и подъемы, в зависимости от проблем или открытий, с которыми он сталкивается [17]. Поэтому вовлеченность необходимо исследовать как динамическую характеристику процесса решения задачи.Однако ни в одном из существующих зарубежных или отечественных исследований не рассмотрены модели или подходы изучения вовлеченности как процесса, в динамике ее развития в деятельности.

Авторская модель распознавания вовлеченности
при решении учебных задач

Вслед за зарубежными исследователями мы понимаем учебную деятельность как совокупность конкретных задач, например, в рамках семинарских или практических занятий [18]. Вовлеченность сильнее проявляется при активной деятельности, чем при обучении через наблюдение, как в лекционном формате [18; 22]. При наблюдении за состоянием и поведением студентов в процессе решения ими учебных задач можно увидеть вовлеченность в динамике, ее спады и подъемы [30; 34].

Опираясь на идеи Н. Бош (N. Bosch), мы полагаем, что академические эмоции (интерес, замешательство, фрустрация, восторг, гнев, сосредоточенность, скука, разочарование, беспокойство) свидетельствуют о вовле­ченности, поскольку отражают когнитивные процессы при решении задачи [6; 7]. Эти аффективные состояния можно зарегистрировать на видео, так как для них есть фиксированные лицевые и телесные движения.

Аффекты — это не только психологический, но и психофизиологический феномен, и мы можем говорить о том, что в один момент времени учащийся может испытывать одно выраженное переживание [21; 25]. Тогда динамику эмоциональных состояний E можно описать формулой: 

где Et— одно из академических переживаний, испытываемых студентом в момент времени t, где t принадлежит к временному отрезку решения студентом задачи T.

Помимо модальности чувств, важно учитывать их интенсивность [17]. Е.П. Ильин подчеркивает, что сила и содержание аффектов положительно коррелируют с уровнями психической активности [1]. Так, счастье, тревога и гнев могут говорить об активной психической включенности, тогда как рассеянность, грусть, усталость и скука, наоборот, указывают на спад активности. Интенсивность эмоций — это процессуальная характеристика, она изменяется со временем. Поскольку содержание учебных задач все время разное, изменение интенсивности одного академического переживания можно описать относительно времени решения задачи с помощью формулы: 

где Eij— эмоция студента в определенный отрезок времени; E(ti) — переживание, испытываемое в текущий момент времени ti; E(tj) — переживание, испытываемое в предыдущий момент времени t

А динамику эмоциональных состояний по их интенсивности и модальности в процессе решения задачи можно описать с помощью матрицы:

где каждой строке E1 — En1 соответствуют различные академические переживания, а столбцы E11 — E1k показывают изменение интенсивности одного переживания с течением времени.

Кроме силы и модальности переживаний важно учитывать когнитивные показатели — устойчивость и произвольность внимания, как было отражено в методике DSSQ (шкала стресса при решении задач Данди), разработанной Г. Мэттьюс (G. Matthews) и коллегами [35], и в работах Е.П. Ильина. Вовлеченность у данных авторов определяется по степени энергетического подъема, концентрации внимания и интересу к задаче и позволяет определить степень когнитивного участия в деятельности [9; 10].

Можно предположить, что устойчивое произвольное внимание на учебную задачу можно определить по времени, в течение которого студент непрерывно работает над задачей, и по физическим и физиологическим проявлениям:

•     по зрительной фиксации студента на задании и сопутствующим изменениям мимики и позы;

•     по отсутствию отвлечений и ограниченному количеству переключений с объекта на объект (то, что требует произвольного внимания, например, вопрос или комментарии преподавателя, и то, что может его отвлечь).

Таким образом, если описать теоретическую модель в динамике, то вовлеченность может нарастать или снижаться в деятельности в зависимости от энергетических ресурсов личности [1; 35], сложности задачи [8; 40] и мотивации студентов [17].

В идеальных условиях, когда сложность и содержание задачи соответствуют интересам и психическим ресурсам студента, можно предположить, что вовлеченность проявляется в деятельности по нарастающей; при включении в задачу достигает своего оптимума, соответствующего оптимуму психической активности; и при растрате когнитивного и эмоционального ресурса, после определенного времени работы над задачей, снижается. Таким образом, идеальная динамика вовлеченности при решении одной учебной задачи (задания) может выглядеть в виде кривой [29], где каждому из этапов развития или спада вовлеченности соответствуют определенные академические чувства [1; 7] (рис. 1). Важно отметить, что в данной модели академические аффекты представлены вероятностно, т. е. в эмпирическом исследовании может быть выявлена другая закономерность смены аффектов, связанных с ростом или спадом вовлеченности.

Точка максимума (пик или плато) и прилегающие к ней области относятся к оптимуму психической активности личности, когда студент близок к нахождению решения задачи, которая ему по силам, испытывает в связи с этим позитивные эмоции и вовлечен в процесс поиска решения [29].

При спаде психической активности, если задача решена или слишком сложная и у студента наступает утомление [17], уровень вовлеченности снижается, уменьшаются сила переживаний и активная образовательная деятельность.

Для практического применения данной теоретической модели мы оцениваем поведение и действия студента при решении им учебной задачи по трем критериям:

•     проявления базовых и «академических» эмоций и их регистрация в соответствии с системой кодирования лицевых движений;

•     дополнительная оценка позы и мимики, их динамики для уточнения аффективных состояний и направленности на задачу;

• оценка произвольного внимания, его устойчивости и длительности по поведению и системе кодирования лицевых движений.

О вовлеченности можно судить при наличии определенных аффективных состояний, их динамики от интенсивных переживаний к состоянию сосредоточенности, устойчивого внимания и поведенческой направленности на задачу.

Заключение

В данной статье рассмотрены основные теоретические и эмпирические подходы к автоматическому выявлению вовлеченности в образовании по аффективным состояниям. Исследования вовлеченности важны для практических целей образования в связи с увеличением доли дистанционных форм обучения, а также для теоретической науки — для приращения знаний о том, как проявляется и изменяется вовлеченность в процессе решения задач, что влияет на ее динамику у студентов и как можно создавать условия для ее развития.

Автоматическое определение эмоций по видео, в частности академических переживаний, стало предметом исследования в психологии и смежных науках недавно — в начале XXI в. В зависимости от подхода к пониманию эмоций есть ряд эмпирических методов их выявления: по мимике и телодвижениям; по психофизиологическим реакциям; по проявлениям в поведении когнитивных механизмов; в рамках исследований социальных взаимодействий; по нейрофизиологическим процессам. Почти каждый из перечисленных подходов имеет свои ограничения, поэтому многие исследователи руководствуются комплексным психологическим подходом, сочетая в исследовании несколько методов.

Рис. 1. Модель распределения вовлеченности в соотнесении с эмоциональной динамикой личности (где ось х — время решения учебной задачи; ось у — уровень вовлеченности)

Для целей образования самым перспективным представляется оценка вовлеченности по видео. На данный момент существует множество готовых программ по регистрации эмоций и библиотек стандартных проявлений чувств. Однако стандартизированные технические решения по отслеживанию вовлеченности, особенно в ее динамике, находятся на стадии разработки.

В статье рассмотрена авторская динамическая модель вовлеченности. Вовлеченность понимается как аффективно-когнитивный процесс направленности на задачу. Представленная теоретическая модель описывает вовлеченность как динамический процесс, связанный с аффективными состояниями скуки, растерянности, разочарования, беспокойства, гнева, грусти, восторга, сосредоточенности и с когнитивными проявлениями в виде произвольного внимания. Возникновение, развитие и исчезновение вовлеченности связаны с уровнем психической активности студента, сложностью задачи, количеством отвлекающих факторов.

Предлагаемая модель подлежит экспериментальной проверке посредством использования алгоритмов машинного обучения с последующим экспертным контролем.