Айтрекинг-исследование особенностей перцептивной деятельности дошкольников с нарушением слуха при взаимодействии с визуальным учебным материалом в процессе обучения

Статья посвящена анализу окуломоторной активности, наблюдаемой при восприятии визуального образовательного материала у детей с нарушением слуха. Необходимость пересмотра традиционных методов и развития новых подходов к реабилитации и обучению детей с нарушением слуха связана с возрастающими технологическими возможностями кохлеарной имплантации. Предыдущие исследования демонстрируют, что дети с нарушением слуха имеют особенности визуального внимания во время выполнения учебного задания по сравнению со своими слышащими сверстниками. Актуальным становится выявление того, как визуальная наглядность может быть встроена в процесс обучения детей с нарушением слуха и воспринята им как репрезентирующая излагаемый материал. При помощи айтрекинга стало возможным отследить у детей с нарушением слуха изменение характера перцептивной деятельности при разной форме визуального стимульного учебного материала. Ставится вопрос о влиянии визуальных подсказок на успешность решения задач детьми с нарушением слуха и как они направляют внимание детей с нарушением слуха, снижая когнитивную нагрузку, обеспечивая глубину обработки информации. Для того чтобы зафиксировать перестройку перцептивной деятельности дошкольников с нарушением слуха под влиянием обучающего воздействия в ходе эксперимента, мы отслеживали зависимость специфики движений глаз ребенка от формы визуального предъявления учебного материал. Выборку исследования составили 9 кохлеарно имплантированных дошкольников с сенсоневральной тугоухостью от 4 до 6 лет. Регистрация движения глаз осуществлялась с использованием портативного айтрекера в формфакте очков Pupil Labs. Были предложены 4 серии эксперимента с применением учебного задания на «классификацию предметов». В 4 сериях эксперимента менялось наличие явных и скрытых подсказок, менялось черно-белое и цветное решение самого стимульного учебного материала. Было показано, что использование различных типов стимулов-подсказок и цветовое решение приводит к смещению визуального внимания к целевой области, облегчает обработку, приводит к более интенсивной обработке стимулов и сокращает время, необходимое нам для ответа на информацию, происходящую в этом заданном пространстве.

Введение

Группа глухих и слабослышащих детей с комплексными нарушениями в развитии разнообразна по этиологии и патогенезу, обуславливающих значительное количество вариантов сочетания первичных и вторичных дефектов.

Сенсорные переживания на ранних этапах онтогенеза определяют нормальное развитие социальных и когнитивных навыков [43]. Атипичное развитие одной сенсорной модальности может иметь серьезные последствия для целого каскада других нарушений. Поэтому дети с нарушением слуха демонстрируют нетипичное развитие в целом ряде когнитивных навыков [23; 24] и обучения [20; 21]. По статистике, 35—37% детей с нарушениями слуха имеют комплексные вторичные дефекты развития и испытывают трудности в обучении [9].

Появляются возможности всё более ранней диагностики и коррекции нарушения слуха с дальнейшим использованием слухопротезирования, что повысило уровень возможностей абилитации и реабилитации детей с нарушениями слуха [8]. В связи с этим возрастает потребность в более раннем психологическом сопровождении и пересмотре традиционных подходов к реабилитации и обучению детей с нарушением слуха [6].

Все традиционные методы обучения детей с нарушением слуха (устные (oral) и жестовые (manual)) принципиально различаются. Традиционные методы опираются в подаче материала на сохранные органы чувств [1; 10; 6], и информация подается сначала слухо-зрительно (наглядно в виде действия), затем только на слух.

Технические возможности кохлеарной имплантации заложили возможности для развития новых методов обучения детей с нарушением слуха — слуховых [6].

Отдельно отмечают, что на обучение кохлеарно имплантированных детей влияет не только необходимость одновременного привлечения слухового и зрительного внимания, но и учет того, что у них увеличено время латентного периода реакции на звуки [6]. Поэтому возникает необходимость опоры на бимодальное восприятие.

Востребованность новых методов обучения связана с тем, что, по статистике, имеется от 25% до 30% неблагоприятных исходов кохлеарной имплантации в зависимости от поведенческих критериев, используемых для оценки ее результатов [36]. После имплантации у значительного числа детей даже после нескольких лет наблюдаются плохие результаты коррекции.

Многими ученными подчеркивается разница в результатах обучения между детьми с нарушением слуха до кохлеарной имплантации и типично развивающимися детьми.

J.M. Conway [22], M.A. Gremp [30] обнаружили лучшие результаты у слышащих детей по сравнению с детьми с потерей слуха (5—11 лет). Исследования J.M. Conway [20; 21; 22], Yurkovic-Harding [58] показали, что после кохлеарной имплантации дети с нарушением слуха по-прежнему демонстрировали более слабые результаты обучения, чем типично развивающиеся дети. J.M. Conway [20] предложили гипотезу «слухового каркаса». Эта гипотеза предполагает, что младенцы с врожденным нарушением слуха, которые не имеют доступа к звуку при рождении, испытывают задержки в общих механизмах обучения, в первую очередь навыков совместного внимания, которые могут распространяться на другие когнитивные области. К ним относятся визуальное обучение, рабочая память, овладение языком и даже двигательные навыки.

Предыдущие исследования демонстрируют, что это может быть связано с тем, что дети с нарушением слуха имеют особенности визуального внимания во время выполнения учебного задания по сравнению со своими слышащими сверстниками.

Дети с нарушенным слухом после кохлеарной имплантации представляют особенную качественно отличающуюся группу — группу детей у которой возможно развитие адекватного слухового восприятия [3; 9]. После проведения кохлеарной имплантации и настройки процессора пороги слухового восприятия у ребенка фактически соответствует 1-й степени тугоухости. Это делает возможным ребенку с кохлеарным имплантом не только понимать обращенную речь, но и развить фразовую речь. Однако у большинства детей после кохлеарной имплантации наблюдается монауральное звуковое восприятие, в связи с тем, что кохлеарная имплантация у большинства детей проводится на одно ухо. В связи с этим у ребенка наблюдаются проблемы при локализации звука в пространстве, особенно при высокой когнитивной нагрузке, сложности восприятия речи при шуме, при общении с несколькими говорящими (Соколовская, 2013) или на расстоянии более 2 метров [6].

Более того, после имплантации в начальный период у детей наблюдаются низкий объем слухоречевой памяти, сниженный уровень слухового внимания, высокий уровень истощаемости нервной системы при слуховых нагрузках [6].

После кохлеарной имплантации изменяются и формы общения взрослого и ребенка. Изменяются средства обращения взрослого к ребенку, что отображает изменение средств реагирования и инициирования совместного внимания.

После кохлеарной имплантации дети также по-прежнему прибегают к альтернативным способам общения, не опосредованными языком: для привлечения внимания чаще используют жесты, разные способы вокализации и реже отдельные слова [6].

Так как основным механизмом обучения является совместное внимание, особо необходимо отметить, что и у взрослого также изменяются формы обращения к ребенку до и после кохлеарной имплантации: у взрослого расширяется диапазон средств инициирования совместного внимания ребенка, но большинство из них сохраняют неуверенность в способах обращения к ребенку [6]. Слышащие родители детей с нарушением слуха оказываются неспособными предоставить типичные ссылки при коммуникативных обменах со своими детьми [36].

В данной ситуации для нас основным вопросом является вопрос о том, как взрослый в процессе обучения может организовать более эффективное восприятие учебного материала детьми с нарушением слуха.

Одной из таких особенностей является то, что дети с нарушением слуха используют разнообразные мультимодальные пути взаимодействия с взрослым для достижения одной и той же функциональной цели поддержания совместного внимания: следя за вниманием родителей, дети с потерей слуха использовали одновременно направление взгляда родителей и движения рук в качестве сигналов, тогда как типично развивающиеся дети в основном полагались на действия родителей [43].

Эти особенности установления совместного внимания связаны с тем, что ребенок с нарушением слуха обычно не в состоянии поддерживать внимание к собеседнику и к предмету разговора одновременно. Он должен разделить свое внимание, обращаясь к человеку и объекту разговора последовательно. Прежде чем эта «привычка» будет приобретена и навык становится автоматическим, переключение внимания может замедлить разговорный обмен и сказывается на навыках совместного внимания.

Эффективность обучения детей с нарушением слуха связана с особенностью применения взрослым средств привлечения совместного внимания и предпочтения модальности общения.

Именно поэтому для эффективной коррекции и обучения детей с нарушением слуха особо необходимо широкое использование наглядных средств на всех этапах обучения.

У детей с нарушением слуха в большей мере, чем у слышащих, продуктивность внимания зависит от характера предъявляемой информации [9]. В свою очередь, продуктивность внимания у обучающихся с нарушением слуха в большой степени зависит от изобразительных качеств воспринимаемого материала.

Имеется немало исследований, посвященных проблеме использования наглядности и визуализации в процессе обучения и управления учебно-познавательной деятельностью [2]. Визуальные материалы в обучении должны быть встроены в структуру деятельности [7]. Однако до сих пор остается мало изученным вопрос о том, как встраивать визуальный материал в процесс обучения детей с нарушением слуха.

В образовании распространен принцип наглядности (принцип множественных репрезентаций, multiple representations). Один из наиболее изученных эффектов — эффект модальности [52; 42], обеспечивающий лучшее обучение при использовании учебных материалов, в которых слова сопровождаются визуальными эффектами [15; 52].

Особое важное значение имеет синхронизирование визуальных подсказок с излагаемым материалом [18; 56; 33; 50; 29].

Актуальным является решение вопроса о том, как и когда визуальные подсказки могут быть встроены в обучение детей с нарушением слуха и их влиянии на успешность решения учебной задачи. Подсказка, конгруэнтная модальности решаемой задачи, будет улучшать эффективность ее решения [44].

Также многие исследования обнаружили ведущую роль коммуникативных подсказок в возникновении референтного отношения к деталям поведения взрослого: эмоции, звуки, действия могут приобретать характер знака-подсказки, который ребенок использует для обозначения и обобщения объектов [27]. Коммуникативные подсказки такого рода не совпадают с понятием совместного внимания в целом.

Однако исследования не объясняют, как подсказка может переструктурировать и сфокусировать внимание детей с нарушением слуха на релевантных учебной задаче элементах. Актуальным является вопрос, каким образом учебный материал и подсказки могут переструктурировать механизмы внимания, как происходит скрытая ориентировка внимания у детей с нарушением слуха, способствуют ли визуальные подсказки успешному решению задач [51; 49; 46; 17].

Для нашего исследования важно, что многие исследования показывают возможность направлять внимание учащихся на соответствующие области с помощью подсказок (принцип подсказки) [35; 41; 48].

С точки зрения методологии исследования необходимы измерения, которые напрямую указывают на когнитивную обработку во время обучения [42].

Именно фиксации движения глаз может выявить распределение зрительного внимания к объектам, изменения фокуса зрительного внимания [34], глубину обработки информации [47] и трудности в обработке зрительной информации  [39; 57; 26].

С точки зрения методологии отслеживание движения взгляда играет все более важную роль в психологии образования [33], поскольку айтрекинг, регистрируя зрительное внимание, позволяет нам пролить свет на начальные этапы обработки когнитивной информации (т. е. визуальное восприятие, интеграцию, активный поиск информации) при взаимодействии с учебным материалом [16].

Реконструкция движения глаз позволяет анализировать процессы выбора и интеграции визуальной информации во время решения учебных задач и тем самым выявить специфические для учащегося трудности и соответствующим образом адаптировать процесс обучения [16].

Айтрекинг позволяет отследить характер визуального взаимодействия с учебным материалом.

Объединение аналитики обучения с потенциалом данных отслеживания взгляда обеспечивает высокую точность прогнозов успеваемости [19], моделирование профилей учащихся [25; 40; 53; 55], помогает раскрыть модели обработки информации и эффекты стратегий обучения. На основе айтрекинг-исследований ученые определяют, какие факторы повлияли на успеваемость учащихся [14]. Данные отслеживания взгляда можно помогают отследить, когда учащиеся сталкиваются с трудностями в обучении и разработать адаптивные программы для улучшения учебного процесса [53].

Айтрекинг часто используется в исследованиях, посвященных восприятию визуальных учебных материалов под влиянием обучающего воздействия; выявлению характеристик визуального учебного материала, которые помогут улучшить понимание и осмысление детьми учебных материалов [54; 43].

Например, с помощью методики регистрации движений глаз изучено распределение внимания и восприятие информации во время чтения (К. Рейнер), систематизированы возможные стратегии освоения чтения на основе показателей глазодвигательной активности и выявлен ряд отличий в состоянии когнитивных функций и глазодвигательной активности у детей, влияющих на обучение чтению [5]; произведен анализ окуломоторной активности, наблюдаемой при изучении образовательного материала [12]; показано как различное расположение визальных материалов влияет на движения глаз при чтении и как это связано с усвоением материала [31].

В контексте реальной учебной деятельности отслеживания взгляда может открыть новые данные, такие как захват учебного опыта учащихся в реальном времени.

Но в основном множество исследований изучают визуальное восприятие учащегося, который обрабатывает искусственный учебный материал в лабораторных условиях при помощи стационарных айтрекеров [16].

Мобильные айтрекеры улучшают отслеживание социального внимания способами, которые были бы невозможны при использовании стационарных айтрекеров. Отслеживание взгляда мобильной версией улучшает экологическую достоверность в более реалистичных и сложных интерактивных экспериментальных ситуациях, позволяет изучать движение глаз в более естественных ситуациях. Такой экспериментальной ситуацией является ситуация обучения. Стационарные версии айтрекера не могут измерить, как испытуемый меняет взгляд во всех направлениях, а мобильная версия решает эту проблему, размещая камеры на голове, что особенно важно, если мы хотим зафиксировать моменты совместного внимания в ходе взаимодействия двух людей в процессе обучения.

Продолжительность фиксаций можно использовать для определения когнитивной нагрузки [38]. Более длительная средняя продолжительность фиксации на стимуле может указывать на большую сложность обработки информации [32; 37]. В некоторых исследованиях, продолжительность фиксации использовалась, чтобы сделать выводы о глубине обработки информации [28; 47]. Количество фиксаций на области интереса позволяет делать выводы об интенсивности обработки материала обучающимися [50]. С помощью путей сканирования можно определять последовательность внимания обучающихся [37]. В свою очередь, анализ последовательности фиксаций и использование шаблонов пути сканирования можно использовать для анализа стратегий решения задач учащимся [23; 24].

Мы ставили задачу проследить трансформацию визуального внимания детей с нарушением слуха под влиянием восприятия разных видов учебных материалов. Это становиться возможным, если зафиксировать через окуломоторную активность, как у детей с нарушением слуха при разных видах визуального стимульного учебного материала меняется 1) заметность (видимость) информации; 2) когнитивная сложность обработки информации; 3) скорость обработки информации.

Окуломоторная активность является необходимым компонентом психических процессов, связанных с получением, преобразованием и использованием зрительной информации и может представить информацию о перцептивной деятельности ребенка и взрослого в процессе обучения. Фиксационный поворот глаз — поведенческий акт, реализующий познавательное (перцептивное) отношение к информации. Анализ окуломоторной активности позволяет получить доступ к скрытым (внутренним) формам психической активности, протекающей в свернутой форме в процессе обучения. В целом, место фиксации глаза отражает фокус внимания, а продолжительность фиксации отражает сложность обработки и объем внимания (чем дольше фиксация на объект, тем сложнее связанная с ним информация и тем глубже она обрабатывается). Поскольку айтрекинг, регистрируя зрительное внимание, позволяет нам пролить свет на начальные этапы обработки когнитивной информации (т. е. визуальное восприятие, интеграцию, активный поиск информации) при взаимодействии с учебным материалом, реконструируя движения глаз, становится возможным анализировать процессы выбора и интеграции визуальной информации во время решения учебных задач.

В процессе обучения можно раскрыть как ребенок проявляет внимание к целевой области, «области пристального внимания», выделяя  важные для решения задачи или требуемых действий информационные признаки, путем разных форм визуальных подсказок [18].

Мы исходили из предыдущих исследований, в которых утверждается, что под влиянием обучающего воздействия перцептивное поле восприятия ребенка трансформируется. С точки зрения методологии и метода записи движений глаз рассматривается именно проблема трансформации перцептивных процессов в ходе обучения [40]. Также мы опирались на исследования А. Шварц [54], которые показывают, что в ходе обучения трансформируется перцептивная деятельность ребенка, которую мы можем проследить в стратегии глазодвигательной активности. По движению глаз можно определить направленность взора и динамику оперативного поля зрения воспринимающего; стратегии прослеживания объектов и маршруты сканирования воспринимаемых сцен; информационную сложность объекта и точность фиксации его элементов, которая раскроет перестройку перцептивных процессов.

Процедура исследования

Мы сосредоточили наши исследования на детях с нарушением слуха дошкольного возраста, так как по статистике больше 80% детей с кохлеарными имплантами — это дети в возрасте до 5 лет [6], а одним из важных ограничений текущего объема исследований среди глухих является то, что они были сосредоточены на детях школьного возраста широкого возрастного диапазона (например, 5—10 лет в исследованиях J.M. Conway). Остается мало исследований на выборке дошкольного возраста, когда закладываются базовые предпосылки учебной деятельности [58].

Цель исследования — при помощи айтрекинга отследить у детей с нарушением слуха изменения характера перцептивной деятельности при разных формах визуального стимульного учебного материала.

Для того чтобы зафиксировать перестройку перцептивной деятельности дошкольников с нарушением слуха в процессе обучения мы отслеживали айтрекингом зависимость специфики движений глаз ребенка от формы визуальной подачи учебного материала и наличия явных и косвенных подсказок, которые позволяют переструктурировать восприятие, сфокусировав внимание детей на релевантных задаче элементах.

Выборка исследования. 9 кохлеарно имплантированных дошкольников от 4 до 6 лет с сенсоневральной тугоухостью. Средний порог слухового восприятия — 0,5, 1, 2 и 4 кГц — более 90 дБ. Из них — 6 девочек и 3 мальчика. Кохлеарная имплантация производилась в возрасте трех лет. По результатам кохлеарной имплантации состояние слуха у детей соответствовало I—II степени тугоухости, что позволяет ребенку воспринимать окружающие звуки на достаточном для речевого развития уровне. Также важно отметить, что дети носили слуховые аппараты до кохлеарной имплантации и посещали занятия сурдопедагога. До и после кохлеарной имплантации на базе специализированного детского сада дети получили коррекционную помощь для развития языковой способности.

Процедура исследования. Основной задачей стала фиксация перестройки восприятия детей с нарушением слуха под влиянием обучающего воздействия — зависимость движений глаз от характера стимульного учебного материала и способа подачи инструкции.

В качестве экспериментального обучающего задания применялось задание на предметную классификацию.

Стимульный материал — набор карточек (на разных этапах эксперимента это были либо цветные, либо черно-белые карточки), который должен быть классифицирован по категориям: животные, овощи-фрукты, насекомые, люди, рыбы, посуда, растения, транспорт, мебель и т. п. Также стимульным материалом стали нарисованные домики, куда должны быть помещены карточки с обозначенными предметами по определенным категориям.

На первом этапе взрослый выкладывает на стол карточки и задает категорию для классификации: «Посмотри на карточки, они разные, а есть два домика. В один домик мы с тобой должны положить все “цветы”, а в другой “птицы”». То есть классификация выполнялась совместно с взрослым, использовалась явная речевая подсказка взрослого для обозначения правила категоризации карточек.

На последующих этапах эксперимента инструкция — «глухая», т.е. ребенок без помощи взрослого должен решить новую задачу: по какому признаку классифицируются карточки, опираясь на подсказку в виде предметного изображения на домике. Инструкция взрослого ограничивается следующим: «Разложите карточки, как считаете нужным». Перед ребенком выкладываются новые карточки и новые домики.

На 4 этапах проведения эксперимента мы учли следующие независимые переменные.

Во-первых, характер стимульного материала: цветной/черно-белый стимульный материал карточек и домиков для классификации.

Во-вторых, для проведения эксперимента также мы варьировали параметры предъявления стимуляции в рамках методики изменения подсказки.

В-третьих, мы варьировали наличие явных и косвенных подсказок (разные способы опосредования и перестройки восприятия ребенка):

• явные — вербальные, в обучающей серии эксперимента взрослый словесно обозначает категорию для классификации и предлагает совместно выполнить обучающий этап;
• косвенные невербальные подсказки:

-      совпадающий цвет категорий карточек и домика, куда их нужно отнести как скрытый признак категоризации.

-      обозначение (картинка) предмета из категории карточек на домики, куда они должны были быть расклассифицированы — создает ли картинка подсказку, наглядность, пространственные связи.

Также учитывали тип и специфику ориентировки:

• выполнение совместно с взрослым-экспериментатором, когда взрослый дает полную ориентировку;
• самостоятельное выполнение после обучающего этапа, когда ребенку самостоятельно нужно сориентироваться и выделить категорию для классификации.

Таким образом, были созданы 4 серии эксперимента.

1-е испытание. Взрослый показывает классификацию, подсказки нет (домик для классификации пустой, без обозначения категории классификации). В качестве категорий классификаций использовались категории «цветы» и «птицы» (рис. 1 а).

2-е испытание. Самостоятельное выполнение. Подсказка в виде изображения предмета-категории классификации на домике. В качестве категорий классификации использовались категории «одежда» и «посуда» (рис. 1 б).

3-е испытание. Самостоятельное выполнение. Подсказка фоновым цветом домика и карточек и в виде изображения предмета-категории классификации на домике (рис. 1 в). В качестве категорий классификации использовались категории «мебель» (подсказка синий цвет карточек и домиков) и «транспорт» (подсказка зеленый цвет карточек и домиков).

4-е испытание. Черно-белый материал. Самостоятельное выполнение. Подсказка в виде изображения предмета-категории классификации на домике (рис. 1 г). В качестве категорий классификации использовались категории «овощи» и «фрукты».                         

Рис. 1. Пример стимульного материал в 4 сериях эксперимента

По времени испытаний все 4 серии эксперимента статистически значимо не отличались (табл. 1).

Таблица 1. Сравнение времени проведения 4 серий испытаний

Методики и аппаратура. Регистрация движения глаз осуществлялась с использованием мобильного айтрекера в форме очков Pupil Labs.

Мобильный айтрекер детектирует зрачок, определяет направление взора, производит калибровку и находит маркеры, которые выделяют зоны интереса. Технология слежения за зрачками — «Темный зрачок с 3D моделью». Параметры зрачка — 3D-модели глаз. Частота дискретизации — 200 Гц @192 × 192 px. Высокоскоростная сценовая камера 480 p / 120hz @vga. Регистрация движений глаз происходила в бинокулярном режиме с частотой 200 Гц. Съемка реального мира осуществляется в разрешении 480 р. Для определения фиксаций используется алгоритм, основанный на определении угловой скорости с дополнительным критерием скорости фиксаций. Меткость определения координат — 0,60 градуса; точность определения взора — 0,08 градуса. Задержка камеры — 4,5 мс. Задержка обработки в зависимости от центрального процессора > 3 мс.

Для анализа специфики восприятия визуального стимульного материала нами были использованы основные показатели отслеживания движения глаз:

• количество фиксаций;
• средняя продолжительность фиксаций;
• среднее количество фиксаций;
• время до первой фиксации;
• количество фиксаций до первой фиксации.

Результаты

При помощи однофакторного дисперсионного анализа было произведено сравнение параметров глазодвигательной активности дошкольников с нарушением слуха в 4 сериях эксперимента (табл. 2).

Таблица 2. Сравнение параметров глазодвигательной активности дошкольников с нарушением слуха в 4 сериях эксперимента

Подтверждаются различия в эффективности выполнения классификации (по количеству правильно рассортированных карточек по категориям) дошкольниками с нарушением слуха в 4 сериях эксперимента (рис. 2).

Рис. 2. Среднее количество правильно классифицированных карточек

Наименее успешной является 1-я серия эксперимента, где не было подсказок и пример сортировки осуществлялся совместно с взрослым. Также неэффективной оказывается категоризация в 4-й серии эксперимента, где изображение предмета — подсказка для категоризации и карточки давались в черно-белом цвете. Наиболее эффективными оказываются 2-я и 3-я серии эксперимента. Можно прийти к выводу, что, во-первых, подтверждается роль наличия явной и косвенной подсказки в успешности выполнения задания. Во-вторых, цветовое решение повышает эффективность выполнения классификации детьми с нарушением слуха, по сравнению с черно-белым предъявлением стимульного материала.

Было выявлено, что статистически значимо в 4 сериях эксперимента у дошкольников с нарушением слуха меняется количество и продолжительность фиксаций (рис. 3).

а)     б)

Рис. 3. Среднее количество (а) и продолжительность фиксаций (в миллисекундах) (б)

В 1-й серии эксперимента (выполнение по правилу категоризации, которое показывает взрослый) у детей с нарушением слуха обнаруживается самое большое количество фиксаций, и они дольше по продолжительности, чем в других сериях эксперимента. В 4-й серии эксперимента (черно-белый стимульный материал и подсказка) у детей с нарушением слуха наблюдается самое меньшее количество фиксаций, и они — самые недолгие по продолжительности, по сравнению с другими сериями эксперимента. Мы исходили из того, что фиксации характеризуют когнитивные усилия ребенка детализировать воспринимаемую информацию, а увеличение длительности фиксации означает возрастающую нагрузку на рабочую память. Средняя продолжительность фиксаций связана со скоростью обработки информации, отображающей общую сложность. То есть средняя продолжительность фиксаций/среднее количество фиксаций обычно отображают когнитивную нагрузку: чем больше показатель, тем выше когнитивная нагрузка, сложнее объект для восприятия. С другой стороны, этот показатель можно рассматривать как степень интереса к объекту. Можно прийти к выводу, что во 2-й и 3-й сериях эксперимента цветной стимульный материал и наличие явных и косвенных подсказок снижают когнитивную нагрузку, увеличивая скорость обработки информации. Скорее всего, при наличии явной и косвенной подсказки ориентировочная основа деятельности конкретизируется, что приводит к уменьшению количества фиксаций. В 4-й серии эксперимента с черно-белым стимульным материалом хоть и не обнаруживается высокая когнитивная нагрузка (скорее всего из-за наличия явной подсказки), но по времени фиксаций можно говорить о меньшем интересе.

Если сравнивать время целевых фиксаций, то статистически достоверно в 1-й серии эксперимента дети с нарушением слуха делают самые долгие целевые фиксации (рис. 4).

Рис. 4. Средняя продолжительность целевых фиксаций (в миллисекундах)

С одной стороны, это можно интерпретировать как то, что дети с нарушением слуха при выполнении задания по правилу категоризации, которое показывает взрослый, дольше поддерживают визуальное внимание к целевым зонам (домик для классификации, карточки), у дошкольников больше интереса (например, в 4-й серии эксперимента с черно-белым стимульным материалом продолжительность целевых фиксаций самая короткая). С другой стороны, увеличение времени фиксаций можно рассматривать как большую когнитивную сложность развернутой ориентировки при поиске правильного решения (во 2-й, 3-й, 4-й сериях эксперимента при наличии подсказки ориентировочные действия носят более свернутый характер). Скорее всего, именно с когнитивной сложностью связано и увеличение среднего количества и продолжительности фиксаций в целом в 1-й серии эксперимента. Возможно, при наличии явной и косвенной подсказки у детей с нарушением слуха наблюдается редукция ориентировочных действий в нерелевантных зонах и продолжительности фиксаций на целевых стимулах существенно больше.

Также были выявлены различия во времени до первой фиксации (рис. 5).

Рис. 5. Среднее время до первой фиксации (в миллисекундах)

Обычно время до первой фиксации раскрывает заметность объекта: чем меньше показатель, тем заметнее объект, это показывает время фиксаций, затраченное от начала предъявления стимула до начала просмотра определенной области: в нашем случае — как быстро дошкольники с нарушением слуха фиксировались на учебном материале, как быстро он привлек их внимание. Время до первой фиксации также может указывать на использование восходящего механизма внимания (например, как сам стимульный материал привлекает внимание).

Самый длительный период до первой совершенной фиксации в 1-й серии эксперимента немного быстрее в 4-й серии эксперимента (черно-белый стимульный материал и подсказка). Скорее всего, тут используется нисходящий механизм внимания (необходимо самим ставить цель поиска, а не сам материал привлекает). Быстрее всего первая фиксация совершается во 2-й серии эксперимента, где есть явная подсказка и цветной стимульный материал. Косвенная подсказка в виде фонового цвета на домике и карточках не оказывается столь эффективной, и время до первой фиксации не уменьшается.

Большее количество фиксаций, увеличенное время до первой целевой фиксации можно объяснить развернутым ориентировочным процессом.

Можно прийти к выводу, что введение явных и косвенных подсказок, скорее всего, расширяет видимое поле у детей с нарушением слуха: меньше времени до первой фиксации, дольше время целевых фиксаций, а значит, обращать внимание на релевантную информацию, а нерелевантную игнорировать.

Также были выявлены статистически достоверные различия в количестве фиксаций длительностью до 300 миллисекунд (рис. 6). Напомним, что именно фиксации длительностью от 300 миллисекунд являются порогом постоянного внимания (как у Yu, Smith, 2017).

Рис. 6. Среднее количество фиксаций длительностью меньше 300 миллисекунд

В 1-й серии эксперимента, при выполнении задания с взрослым фиксаций продолжительностью меньше 300 миллисекунд больше, т. е. фиксаций, не достигающих порога постоянного внимания.

В 4 сериях эксперимента значимо различаются количество и продолжительность фиксаций на стимульном материале домиков для классификации (рис. 7).

а) б)

Рис. 7. Средняя продолжительность фиксаций на домиках (в миллисекундах) (а) и количество фиксаций на домиках (б)

В 1-й серии эксперимента (выполнение по правилу категоризации, которое показывает взрослый) у детей с нарушением слуха обнаруживается самое большое количество фиксаций на стимулах-домиках и они дольше по продолжительности, чем в других сериях эксперимента. В 4-й серии эксперимента (черно-белый стимульный материал и подсказка) у детей с нарушением слуха наблюдается самое меньшее количество фиксаций на стимуле-домиках, и они самые недолгие по продолжительности по сравнению с другими сериями эксперимента. Эти результаты дополняют представление о степени когнитивной нагрузки и специфике ориентировки при отсутствии явной и косвенной подсказки и черно-белом стимульном материале.

Различия выявлены и в количестве фиксаций, которые делают дети с нарушением слуха на жесте взрослого во время выполнения задания (рис. 8).

Рис. 8. Среднее количество фиксаций на жесте взрослого-экспериментатора

Наибольшее количество фиксаций на жесте взрослого дети с нарушением слуха делают в 1-й серии эксперимента (выполнение по правилу категоризации, которое показывает взрослый). Скорее всего, это непосредственно связано с совместным распределением карточек и использованием жеста взрослого как основной ориентир-подсказку для выполнения задания. Наименьшая же ориентация на жесты взрослого — во 2-й и 3-й сериях эксперимента, где ребенок выполнял классификацию самостоятельно, ориентируясь на подсказку.

Для выявления роли наличия явной и косвенной подсказки дополнительно были сравнены 2-я и 3-я серии эксперимента. Во 2-й серии эксперимента была подсказка в виде изображения предмета — категории классификации. В 3-й серии явная подсказка дополнялась косвенной — фон карточек и стимульных материалов-домиков для классификации отображались одним цветом.

При помощи Т-критерия Стьюдента было выявлено наличие различий в глазодвигательной активности дошкольников с нарушением слуха во 2-й и 3-й сериях эксперимента (табл. 3).

Таблица 3. Сравнение серий эксперимента с явной и косвенной подсказкой

Так, во 2-й серии эксперимента выше количество фиксаций, они продолжительнее, чем в 3-й серии эксперимента. Также больше фиксаций, длительность которых меньше 300 миллисекунд. Во 2-й серии эксперимента дошкольники с нарушением слуха делают больше фиксаций на домиках.

Далее отдельно проанализирована роль цвета стимульного учебного материала. Для этого сопоставлены 2-я и 4-я серии эксперимента, где использовались цветные карточки и цветная подсказка изображения категории классификации и черно-белые карточки и черно-белая подсказка изображения категории классификации (табл. 4).

Таблица 4. Сравнение серий эксперимента с цветным и черно-белым стимульным материалом

Так, во 2-й серии эксперимента с цветным стимульным материалом дети с нарушением слуха делают больше фиксаций, и они более длительные по продолжительности. При этом во 2-й серии эксперимента больше продолжительность нецелевых фиксаций, чем в 4-й серии эксперимента с черно-белым стимульным материалом.

Также для подтверждения изменения стратегии движения глаз у детей с нарушением слуха при восприятии разных форм стимульного материала, дополнительно нами была произведена визуализация перемещения взора в виде графиков движения глаз в 4 сериях эксперимента (рис. 9). 

А — первая серия эксперимента

Б — вторая серия эксперимента

В — третья серия эксперимента

Г — четвертая серия эксперимента

Рис. 9. Пример различий графиков движения глаз в 4 сериях эксперимента

В дополнение к количественным данным мы произвели сравнение графиков движения глаз в 4 сериях эксперимента. По графикам движения глаз подтверждается, что меняет:

• При наличии явных и косвенных подсказок перцептивные действия обладают большей свернутостью, наблюдается меньше фиксаций, фиксации происходят в релевантных областях.
• Также по-разному идет процесс отбора информационных признаков: Различаются последовательность и количество фиксаций при выборе карточек.
• Изменяется порядок внимания. Например, в 1-й и 4-й сериях эксперимента чаще присутствует пересмотр: число повторных посещений предоставляет информацию о том, сколько раз ребенок возвращал свой взгляд к определенному месту, определенной зоне интереса, какие области неоднократно привлекали ребенка, а какие были видны, но затем были удалены. При наличии подсказок различаются стратегии визуального поиска: количестве переключений, в паттернах переходов взора.
• Различается динамика оперативного поля: изменение зон интереса и зон поиска при выборе, длительность пути сканирования, пространственная плотность фиксаций (сужение/увеличение), регулярность сканирования (повторяемость), направление сканирования (стратегии поиска).

Таким образом, визуализация графиков движения глаз подтверждает, что в 4 сериях эксперимента различается последовательность посещенных областей, по позиционным данным выделенных областей интереса, последовательности точек фиксации взора на графиках движения глаз можно подтвердить количественные данные о различиях перцептивной деятельности в 4 сериях эксперимента.

Также проведен корреляционный анализ того, с какими параметрами глазодвигательной активности связано количество правильно классифицированных карточек см. табл. 5).

Таблица 5. Корреляционный анализ параметров глазодвигательной активности и количества правильно классифицированных карточек

Обратная корреляция эффективности выполнения задания классификации обнаружена с такими параметрами глазодвигательной активности, как продолжительность всех фиксаций, времени целевых и нецелевых фиксаций. Также выявлена обратная корреляция эффективности выполнения задания с количеством фиксаций, что в совокупности с параметром продолжительности фиксаций можно интерпретировать как отображение когнитивной сложности: чем больше фиксаций и чем они продолжительнее, тем более развернутая ориентировка и дольше поиск информационного признака.

Этот факт дополняется обратной корреляцией эффективности выполнения задания и времени до выбора карточки и количеством фиксаций до выбора карточки, а также их количеством и длительностью фиксаций на домиках с подсказкой: чем сложнее выделить категорию классификации, тем дольше и развернуто дошкольники с нарушением слуха осуществляют выбор и ищут подсказку.

Также эффективность выполнения задания классификации обратно коррелирует с количеством и продолжительностью фиксаций на жесте взрослого-экспериментатора. Скорее всего, это также связано с поиском подсказки от взрослого при затруднении и когнитивной сложности.

Наше исследования по отслеживанию движения глаз указывает на то, что меньшие затраты времени на обнаружение релевантной визуальной информации связаны с повышением эффективности обучения. В свою очередь, специфика визуального поиска у детей с нарушением слуха (количество, общее время анализа информации, средняя длительность остановок в зонах интереса) положительно связана с эффективностью обучения. Эффективность визуального поиска описывает, насколько быстро дети с нарушением слуха находят соответствующую визуальную информацию. В нашем случае у детей с нарушением слуха меняется количество внимания, уделяемого релевантным картинкам, что в основном положительно связано с эффективностью решения задачи. В противном случае обучение затруднено из-за посторонней когнитивной нагрузки, возникающей при визуальном поиске (делают более продолжительные первые фиксации, делают больше фиксаций и имеют увеличенное общее время фиксаций). При трудностях дети с нарушением слуха тратят дольше времени и делают больше фиксаций.

Обсуждение результатов

Методология отслеживания движения глаз позволяет идентифицировать потенциальные множественные пути, с помощью которых дети с нарушением слуха и без сосредотачивают свое внимание на обучающем материале. Данные нашего исследования подтверждают, что в анализе трудностей бучения детей с нарушением слуха применение методологии айтрекинг-исследований позволяет проследить перестройку перцептивных процессов при подаче разных визуальных учебных материалов через показатели изменения продолжительности фиксаций — используется для определения когнитивной нагрузки (Kruger J.-L., Doherty S., 2016). Более длительная средняя продолжительность фиксации на стимуле может указывать на большую сложность обработки информации (Jacob R., Karn K., 2003; Krejtz I., Nezlek J., Michnicka A., Paweł Holas Rusanowska M., Krejtz I., Michnicka Á., Nezlek J., Holas P., 2014). Также продолжительность фиксаций свидетельствует о глубине обработки информации (Glaser M., Schwan S., 2015). Количество фиксаций на области позволяет делать выводы об интенсивности обработки материала обучающимися (Scheiter K., Eitel A., 2010) в 4 срезах. С помощью путей сканирования можно определять последовательность внимания обучающихся, в свою очередь, анализ последовательности фиксаций и шаблонов пути сканирования можно использовать для анализа стратегий решения задач (Scheiter K., Eitel A., 2018).

Метод анализа движения глаз ранее применялся в исследованиях, связанных с восприятием детьми визуальных материалов в процессе обучения для выявления того, как происходит перестройка восприятия у ребенка под влиянием обучающего воздействия; какие характеристики визуального материала способствуют улучшению его понимания; как особенности визуального выделения частей изображения воздействует на процесс восприятия и осмысления детьми учебных материалов; также, каким образом визуальные материалы вовлекаются в процессы обучения и чем определяется характер их восприятия (например, Shvarts, Krichevets, 2015). Но остается мало исследований, выполненных на детях с нарушением слуха. Например, было не достаточно данных для решения вопроса, эффективен ли для данной группы детей распространенный в образовании принцип наглядности; наблюдается ли у детей с нарушением слуха один из наиболее известных эффектов в обучении — это эффект модальности (Schmidt-Weigand, et al., 2010); как лучше распределять материал по разным модальностям — давать текст аудиально, а картинки визуально, не соединяя их, или в сочетании (Mayer, Moreno, 1998); способствуют ли изображения и зрительные опоры пониманию и успешному решению задач (Scheiter, et al., 2014; Sass, et al., 2012; Шварц, 2011; Nystrom, Ogren, 2012); происходит ли у детей с нарушением слуха синхронизация визуальных подсказок с излагаемым материалом (Boucheix, Lowe, 2010; Bednarik, Shipilov, 2011; Jarodzka, et al., 2013).

В нашем исследовании при помощи технологии анализа движения глаз нам удалось дополнить эти данные и определить, как у детей с нарушением слуха при разной форме визуального стимульном учебном материале меняется:

• заметность информации;
• когнитивная сложность обработки информации;
• скорость обработки информации.

Выявлена роль явной и косвенной подсказки в решении учебной задачи детьми с нарушением слуха.

• При наличии явной и косвенной подсказки и предъявлении черно-белого материала происходит редукция ориентировочных действий (меньше средняя продолжительность фиксаций), что может выражаться в симультанном опознании.
• При предъявлении черно-белого материала в нерелевантных зонах наблюдается меньше фиксаций, они менее продолжительные, а в релевантных зонах фиксации дольше при предъявлении цветного материала.
• При явной подсказке и предъявлении цветного материала происходит расширение видимого поля (меньшее время первой фиксации — обращают внимание на целевую информацию, а нерелевантную игнорируют).
• При явной подсказке и предъявлении цветного материала наблюдаются более короткие фиксации (быстрее выделяют релевантную область, сокращая тем самым время до первой фиксации.
• При явной вербальной подсказке от взрослого и отсутствии других подсказок наблюдается большее количество фиксаций, а также большее время до первой фиксации, что объясняется развернутым ориентировочным процессом и когнитивной сложностью.

Наши данные подтверждают эффект визуальной модальности при подаче учебного материала в обеспечении эффективного решения учебных задач детьми с нарушением слуха.

Наличие явной и косвенной подсказок снижает когнитивную сложность, увеличивая скорость восприятия информации, сокращая ориентировку, поддерживают использование восходящих механизмов внимания.

Наличие явной и косвенной подсказок определяет время поиска целевого стимула. Обработка стимула начиналась, что и обеспечивало более быструю ориентировку. Использование подсказки облегчает обработку и сокращает время, необходимое для ответа, вызывая сдвиги пространственного внимания к целевой области, задержка обнаружения уменьшается, что приводит к более интенсивной обработке стимулов.

Отсутствие подсказки приводило к тому, что целевой стимул начинал обрабатываться позже, а это, в свою очередь, приводило к общему увеличению времени поиска. При наличии явных и косвенных подсказок дополнительно задействуются механизмы внимания и скрытой ориентировки, происходит настройка внимания на определенный источник, а не только на процессы произвольного восприятия искомого стимула.

Использование различных типов подсказок (прямых и косвенных) определяет эффективность переработки информации, вызывает референтное отношение к деталям, улучшает эффективность решения задачи дошкольниками с нарушением слуха. В отличие от использования только явной подсказки, одновременное сочетание явной и косвенной подсказки эффективнее снижает когнитивную сложность и в большей степени поддерживается порог постоянного внимания.

Явные вербальные подсказки (инструкция и образец взрослого) отображают роль коммуникативных подсказок в возникновении референтного отношения, они больше поддерживают визуальное внимание в целевых зонах, но не снижает когнитивную сложность, чаще время фиксаций не достигает порога постоянного внимания, требуя применения нисходящих механизмов внимания и более развернутой ориентировки.

Цветной материал более заметен и поддерживает интерес, увеличивает скорость восприятия информации и сокращает время, затраченное от начала предъявления стимула до начала просмотра определенной области, обработка стимула более интенсивная (дольше и больше по фиксациям). При черно-белом материале наблюдаются менее продолжительные фиксации в нерелевантных областях, при этом ориентировка носит более свернутый характер по интенсивности обработки стимула.

В целом, наши данные согласуются с общими выводами айтрекинг-исследований о том, как меняется глазодвигательная активность в процессе обучения: перцептивные действия в результате обучения характеризуются большей свернутостью или развернутым ориентировочным процессом, а также способностью быстрее и надежнее выделять релевантные задаче области, используя в качестве ориентировочной основы перцептивных действий обобщенное знание; меняется скорость восприятия информации (Abrahamson, Sánchez-García, 2016; Belenky, Ringenberg, Olsen, 2014; Bielikova, Konopka, Simko, Moro, Tvarozek, Hlavac, Kuric, 2018).

Выводы

В ходе айтрекинг-исследования особенностей перцептивной деятельности дошкольников с нарушением слуха при взаимодействии с визуальным учебным материалом в процессе обучения:

• выявлена специфика визуального внимания у детей дошкольного возраста с нарушением слух при восприятии разного стимульного учебного материала;
• проанализирован эффект визуальной модальности, цветового решения, наличия разных типов подсказок при подаче учебного материала;
• проанализировано, какие сдвиги взгляда являются прогнозирующими трудности у детей с нарушением слуха при восприятии стимульного учебного материала в ситуации обучения;
• через анализ глазодвигательной активности детей с нарушением слуха определены стратегии улучшения восприятия учебного материала.

Показано, что прямая и косвенная подсказка облегчает понимание одного из изображений, что также важно для лучшего обучения. Косвенная подсказка в визуальных учебных материалах для детей с нарушением слуха играет двоякую роль. С одной стороны, косвенная подсказка привлекает внимание, увеличивая количество фиксаций в необходимой области; с другой стороны, это не всегда приводит к улучшению понимания. Понимание улучшается, когда визуальное выделение косвенной подсказкой скоординировано с явной подсказкой.

В процессе обучения детей с нарушением слуха необходимо использовать обходные пути подачи материала и привлечения внимания, включающие специфические приемы. Обеспечение методического и организационного компонентов в работе с детьми с нарушением слуха имеет свои особенности и включает: использование специальных карточек, блок-схем, разных видов демонстрационного материла и вариативность его использования, указаний, инструкций. Полученные нами данные помогут в разработке таких материалов.

Практическая значимость наших данных — в возможности их применения при разработке визуальных материалов для более эффективного обучения детей с нарушением слуха, обеспечения восприятия ими информации за счет цветовой яркости, активизации восприятия при помощи разного типа стимульных визуальных подсказок.

1. Андреева Л.В. Сурдопедагогика. М.: Издательский центр «Академия», 2005. 576 с.
2. Божович Е.Д. Некоторые вопросы обучения по образцам // Вопросы психологии. 1998. № 2. С. 135—139. 
3. Ершова В.В., Попова М.Р. Психологическая адаптация детей с нарушениями слуха после кохлеарного имплантирования // Вестник Адыгейского государственного университета. Серия 3: Педагогика и психология. 2016. № 2. С. 178.
4. Занков Л.В. Наглядность и активизация учащихся в обучении. М.: ГУПИ МП РСФСР, 1960. 312 с.
5. Корнеев А.А., Ахутина Т.В., Матвеева Е.Ю. Особенности чтения третьеклассников с разным уровнем развития навыка: анализ движений глаз // Вестник Московского университета. Серия 14. Психология. 2019. № 2. С. 64—87. 
6. Королева И.В. Научно-методологические основы реабилитации ранооглохших детей после кохлеарной имплантации. Часть 1: Слуховой метод \\ Российская оториноларингология. 2011. № 2. С. 88—98.
7. Леонтьев А.H. Деятельность. Сознание. Личность. М.: Политиздат. 304 с.
8. Пелымская Т.В., Шматко Н.Д. Формирование устной речи дошкольников с нарушенным слухом. М.: Владос, 2003. 223 с.
9. Розанова Т.В. Клинико-психологическое изучение глухих детей со сложным дефектом (Сообщение 1) // Дефектология. 1992. № 2-3.
10. Руленкова Л.И. Как научить глухого ребенка слушать и говорить на основе верботонального метода. М.: Парадигма, 2010. 91 с.
11. Соколовская Т.А. Особенности речевого развития детей после кохлеарной имплантации // Специальное образование. 2013. № 2. С. 91—97.
12. Соловьева В.А., Вениг С.Б., Белых Т.В. Анализ глазодвигательной активности студентов при чтении с экрана ПК // Интеграция образования. 2021. № 25(1). С. 91—109.
13. Талызина Н.Ф. Управление процессом усвоения знаний (психологические основы). 2-е изд. испр. и доп. М.: Изд-во Моск. ун-та, 1984. 345 с.
14. Andrade A., Danish J.A., Maltese A.V. A measurement model of gestures in an embodied learning environment: Accounting for temporal dependencies // Journal of Learning Analytics. 2017. № 4(3). P. 18—46.
15. Antonietti A., Colombo B., di Nuzzo C. Metacognition in self-regulated multimedia learning: integrating behavioural, psychophysiological and introspective measures // Learning Media and Technology. 2015. № 40(2). Р. 187—209.
16. Becker S., Küchemann S., Klein P. Andreas Lichtenberger, and Jochen Kuhn Gaze patterns enhance response prediction: More than correct or incorrect // Phys. Rev. Phys. Educ. Res. 2022. № 18. Р. 020107.
17. Berthold K., Eysink T.H.S., Renkl A. Assisting Self-Explanation Prompts Are More Effective than Open Prompts When Learning with Multiple Representations // Instructional Science. 2009. № 37. Р. 345—363.
18. Boucheix J.-M., Lowe R. An eye tracking comparison of external pointing cues and internal continuous cues in learning with complex animations // Learning and Instruction. 2010. № 20. Р. 123—135.
19. Chettaoui N., Atia A., Bouhlel M.S. Student Performance Prediction with Eye-Gaze Data in Embodied Educational Context // Educ Inf Technol. 2023. № 28. P. 833—855.
20. Conway C., Pisoni D., Kronenberger W. The Importance of Sound for Cognitive Sequencing Abilities: The Auditory Scaffolding Hypothesis // Current directions in psychological science. 2009. № 18. Р. 275—279.
21. Conway C.M., Karpicke J., Anaya E.M., Henning S.C., Kronenberger W.G., Pisoni D.B. Nonverbal cognition in deaf children following cochlear implantation: Motor sequencing disturbances mediate language delays // Developmental Neuropsychology. 2011. № 36. Р. 237—254.
22. Conway C.M., Pisoni D.B., Anaya E.M., Karpicke J., Henning S.C. Implicit sequence learning in deaf children with cochlear implants // Developmental Science. 2011. № 14. Р. 69—82.
23. Day E., Tang H., Kendhammer L., Pienta N. Sequence Analysis: Use of Scanpath Patterns for Analysis of Students // Problem-Solving Strategies. 2018. № 9. Р. 73—97.
24. Dye M., Hauser P., Bavelier D. Visual Attention in Deaf Children and Adults /In M. Marschark & P.C. Hauser (Eds.). Deaf cognition: Foundations and outcomes. Oxford University Press, P. 250—263.
25. Emerson A., Sawyer R., Azevedo R., Lester J. Gaze-enhanced student modeling for game-based learning // In Proceedings of the 26th Conference on User Modeling, Adaptation and Personalization. 2018. Р. 63—72.
26. Engbert R., Kliegl R. Microsaccades uncover the orientation of covert attention // Vision Research. 2003. № 43(9). Р. 1035—1045.
27. Fennell C.T., Waxman S.R. What paradox? Referential cues allow for infant use of phonetic detail in word learning // Child Dev. 2010. № 81(5). Р. 1376—1383.
28. Glaser M., Schwan S. Explaining pictures: How verbal cues influence processing of pictorial learning material // Journal of Educational Psychology. 2015. № 107(4). Р. 1006—1018.
29. Grant E., Spivey M. Eye Movements and Problem Solving: Guiding Attention Guides Thought // Psychological science. 2013. № 14. Р. 462—466.
30. Gremp M.A., Deocampo J.A., Walk A.M., Conway C.M. Visual sequential processing and language ability in children who are deaf or hard of hearing // J Child Lang. 2019. № 46(4). Р. 785—799.
31. Holšánová J, Holmberg N., Holmqvist K. Reading Information Graphics: The Role of Spatial Contiguity and Dual Attentional Guidance // Applied Cognitive Psychology. 2009. № 23. Р. 1215—1226.
32. Jacob R., Karn K. Eye Tracking in Human-Computer Interaction and Usability Research: Ready to Deliver the Promises / In book: The Mind’s Eye: Cognitive and Applied Aspects of Eye Movement Research (pp. 573-605). Publisher: Elsevier Science, 2003. 573—605.
33. Jarodzka H., Holmqvist K., Grube H. Eye tracking in Educational Science: Theoretical frameworks and research agendas // Journal of Eye Movement Research. 2017. № 10(1). Р. 1—18.
34. Just M.A., Carpenter P.A. A theory of reading: From eye fixations to comprehension // Psychological Review. № 87(4). Р. 329—354.
35. Klein P.J., Viiri Kuhn J. Visual cues improve students’ understanding of divergence and curl: evidence from eye movements during reading and problem solving // Physical Review Physics Education Research. 2019. № 15(1). Р. 010126—010121.
36. Knoors H., Marschark M. Teaching Deaf Learners: Psychological and Developmental. Oxford: Oxford University Press, 2014. 304 р.
37. Krejtz I., Nezlek J., Michnicka A., Paweł Holas Rusanowska M., Krejtz I., Michnicka Á., Nezlek J., Holas P. Counting One's Blessings Can Reduce the Impact of Daily Stress // Journal of Happiness Studies. 2014. № 17. Р. 25—39.
38. Kruger J.-L., Doherty S. Measuring cognitive load in the presence of educational video: Towards a multimodal methodology // Australasian Journal of Educational Technology. 2016. № 32(6). Р. 19—31.
39. Laubrock J., Kliegl R., Rolfs M., Engbert R. When do microsaccades follow spatial attention? // Attention, perception & psychophysics. 2010. № 72(3). Р. 683—694.
40. Lee-Cultura S., Sharma K., Giannakos M. Children’s play and problem-solving in motion-based learning technologies using a multi-modal mixed methods approach // International Journal of Child-Computer Interaction. 2021. № 31. Р. 100355.
41. Li Q., Xu S., Chen Y., Lu C., Zhou S. Detecting preservice teachers’ visual attention under prediction and nonprediction conditions with eye-tracking technology // Phys. Rev. Phys. Educ. Res. 2022. № 18. Р. 010134.
42. Mayer R.E. Using multimedia for e-learning // Journal of Computer Assisted Learning. 2017. № Р. 403—423.
43. Monroy C., Chen C.H., Houston D., Yu.C. Action prediction during real-time parent-infant interactions // Developmental science. 2021. № 24(3). Р. e13042.
44. Pecher D., Zeelenberg R., Barsalou L. Sensorimotor simulations underlie conceptual representations: Modality-specific effects of prior activation // Psychonomic bulletin & review. 2004. № 11. Р. 164—167.
45. Posner M.I., Snyder C.R., Davidson B.J. Attention and the detection of signals // Journal of Experimental Psychology: General. 1980. № 109(2). Р. 160—174.
46. Rasch T., Schnotz W. Interactive and non-interactive pictures in multimedia learning environments: Effects on learning outcomes and learning efficiency // Learning and Instruction — LEARN INSTR. 2009. № 19. Р. 411—422.
47. Rayner K. Eye movements in reading and information processing: 20 years of research // Psychological Bulletin. 1998. № 124(3). Р. 372—422.
48. Ruf V., Küchemann S., Kuhn J., Klein P. Comparison of Written and Spoken Instruction to Foster Coordination between Diagram and Equation in Undergraduate Physics Education" // Human Behavior and Emerging Technologies. 2022. № 13. Р. 1—13.
49. Sass T.R., Hannaway J., Xu Z., Figlio D.N., Feng L. Value added of teachers in high-poverty schools and lower poverty schools // Journal of Urban Economics. 2012. № 72(2-3). Р. 104—122.
50. Scheiter K., Eitel A. The effects of signals on learning from text and diagrams: how looking at diagrams earlier and more frequently improves understanding / In A.K. Goel, M. Jamnik, & N.H. Narayanan (Eds.). Diagrammatic representation and inference. Heidelberg: Springer, 2010. P. 264—270.
51. Scheiter K., Gerjets P., Heise E. Distraction during learning with hypermedia: Difficult tasks help to keep task goals on track // Frontiers in psychology. 2014. № (5). Р. 268.
52. Schmidt-Weigand F., Scheiter K. The role of spatial descriptions in learning from multimedia // Computers in Human Behavior. 2011. № 27(1). Р. 22—28.
53. Sharma K., Giannakos M., Dillenbourg P. Eye-tracking and artificial intelligence to enhance motivation and learning // Smart Learning Environments. 2020. № Р. 1—13.
54. Shvarts A., Stepanov A., Chumachenko D. Automatic Detection of Gaze Convergence in Multimodal Collaboration: A Dual Eye-Tracking Technology // The Russian Journal of Cognitive Science. 2018. № 5(3). Р. 4—17.
55. Sungkur R.K., Antoaroo M.A., Beeharry A. Eye tracking system for enhanced learning experiences // Educ Inf Technol. № 21. Р. 1785—1806.
56. Van Gog T., Kester L., Nievelstein F., Giesbers B., Paas F. Uncovering cognitive processes: Different techniques that can contribute to cognitive load research and instruction // Computers in Human Behavior. 2009. № 25. Р. 325—331.
57. Yokoyama H., Taguchi T., Sugiyama H., Sato H. Committee for the Standardization of Renal Pathological Diagnosis and for Renal Biopsy and Disease Registry in the Japanese Society of Nephrology. Membranous nephropathy in Japan: analysis of the Japan Renal Biopsy Registry (J-RBR) // Clin Exp Nephrol. 2012. № 16(4). Р. 557—563.
58. Yurkovic-Harding J., Lisandrelli G., Shaffer R.C., Dominick K.C., Pedapati E.V., Erickson C.A., Yu C., Kennedy D.P. Children with ASD establish joint attention during free-flowing toy play without face looks // Current biology: CB. 2022. № 32(12). Р. 2739—2746.e4.