Технологии айтрекинга в задачах сохранения и передачи когнитивного опыта

В статье обсуждаются возможности применения айтрекинга при решении задачи сохранения и передачи когнитивного опыта. Видеозапись процесса, для которого решается данная задача, может содержать ключевые компоненты, контроль и управление динамическими свойствами которых являются существенными составляющими когнитивного опыта. В рассматриваемом примере с «невидимой гориллой» умышленно неверно данная инструкция приводит к тому, что существенные характеристики системы остаются необнаруженными наблюдателем. Регистрация движений глаз эксперта, анализирующего когнитивный опыт в процедуре кооперативного дебрифинга, позволит выделить такие ключевые элементы и их динамические паттерны. В дальнейшем на основе выполненного анализа возможно создание обучающих программ для систем передачи когнитивного опыта.

Нам представляется, что технология айтрекинга также может рассматриваться в качестве инструмента для точного анализа процесса кооперативного дебрифинга. Главная проблема использования такой технологии связана с динамичностью изображения, наблюдаемого в дебрифинге. В этой статье мы попытаемся кратко рассмотреть возможные пути решения этой проблемы.

Движения глаз при рассматривании статических изображений

Исторически, исследования движений глаз в первую очередь связаны с рассматриванием статических изображений. Локализация взора в этом случае определяется рядом факторов: собственными характеристиками изображения; поставленной перед наблюдателем задачей; отношением наблюдателя к экспериментальной либо реальной ситуации, в которой он находится; индивидуальными особенностями наблюдателя.

Влияние инструкции впервые было обнаружено в классических исследованиях А.Л. Ярбуса (Ярбус, 1965). Инструкция в имплицитной форме может быть эффективно использована для целей психодиагностики. Так, при экспозиции на экране незаконченного предложения «Я человек ...», испытуемые далее переводят взор на то слово из пары слов- антонимов, которое адекватно их характеризует (Огнев, Лихачева, Мельникова, 2015).

Отношение наблюдателя к ситуации, к выполняемой задаче может быть проконтролировано лишь косвенным образом, в частности, путем анкетирования участников по окончании исследования либо путем анализа данных видеонаблюдения за ходом эксперимента. Формирование «правильного» отношения участников исследования к выполняемому заданию, вовлеченности, заинтересованности в результатах исследования зависит от мастерства и личного опыта экспериментатора; возможности формализации данного фактора крайне ограничены.

Индивидуальные особенности наблюдателя, выражающиеся в характеристиках оку­ломоторной активности, включают, в частности, эффективный произвольный контроль за окуломоторной активностью и различия в величине рабочего поля зрения (Барабанщиков, Жегало, 2018; Жегалло 2018). Дальнейший анализ индивидуальных особенностей наблюдателей технически возможен, но представляет собой крайне трудоемкую задачу, требующую большой выборки испытуемых.

Отдельную проблему представляет анализ движений глаз при рассматривании комплексных статических сцен. При этом выделяется два способа осмотра: фокальный, связанный с уточнением деталей изображения и характеризующийся малыми амплитудами саккад и относительно длительными фиксациями, и амбъетный, связанный с высокоам­плитудными саккадами и короткими фиксациями, во время которых распознается общая структура изображения (Unemaetal, 2005). Анализ движений глаз, направленный на раз­
граничение разных способов рассматривания, проводится путем построения графиков амплитуды саккад и продолжительности фиксаций и определения точки перегиба.

Поиск предикторов индивидуальной вариативности способов рассматривания комплексных сцен в парадигме Successor Representation Scanpath Analysis (Hayes, Henderson, 2017) показал, что модель, учитывающая объем рабочей памяти наблюдателя, скорость обработки и общий интеллект, объясняет до 40% дисперсии. Вклад собственных характеристик изображения может быть описан соответствующей математической моделью (Podladchikovaetal, 2009). При этом субъективная значимость отдельных элементов сцены существенно зависит от задачи, решаемой наблюдателем. Отсюда возникает необходимость в каждом конкретном случае заново выделять MostInformative Regions (наиболее информативные области).

Следует отметить, что опора на актуальную структуру изображения имеет место не только при рассматривании комплексных сцен, но и в том случае, когда структура изображения, казалось бы, априорно известна. При рассматривании ретушированного лица человека, на котором удалены либо добавлены отдельные элементы, локализация взора по- прежнему определяется фактическим содержанием лица, а не его стандартной структурой. Внимание наблюдателя перераспределяется в пользу фактически присутствующих элементов изображения (Барабанщиков, 2012).

Наиболее важные в смысловом отношении элементы изображения одновременно являются также и наиболее визуально заметными. Попытка разграничить влияние семантической значимости (meaning) и визуальной заметности (salience) выполнена в работе Д. Хендерсона, С. Хайеса (Henderson, Hayes, 2018). Авторы показали, что при выполнении статистического контроля корреляции между данными показателями уникальная вариация плотности распределения взора наблюдателей связана именно с семантической значимостью элементов изображения. Парадигма исследования предполагает предварительную экспертную разметку семантической значимости отдельных зон комплексной сцены.

Специфика рассматривания динамических изображений

В случае рассматривания динамических изображений вклад собственных физических характеристик изображения значительно возрастает по сравнению со статическими изображениями. Так, при рассматривании динамического выражения лица вариативность способов рассматривания существенно сокращается. Способ рассматривания в данном случае определяется как матрица частот переходов между выделенными зонами интереса: глаза, переносица, нос, рот (Барабанщиков, Жегалло, 2018).

Паттерн рассматривания комплексной динамической сцены содержит две составляющие. Первая — относительно быстрый осмотр сцены в целом, направленный на выделение основных существенных элементов. Вторая, занимающая большую часть времени, включает фиксацию и слежение за отдельными динамическими элементами (Smith, Mital, 2013). При таком способе рассматривания достигается более высокая синхронность внимания (attentional synchrony), чем при рассматривании статических изображений. Авторы указывают, что данный результат в значительной степени связан с особенностями материала. Среди использовавшихся видеофрагментов значительную часть занимали сцены, в которых динамика перемещения высокозначимых объектов была ограничена по амплитуде.

При наличии на видеоизображении нескольких конкурирующих динамических структур выбор отслеживаемой структуры может, в частности, определяться полученной инструкцией. Так, в известном эксперименте с «невидимой гориллой» (Simons, Chabris, 1999) участники исследования получают инструкцию подсчитывать число передач мяча, выполняемых игроками в белых майках. Мы полагаем, что, выполнив покадровый анализ видеоизображе­ния и определив координаты мяча на каждом из кадров, можно далее показать, что при выполнении инструкции взор наблюдателя будет следовать за перемещениями мяча. При этом участники исследования не будут отслеживать взором конкурирующие движущиеся объекты, в частности гориллу, медленно проходящую через сцену. Таким образом, сопоставляя траекторию взора с траекториями динамических элементов комплексной сцены, можно сделать вывод о том, на какой из элементов направлено внимание наблюдателя.

Для случая предъявления динамических объектов разметка изображения может быть автоматизирована путем использования специализированного ПО, например CSIRO FaceAnalysis SDK (Coxetal, 2013). В общем случае задача анализа видеопотока с обнаружением и последующим отслеживанием предметов, соответствующих заданному паттерну, может быть решена средствами библиотеки OpenCV, реализующий ряд алгоритмов слежения за движущимися объектами (Jankuetal, 2016). Эти средства могут быть применимы для содержательного выделения ключевых элементов в комплексной динамической сцене, демонстрируемой в процедуре кооперативного дебрифинга. Представляется перспективным выполнение в ходе дебрифинга интерактивной разметки видеоряда с последующим автоматическим отслеживанием движущегося ключевого объекта и одновременной регистрацией движений глаз и устных комментариев эксперта, передающего когнитивный опыт. Дополнительно может осуществляться видеозапись жестов, сопровождающих комментарии эксперта. На основе сопоставления траекторий движения ключевых элементов видеоряда и движений глаз эксперта будет сформирован нормативный способ рассматривания обучающего видеоматериала, обеспечивающий высокую эффективность усвоения обучающей информации.

Предназначенный для передачи опыта обучающий видеоматериал может включать задания, требующие принятия определенного решения на основе динамической информации о состоянии изучаемого объекта. При анализе результатов, в дополнение к ответам обучаемого, будет использоваться информация о динамике движений глаз и ее соответствии нормативному способу рассматривания, характерному для специалиста — носителя опыта. Таким образом, успешность обучения будет определяться не только на основе того, насколько высока точность ответов, но и по тому, в какой мере реципиент усвоил характерный способ работы в пределах моделируемых учебных ситуаций.

Первоочередной задачей дальнейших исследований представляется подготовка стенда для проведения кооперативного дебрифинга, позволяющего регистрировать движения глаз, речевую продукцию и жесты эксперта, передающего когнитивный опыт. Мы ожидаем, что применение технологий айтрекинга в контексте полипозиционного наблюдения даст новое качество методу полипозиционного наблюдения, повысив надежность его результатов для решения задач построения мультимедийной системы сохранения и передачи значимых составляющих когнитивного опыта.

---

        Финансирование

Исследование выполнено в рамках государственного задания Министерства науки и высшего образования Российской Федерации, проект 25.3471.2017/ПЧ «Выявление значимых составляющих когнитивного опыта специалиста в задачах их сохранения и передачи».

1. Барабанщиков В.А. Экспрессии лица и их восприятие. М.: ИПРАН, 2012. 347 с.
2. Барабанщиков В.А., Жегалло А.В. Окуломоторная активность при восприятии динамических и статических выражений лица // Экспериментальная психология. 2018. T. 11. № 1 С. 5—34.
3. Жегалло А.В. Распознавание периферически экспонируемых эмоциональных экспрессий // Экспериментальная психология. 2018. Т. 11. № 2. С. 16—33.
4. Лободинская Е.А., Носуленко В.Н. Вербальные данные в количественной оценке способов предъявления визуальных объектов // Экспериментальная психология. 2018. T. 11. № 4, С. 39—49.
5. Носуленко В.Н., Самойленко Е.С. Полипозиционное наблюдение // Технологии сохранения и воспроизведения когнитивного опыта / Под ред. В.Н. Носуленко. М.: Изд-во «Институт психологии РАН», 2016. С. 261—278.
6. Огнев А.С., Лихачева Э.В., Мельникова Д.В. Перспективы использования многополярных семантических дифференциалов в айтрекинге // Успехи современного естествознания. 2015 № 1. Ч. 5. С. 858—862.
7. Ярбус А.Л. Роль движений глаз в процессе зрения. М.: Наука, 1965. 173 с.
8. Cox M., Nuevo-Chiquero J., Saragih J.M., Lucey S. CSIRO Face Analysis SDK. 10th IEEE International Conference on Automatic Face and Gesture Recognition. Shangai. China, 2013.
9. Janku P., Koplik K., Dulik T., Szabo I. Comparison of tracking algorithms implemented in OpenCV // MATEC Web Conf, 2016. Vol. 76; 20th International Conference on Circuits, Systems, Communications and Computers (CSCC 2016); Article Number 04031.
10. Lahlou S., Nosulenko V., Samoylenko E. Numériser le travail. Théories, méthodes, expérimentations. Paris: Lavoisier, 2012. 328 p.
11. Le Bellu S., Lahlou S., Nosulenko V., Samoylenko E. Studying activity in manual work: A framework for analysis and training // Le Travail Humain. 2016. Vol. 79. № 1. P. 7—29.
12. Hayes T.R., Henderson J.M. Scan patterns during real-world scene viewing predict individual differences in cognitive capacity // Journal of Vision. 2017. Vol. 17. № 5. P. 1—17.
13. Henderson J.M., Hayes T.R.Meaning guides attention in real-world scene images: Evidence from eye movements and meaning maps // Journal of Vision. 2018. Vol. 18. № 6. P. 1—18.
14. Podladchikova L.N., Shaposhnikov D.G., Tikidgji-Hamburyan A.V., Koltunova T.I., Tikidgji- Hamburyan R.A., Gusakova V.I., Golovan A.V. Model-Based Approach to Study of Mechanisms of Complex Image Viewing // Optical Memory and Neural Networks (Information Optics), 2009. Vol. 18. № 2. Р. 114— 121.
15. Simons D.J., Chabris C.F. Gorillas in our midst: sustained inattentional blindness for dynamic events // Perception. 1999. Vol. 28. P. 1059—1074.
16. Smith T., Mital P. Attentional synchrony and the influence of viewing task on gaze behavior in static and dynamic scenes // Journal of Vision. 2013. Vol. 13. № 8. P. 1—24.
17. Streitz N., Prante Th., Röcker C., Alphen D. van, Stenzel R., Magerkurth C., Lahlou S., Nosulenko V., Jegou F., Sonder F., Plewe D. Smart Artefacts as Affordances for Awareness in Distributed Teams / N. Streitz, A. Kameas, I. Mavrommati (Eds.) // The Disappearing Computer. Springer, Heidelberg. Lecture Notes in Computer Science. 2007. Vol. 4500. P. 3—29.
18. Unema P., Pannasch S., Joos M., Velichkovsky B Time cource of information processing during scene perception: The relationship between saccade amplitude and fixation duration // Visual Cognition. 2005. Vol. 12. P. 473—494.

PlumX

Метрики публикации