Методы регистрации движений глаз: теория и практика^*

В статье рассматриваются виды движений глаз (тремор, дрейф, микросаккады, макросаккады, прослеживающие движения, вергентные движения, нистагм). Даются сведения об основных методах регистрации движений глаз (контактные методы: электроокулография, фотооптический и электромагнитный; бесконтактные методы: фотооптический, кино- и видеорегистрация). Описываются принципы детекции фиксаций и саккад, выбор конкретных показателей окуломоторной активности для анализа (средняя продолжительность фиксации, продолжительность первой фиксации, позиции фиксаций, амплитуда и латентность саккад, продолжительность и частота морганий, показатели, связанные с выделением на изображении областей интереса). Показаны наиболее значимые области практического применения систем регистрации движений глаз (управляемые взором компьютерные интерфейсы для инвалидов, медицина, реклама, анализ операторской деятельности).

При рассматривании объектов свет, проходя через роговицу и хрусталик, фокусируется на сетчатке глаза, содержащей светочувствительные рецепторы. Структура сетчатки неоднородна: в центральной области (fovea centralis) где оптическая ось глаза пересекает поверхность сетчатки, рецепторы расположены наиболее плотно и обладают способностью реагировать на цвета. В процессе зрительного восприятия глаз ориентируется так, чтобы изображение объекта локализовалось в фовеальной области, угловые размеры которой составляют 1.3-2º. Полное поле зрение глаза - 150° по горизонтали и 130° по вертикали. В силу анизотропности сетчатки движения глаз могут быть использованы как индикаторы перцептивного процесса и связанных с ним форм деятельности.

Основные виды движения глаз

Направление взора никогда не остается постоянным. Даже при относительно неподвижном положении глаза происходят микродвижения (Рис. 1). К ним относятся: тремор, дрейф, микросаккады и функциональный нистагм.

Тремор - мелкие частые колебания глаз. Средняя амплитуда - 20"-40", частота до 250-270 Гц. В результате тремора ось глаза описывает эллипсоподобные фигуры. Это естественный двигательный фон окуломоторной активности, не поддающийся произвольному контролю.
Дрейф - медленные плавные микродвижения; в ходе фиксации объекта на них приходится 97 % времени. Считается, что дрейф создает наиболее благоприятные условия для приема и переработки оптической информации.
Микросаккады - быстрые движения глаз продолжительностью 10-20 мс. Диапазон амплитуды 2'-50'. Обслуживают устойчивые фиксации объекта. Периодические «сплывы» глаз, компенсируемые микросаккадами, образуют самостоятельную двигательную единицу - физиологический нистагм.
С изменением направления взора связаны макродвижения: макросаккады (рис. 2), прослеживающие и вергентные движения, нистагм и торзионные движения.
Макросаккады - резкие изменения позиции глаза, отличающиеся высокой скоростью и точностью. Амплитуда варьирует от 40 - 50 минут до 50 - 60°, но в естественных условиях восприятия не превышает 20°. Максимальная скорость двадцатиградусного скачка - 450°/сек, его продолжительность - 70 мс. Средняя частота саккадических движений 2-3 Гц. Как правило, они совершаются по кратчайшей прямой между точками фиксации. Саккады возникают при смене точек фиксации и обычно носят произвольный характер. В момент совершения саккады складываются наименее благоприятные условия для получения оптической информации.

Прослеживающие движения - плавные перемещения глаз, возникающие при движении объектов в поле зрения. Они обеспечивают сохранение изображения фиксируемого объекта в зоне наилучшего видения.
Вергентные движения - сведение (конвергенция) или разведение (дивергенция) оптических осей глаз. Они включены в процесс стереоскопического зрения, обеспечивая необходимое соответствие проекций объекта на сетчатках обоих глаз.
Нистагм - устойчивая окуломоторная структура, включающая чередование саккад и плавных прослеживающих движений. Амплитуда, частота и форма нистагма широко варьируют в пределах параметров базовых видов движений и зависят от его природы.
Торзионные движения [4;5] - вращение глаз относительно оптической оси. Амплитуда отграничена 10°. Основное назначение - частичная компенсация наклонов головы относительно гравитационной вертикали.
С макродвижениями глаз связана динамика раскрытия зрачка. Помимо адаптации к условиям освещения, величина раскрытия зрачка может быть связана с дополнительной зрительной нагрузкой или с субъективной значимостью рассматриваемого изображения.
Методы регистрации движений глаз
Описывая методы регистрации движений глаз, можно выделить две их основных группы:
контактные, т. е. связанные с установкой регистрирующих датчиков непосредственно на роговицу глаза или вокруг него (электроокулография, фотооптический и электромагнитный методы);
бесконтактные (фотоэлектрический, кино- и видеорегистрация).

Электроокулография

В основе метода лежит использование собственных электрических свойств глазного яблока. По физической природе оно является диполем, в котором роговица относительно сетчатки электроположительна. Электрическая ось глазного яблока примерно совпадает с оптической осью и, следовательно, может служить индикатором направления взора. Изменение разности потенциалов между роговицей и сетчаткой обнаруживается через изменение потенциала в тканях, прилегающих к глазнице. Движения глаз регистрируются с помощью электродов, которые устанавливаются крестообразно вокруг глазной впадины (рис. 3).

Рис. 3. Установка электродов при регистрации электроокулограммы; полиграфический усилитель kardi-2 с набором электродов (Центр экспериментальной психологии МГППУ)

Недостатки метода - относительно невысокая разрешающая способность (точность дифференцировки мелких деталей 3°-5°); достоинства - низкая стоимость оборудования, регистрация не нарушает естественных условий зрительной активности и может выполняться как на свету, так и в темноте, даже с закрытыми глазами.

Фотооптический и электромагнитный методы

Фотооптический метод разработан А. Л. Ярбусом в 50-е годы XX века [Ярбус, 1965]. Узкий пучок света, направленный на глазное яблоко, отражается от установленного на нем миниатюрного зеркальца и поступает на вход фоторегистрирующего устройства.
Достоинства метода - высокая разрешающая способность; недостатки - необходимость жесткой фиксации головы испытуемого, контактный характер методики, регистрация возможна только в затемненном помещении. В настоящее время не используется, так как контактный электромагнитный метод обеспечивает столь же высокую разрешающую способность, но более удобен в плане регистрации.
Электромагнитный метод разработан в 60-е годы ХХ века в США и независимо - в СССР [Вергилес, 1967]. В основе метода лежит принцип изменения напряженности электромагнитного поля при изменении расстояния между излучателем и приемником. Излучатель крепится на глазном яблоке (с помощью центральной присоски, контактной линзы или кольца), приемные катушки располагаются неподвижно вокруг головы испытуемого (рис. 4).

Рис. 4.
а – схема установки для электромагнитной регистрации движений глаз: 1– приемные катушки-антенны; 2 – индукционный излучатель-датчик; 3 – экран с тестовым изображением; 4 – усилители сигналов; 5 – регистрирующий осциллограф [Андреева, 1975]
б – присоски и излучатель, использовавшиеся в исследованиях Н. Ю. Вергилеса (оборудование предоставлено для съемки Е. А. Андреевой, ИПРАН)

В некоторых экспериментах на присоске дополнительно устанавливались оптические элементы, обеспечивающие различные преобразования изображения.
Достоинства метода - высочайшая разрешающая способность, основной недостаток - контактный характер методики. В настоящее время швейцарской фирмой Primelec выпускается установка CS681 (частота регистрации до 8000 Гц, разрешающая способность - не хуже 0.0002°).
Фотоэлектрический метод основан на преобразовании отраженного от роговицы пучка инфракрасного света в электрический сигнал. На очковой оправе вокруг глаза

Рис. 5. Установка для фотооптической регистрации движений глаз (горизонтальная составляющая) eye-track model 200 – 1978 г. (оборудование предоставлено В. И. Белопольским, ИПРАН)

Наиболее употребительная схема регистрации предполагает установку вокруг глаза на очковой оправе одной или нескольких пар фоторезисторов или фотодиодов, соединенных по «мостовой» схеме. Метод известен с начала 60-х годов прошлого века. В настоящее время практически не используется.
Кинорегистрация глаз известна с середины 60-х годов ХХ столетия, но из-за высокой трудоемкости не получила широкого распространения. В последнее время, в связи с широким распространением персональных компьютеров и цифровых видеокамер, стала широко использоваться видеорегистрация движений. Глаз подсвечивается точечным источником инфракрасного излучения, а инфракрасная видеокамера производит скоростную съемку глаза. На изображении программно определяется положение зрачка (в ИК-лучах он представляет собой темный овал) и его размеры, а также позиция роговичного блика, представляющего собой отражение на роговице источника инфракрасного света
(рис. 6).

Рис. 6.Взаимное расположение центра зрачка и роговичного блика при рассматривании углов монитора (изображения получены на установке SMI High Speed, Центр экспериментальной психологии МГППУ)

Направление взгляда система рассчитывает основываясь на векторе, соединяющем позиции роговичного блика и центра зрачка.
Достоинства методики - бесконтактный характер и возможность регистрации величины раскрытия зрачка; недостатки- невозможность регистрации направления взгляда в случае, когда изображение зрачка частично перекрыто ресницами, невозможность регистрации в случае паразитной засветки ИК-излучением, например, при ярком солнечном свете. Увеличение временного и пространственного разрешения связано с использованием дорогих высокоскоростных видеокамер высокого разрешения. При использовании принципа слежения за характерными паттернами радужной оболочки методика видеорегистрации позволяет регистрировать торзионные движения глаз, но на практике решение данной задачи требует дальнейшего улучшения качества видеокамеры и значительных вычислительных ресурсов.
Системы видеорегистрации движений глаз получили широкое распространение. Для их обозначения на западе используется термин eyetracker (Google - 112.000 результатов) или eye tracker (Google - 81.900 результатов). В русском языке закрепилось написание «ай- трекер». Отметим несколько наиболее интересных вариантов установок данного типа.
Канадской фирмой SR Research производится система EyeLink 1000 (частота регистрации 2000 Гц в монокулярном режиме, 1000 Гц в бинокулярном, разрешающая способность 0.01°).
Установка SMI High Speed немецкой фирмы SensoMotoric Instruments [Демидов, 2008; Жегалло, 2009] (рис. 7) имеет несколько меньшую скорость регистрации (1250 Гц в монокулярном режиме, 500 Гц в бинокулярном, разрешающая способность 0.01°).

Рис. 7. Установка SMI High Speed (Центр экспериментальной психологии МГППУ)

Фирмой SensoMotoric Instruments производится также ряд более дешевых систем, в частности, стационарная SMI RED (частота регистрации 60 Гц или 250 Гц, разрешающая способность не хуже 0.1°) и мобильная HED (частота регистрации до 200 Гц, разрешающая способность не хуже 0.1°). Возможности системы HED могут быть существенно расширены в случае использования ее совместно с системой контроля положения наблюдателя. Следует отметить систему SMI 3D VOG, позволяющую регистрировать торзионные движения глаз, а также движения головы наблюдателя.
Еще одна установка, позволяющая регистрировать торзионные движения глаз, - Cronos Eyetracking Device производства немецкой фирмы Cronos Vision. В 2004 году с ее использованием проводились эксперименты по регистрации движений глаз у космонавтов на международной космической станции.
Стационарные системы с относительно низкой частотой регистрации (до 250Гц) производятся фирмами Tobii, Interactive Minds, Cambrige Research Systems и др. Среди мобильных систем можно отметить EMR9 фирмы NAC Image Technology (вес монтируемой на очковой оправе системы 75 граммов, вес контроллера 590 граммов, широкоугольная оптика с полем охвата до 120°, скорость регистрации до 240 Гц, разрешающая способность 0.1°). Следует отметить, что NAC начала производство первых мобильных систем кинорегистрации движений глаз еще в 70-е годы XX века.

Обработка данных

Обработка данных видеорегистрации связана с выделением на каждом кадре видеоряда темного эллипса, представляющего собой изображение зрачка, и светлой точки - роговичного блика. Результатом анализа изображения являются шесть чисел:
X и Y координаты центра зрачка (в пикселях на исходном кадре видеоряда);
X и Y координаты роговичного блика (также в пикселях на исходном кадре видеоряда);
высота и ширина эллипса, соответствующего зрачку.
По координатам центра зрачка и роговичного блика, а также по результатам калибровки рассчитывается направление взора, привязанное к рассматриваемому наблюдателем изображению [Guestrin, 2006].
Полученные таким образом данные можно анализировать непосредственно, однако, как правило, их подвергают предварительной обработке с целью выделения последовательности фиксаций и саккад. Для решения подобной задачи существует ряд алгоритмов [Nistrom, 2009; Salvucci, 2000]. Наиболее употребительными из них являются Velocity Threshold
Identification (I-VT), используемый в системах с относительно высокой частотой регистрации, и Dispersion - Threshold Identification (I-DT), используемый в системах с относительно низкой частотой регистрации. Следует отметить, что выбор алгоритма детекции и параметров его настройки существенно влияет на характер выделяемых фиксаций и саккад.
Завершающий этап обработки данных предполагает анализ конкретных показателей окуломоторной активности в соответствии с имеющейся у исследователя гипотезой. Отметим следующие характерные показатели окуломоторной активности, анализ которых может дать полезную информацию:    средняя продолжительность фиксации,
продолжительность первой фиксации, позиции фиксаций, амплитуда и латентность саккад, продолжительность и частота морганий, ряд показателей, связанных с выделением на изображении областей интереса.
Продолжительность фиксации (fixation duration) - время, в течение которого глаз относительно неподвижен. Типичные значения:    120-350 мс. Использование
продолжительности фиксаций в качестве показателя, характеризующего когнитивную активность, базируется на гипотезе, что когнитивная обработка визуальной информации выполняется во время фиксаций, а во время саккад подавляется. При экспериментальной проверке этой гипотезы тестовые изображения выводят на экран во время исполнения саккады.
При чтении текста часто анализируется продолжительность первой фиксации на слове, связанная с частотностью слов и являющаяся показателем активации лексической обработки.
На распределение позиций фиксаций влияют следующие факторы:

• пространственно-временные характеристики объекта восприятия, требования задачи (Ярбус, 1967);
• направление взора участников общения или совместной деятельности;
• культурные особенности испытуемых;
• прошлый опыт в решении поставленной задачи;
• функциональное состояние испытуемого и др.

При изучении чтения текстов важным показателем является амплитуда саккад. Типичные значения составляют: при чтении про себя 7-8 букв (2 градуса), при чтении вслух 6 букв (1.5 градуса), при чтении нотной записи и письме - 1 градус. При длительном рассматривании изображения, а также при выполнении в уме сложных заданий амплитуда саккад сокращается.
Латентный период саккад - часть времени зрительной фиксации, необходимого для подготовки саккады на новый объект восприятия.
На рассматриваемом изображении исследователь может выделить ряд областей интереса (Area Of Interest - AOI) в соответствии с имеющейся у него гипотезой исследования. В таком случае возможен анализ ряда показателей, связанных с ними:

• суммарное время рассматривания каждой из областей;
• число фиксаций в каждой из областей;
• средняя продолжительность фиксаций в каждой из областей;
• порядок рассматривания.

Описание порядка рассматривания областей может быть закодировано с помощью матриц перехода (transition matricesS - квадратных матриц, в которых строки и столбцы соответствуют заданным областям, а элементы матрицы (i,j) - числу переходов из i-й области в j-ю.

Практическое использование систем регистрации движений глаз

Помимо научного использования методика регистрации движений глаз получает широкое практическое применение.
По данным ассоциации COGAIN (Communication by Gaze Interaction), только в Европе свыше полумиллиона человек с физическими недостатками нуждаются в альтернативном способе доступа к компьютеру. Созданная в 2004 году ассоциация COGAIN объединяет конструкторов оборудования для регистрации движений глаз, разработчиков программного обеспечения, медиков. При поддержке COGAIN созданы системы предиктивного ввода текста Dasher и StarGazer, система SAW (Special Access to Windows), графический редактор EyeArt, ряд компьютерных игр. Разрабатываются проекты дешевых систем видеорегистрации движений глаз, использующих бытовые WEB-камеры. Также рассматривается возможность создания дешевых систем регистрации движений глаз, основанных на электроокулографическом (EOG Googles) и фотооптическом (OWL) принципах.
При лазерной коррекции зрения LASIK {Laser-Assistedin Situ Keratomileusis) качество операций улучшается, если применять систему контроля за микродвижениями глаз и стабилизации лазера (VISX Star S4Active Track).
Системы регистрации движений глаз могут быть использованы для ранней диагностики аутизма у детей. Согласно данным канадского психолога Mel Rutherford, диагностическим признаком является меньшее время рассматривания предъявляемых на компьютере лиц людей и в частности - меньшее время рассматривания глаз. Методика применима на детях от 9-месячного возраста.
Системы регистрации движений глаз могут быть эффективно использованы там, где требуется исследовать восприятие отдельного статического изображения (рекламный плакат) или последовательности статических изображений (страницы сайта). Предъявив группе респондентов на экране компьютера необходимое изображение, можно затем получить обобщенную «термокарту», показывающую распределение внимания наблюдателей при его рассматривании. Для проведения такого исследования достаточно ай-трекера с частотой регистрации 50-60 Гц. В России такие исследования проводят компании USABILITYLAB и КОМКОН.
Довольно часто возникает необходимость детального анализа выполняемой деятельности с целью экспликации приемов ее выполнения, корректировки способа выполнения или модификации среды, в которой выполняется деятельность. В этих случаях может быть полезным мобильный ай-трекер. Результатом его работы является видеоряд, снимаемый широкоугольной видеокамерой, установленной на голове наблюдателя, с наложенным направлением его взора. Следует отметить, что в ряде случаев использование ай-трекера оказывается избыточным, достаточно применения более компактной и дешевой видеокамеры, ведущей съемку с позиции наблюдателя (SubCam). Анализ результатов, получаемых с помощью мобильных видеокамер или ай-трекеров, в настоящее время осуществляется практически полностью вручную и не поддается сколь-нибудь успешной автоматизации. Имеющиеся компьютерные системы анализа (Noldus, Web Diver) представляют собой развитые средства для аннотирования видеозаписей, их редактирования, одновременного просмотра и т. п.
Можно ожидать в ближайшее время расширения сферы применения методов регистрации движений глаз как в научном, так и в практическом плане. Для более подробного знакомства с данной проблематикой будут полезны монографии [2-4]. Информация о новых экспериментальных исследованиях регулярно публикуется в журнале «Экспериментальная психология». Владеющим английским языком можно рекомендовать сайты COGAIN и Journal of Vision.

1. Андреева Е. А., Вергилес Н. Ю., Ломов Б. Ф. Механизмы элементарных движений глаз как следящая система // Моторные компоненты зрения. М., 1975.
2. Барабанщиков В. А. Окуломоторные структуры восприятия. М., 1997.
3. Барабанщиков В. А., Белопольский В. И. Стабильность видимого мира. М., 2008.
4. Белопольский В. И. Взор человека: Механизмы, модели, функции. М., 2007.
5. Белопольский В. И. Метод регистрации торзионных движений глаз человека в условиях свободного поведения // Экспериментальная психология. 2009. № 1.
6. Вергилес Н. Ю. Исследование деятельности и функциональное моделирование сенсорного звена зрительной системы. Автореф. канд. дисс. М., 1967.
7. Демидов А. А., Жегалло А. В. Оборудование SMI для регистрации движений глаз: тест-драйв // Экспериментальная психология. 2008. № 1.
8. Жегалло А. В. Система регистрации движений глаз SMI High Speed: особенности использования // Экспериментальная психология. 2009. № 4.
9. Ярбус А. Л. Роль движений глаз в процессе зрения. М., 1965.
10. Guestrin E. D., Eizenman M. General Theory of Remote Gaze Estimation Using the Pupil Center and Corneal Reflections // IEEE Transitions on biomedical engeneering. V. 53. № 6. June 2006.
11. Nistrom M., Holmqvist K. An Adaptive Algorithm for Fixation, Saccade, and Glissade Detection in Eye-Tracking Data // Behavior Research Methods. 2009. V. 8–12.
12. Salvucci D., Goldberg J. Identifying fixations and saccades in eye-tracking protocols // Proceedings of the Eye Tracking Research and Applications Symposium New York: ACM Press, 2000.