Оборудование SMI для регистрации движений глаз: тест-драйв

Целью настоящей статьи является техническая характеристика и описание назначения систем регистрации движений глаз, выпускаемых крупнейшей немецкой компанией научного оборудования SensoMotoric Instruments (SMI) (www.smivision.com) и представленного на научно-практическом семинаре, прошедшем 11–13 июня 2008 г. на базе Университета г. Лунда (Швеция).

Компания SMI производит аппаратуру, основанную на принципе видеорегистрации движений глаз в инфракрасном диапазоне излучения с последующим определением направления взгляда на основании вектора смещения между центрами зрачка и роговичного блика – так называемая система «pupil-corneal reflex». Данный способ детектирования направления взгляда дает высокую точность регистрации до тех пор, пока положение головы испытуемого фиксировано в пространстве. В случае свободного движения головой относительно источника, излучающего инфракрасный свет, точность регистрации снижается и повышается вероятность включения артефактов. Другим ограничением данного принципа является его зависимость от диаметра зрачка, что может детектироваться системой регистрации как изменение позиции глаза, в то время как движения на самом деле не было.

Основными элементами регистрирующей аппаратуры SMI являются источник, излучающий инфракрасный свет, и видеокамера, чувствительная к отраженному от поверхности глаза инфракрасному свету. В зависимости от комбинации этих двух элементов можно выделить несколько различных типов регистрирующей аппаратуры с различными техническими свойствами и различным назначением.

Первый вариант комбинации характеризуется тем, что оба из указанных элементов фиксированы на некой плоскости в пространстве, например, на столе, перед испытуемым. В зависимости от того, фиксируется ли подвижность испытуемого относительно регистрирующей техники или нет, выделяется два подвида регистрирующих систем:  во-первых, в случае фиксации головы испытуемого в специальной стойке с подбородником и упором для лба SMI разработала установку высокоскоростной бино-монокулярной регистрации движений глаз – iView X^™ Hi-Speed – 500/1250; во-вторых, в случае относительной подвижности головы и туловища испытуемого в пространстве фирма SMI предлагает низкоскоростную бинокулярную установку iView X^™ RED.

Второй вариант комбинации характеризуется тем, что и излучатель и видеокамера крепятся на велосипедном шлеме или бейсболке, которые надеваются испытуемыми на время эксперимента. В этом случае SMI предлагает установку iView X^™ HED.

Третий вариант комбинации во многом схож со вторым, за исключением того, что в исследовательском помещении находится излучатель магнитного поля, а на шлеме дополнительно крепится датчик, чувствительный к изменению магнитного поля, что позволяет производить регистрацию движений головы. В данном случае речь идет об установке iView X^™ HED + HT.

Каждый из указанных типов регистрирующего оборудования SMI имеет свою собственную техническую спецификацию и область исследовательского или прикладного применения. В связи с этим более подробно остановимся на общих характеристиках аппаратуры для регистрации движений глаз.

Технические параметры оборудования для регистрации движений глаз

Регистрация окуломоторной активности может выполняться как бинокулярно, так и монокулярно. Имеются различные типы бинокулярных регистрирующих установок: это «истинные» бинокулярные установки, позволяющие проводить видеосъемку обоих глаз и в итоге предоставлять данные о положении каждого глаза в отдельности. Установки с подобной характеристикой используются, например, при изучении вергентных движений глаз, сопряженности движений глаз при чтении или при изучении восприятия глубины. Поскольку для большинства людей характерно синхронное движение обоих глаз, то во многих исследовательских и прикладных задачах можно использовать монокулярные установки, которые, с одной стороны, значительно менее дорогие, с другой стороны, проще в техническом и программном отношении. Другой подвид бинокулярных установок условно можно назвать «псевдо-бинокулярными». В данном случае также используется видеорегистрация обоих глаз, но на «выходе» фигурируют усредненные данные, полученные с каждого глаза в отдельности. Усреднение обеспечивает более высокую стабильность регистрации направления взора, что является проблемой для систем с низкой точностью.

Еще одной важной характеристикой подобного оборудования является точность регистрации и его разрешающая способность. Под точностью регистрации имеется в виду мера соответствия воспринимаемого объекта и линии взора. Теоретически точность регистрирующего оборудования ограничена размерами фовеа, т. е. 1,5–2^o. Однако фактически, если в процессе калибровки каждая из калибровочных меток будет иметь одну и ту же проекцию на фовеа, точность регистрации может достигать менее 0,5^o. На значение точности влияет целый ряд факторов:

• различие в «глазодвигательном» поведении испытуемого в ситуации калибровки и в ситуации самого эксперимента;
• дрейф системы координат взора, установленных в процессе калибровки, в ходе исследования;
• факторы, в целом влияющие на регистрацию движений глаз (ношение очков или линз испытуемым, индивидуальные вариации физиологии глаза испытуемых, уровень освещенности в исследовательском помещении и т. д.;
• тип регистрирующей установки: так, система SMI HiSpeed в наибольшей степени обеспечивает высокую точность регистрации, а SMI RED – в наименьшей.

Разрешающая способность регистрирующих систем – это то, насколько мелкие движения глаз могут детектироваться регистрирующей системой. В системах, основанных на принципе видеорегистрации, разрешение является фактически функцией количества пикселей получаемого видеоизображения глаза, приходящихся на область зрачка. Чем большим количеством пикселей представлен зрачок на видеоизображении глаза, тем выше разрешающая способность регистрирующей системы. Лучшие системы имеют разрешение порядка 0,01^o, что позволяет регистрировать микросаккады и дрейф.

Вероятно, наиболее обсуждаемой характеристикой систем, основанных на видеорегистрации, является частота дискретизации регистрирующих видеокамер (sampling rate) или, другими словами, та скорость, с которой происходит съемка глазного яблока. Так, если камера имеет частоту дискретизации 100 Гц, это означает, что видеорегистрация глазного яблока происходит каждые 10 мс. В зависимости от значения указанного параметра все системы видеорегистрации можно разделить на несколько типов:

• очень медленные – частота дискретизации 25 Гц,
• среднескоростные – 50–100 Гц,
• скоростные – 250–500 Гц;
• высокоскоростные видеосистемы регистрации – 1000–2000 Гц (в последнем случае видеорегистрация глазного яблока происходит каждые 0,5–1 мс).

Каждый из указанных типов имеет присущие ему возможности и ограничения. Так, медленные системы позволят получать приблизительные данные об общем времени пребывания взора в какой-либо зоне интереса, при этом продолжительность фиксации будет иметь относительную точность с колебаниями ±20 мс. Точность определения продолжительности фиксаций для среднескоростных систем составляет ±10 мс, эти системы могут вполне эффективно использоваться в большинстве прикладных исследований. Однако более «тонкие» характеристики движений глаз, например, такая как скорость саккады, не могут быть выявлены с помощью данного типа систем регистрации. Скоростные системы имеют возможность детектировать практически большинство «нюансов» окуломоторной активности человека. Как правило, они предполагают устойчивую фиксацию головы испытуемого (например, система SMI HiSpeed). Высокоскоростные системы помимо еще большей точности и разрешающей способности предоставляют исследователю возможность проводить on-line анализ окуломоторной активности человека и регулировать параметры предъявляемых стимулов (например, подобные системы необходимы для реализации методики «eye-contingent display change paradigm» (Rayner, 1998).

Важной характеристикой систем регистрации является уровень и постоянство латентности/задержки системы в процессе регистрации и кодирования получаемых данных. Имеется в виду время, затрачиваемое системой между фиксацией видеокамерой положения глаза и определением координат взора. В высококачественных системах регистрации этот процесс занимает менее трех кадров, т. е. менее 3 мс для 1000 Гц системы. Для регистрации важен показатель не только самой задержки, но и то, насколько она постоянна в ходе регистрации. В профессиональных системах видеорегистрации этот показатель константен, но необходимо помнить, что он во многом зависит от всей технической конфигурации регистрирующего оборудования (например, от характеристики оперативной памяти компьютера, его жесткого диска и т. д.).

Диапазон линейности, или рабочий угол регистрации движений глаз, отражает область пропорциональных отношений между изменением направленности взгляда и величиной выходного сигнала. Для большинства современных систем регистрации диапазон линейности относительно прямого положения головы по горизонтали составляет ± 40^o и ± 25^o по вертикали (ранее системы, как правило, регистрировали только горизонтальную составляющую движений глаз испытуемого).

Обозначив основные технические параметры оборудования для регистрации движений глаз, кратко охарактеризуем оборудование, предлагаемое компанией SMI.

Техническая спецификация систем видеорегистрации компании SMI

Установка iView X^™ Hi-Speed – 1250/500 – установка для высокоскоростной видеорегистрации движений глаз. Регистрация может осуществляться как монокулярно (в этом случае предоставляется видеокамера с частотой 1250 Гц), так и бинокулярно (две видеокамеры с частотой дискретизации 500 Гц). Точность направления взгляда 0,25^o–0,5^o. Разрешающая способность менее 0,01^o. Диапазон линейности ±30^o по горизонтали, 30^o по вертикали вверх и 45^o вниз. Время задержки системы менее 2 мс.

Данная установка представляет собой технический комплекс из компьютера с двумя мониторами и регистрирующей стойки-колонны. Один монитор предназначен для предъявления стимульных изображений, второй используется в ходе калибровки для контроля точности наведения взора на калибровочные метки и для on-line слежения исследователем позиции глазного яблока относительно инфракрасного излучателя и регистрирующей камеры в ходе исследования. Регистрирующая стойка представляет собой вертикальную метровую П-образную колонну с встроенным в нее подбородником и упором для лба. Также в колонну встроен излучатель инфракрасного света и регистрирующая видеокамера. Колонна имеет жесткое крепление к поверхности стола, причем желательно использование таких конструкций стола, чтобы была возможность автоматизированного регулирования высоты столешницы для испытуемых с разным ростом.

Установка iView X^™ RED – низкоскоростная установка видеорегистрации движений глаз. Регистрация осуществляется бинокулярно, частота видеокамер – 50 Гц. Точность направления взгляда – 0,5^o–1,0^o. Разрешающая способность 0,1^o. Фиксация головы не требуется, имеется возможность движения испытуемым головы и верхнего плечевого пояса (правда, в весьма ограниченных границах).

Данная установка располагается на столе и состоит из компьютера с двумя мониторами и небольшого портативного блока прямоугольной формы, включающего инфракрасные излучатели и широкоугольную регистрирующую камеру. Данный блок расположен непосредственно под экраном монитора, где предъявляются стимульные изображения; второй монитор используется исследователем для целей контроля. Компанией SMI заявляется, что указанная установка является системой дистанционной видеорегистрации движений глаз, что позволяет испытуемому более комфортно и естественно чувствовать и вести себя в ходе эксперимента; с другой стороны, она предоставляет возможность привлекать специальный контингент испытуемых (дети, инвалиды и т. д.). Но практическая работа с указанной системой во многом порождает скептическое отношение. Прежде всего, речь может идти только о более или менее свободных микродвижениях головы, и то, скорее, в горизонтальной плоскости (вправо-влево), нежели о движениях в глубину – вперед-назад; в последнем случае велика вероятность того, что испытуемый попросту «выйдет» из зоны съемки видеокамеры. Для предотвращения возможности потери сигнала и вместе с тем для увеличения точности регистрации мы рекомендовали бы обратиться либо к облегченному варианту рамки с упором для лба, либо просили бы испытуемых в ходе эксперимента упираться локтями в стол и подпирать подбородок ладонями. Вопрос о фактической доле теряемых данных при свободном положении испытуемого в ходе работы с установкой SMI iView X^™ RED остается открытым.

Установка iView X^™ HED – мобильная установка видеорегистрации движений глаз. Она монтируется либо на жестком велосипедном шлеме, изготовленном из прочной пластмассы, либо на бейсболке с жестким козырьком. Регистрация осуществляется монокулярно. Частота дискретизации 50 Гц, с возможностью установки более быстрой 200 Гц камеры. Точность направления взгляда 0,5^o–1,0^o. Разрешающая способность 0,1^o.

Данный вид установки позволяет осуществлять видеорегистрацию окуломоторной активности при свободном поведении испытуемого (например, покупка какого-то товара в магазине, вождение автомобиля и т. д.). Установка состоит из двух связанных элементов:

• велосипедный шлем, на котором крепится инфракрасный излучатель и регистрирующая видеокамера, а также камера, которая снимает пространство перед испытуемым;
• портативный компьютер – ноутбук, на который ведется сбор данных и с помощью которого производится первоначальная калибровка.

Оба из указанных элементов установки соединены друг с другом эластичным кабелем длиною до 4 м. Соответственно, после того как испытуемый надел шлем, производится калибровка и ноутбук может быть помещен в рюкзак за спину испытуемого. В этом случае мобильность испытуемого ограничена исключительно возможной реакцией окружающих на столь необычное устройство.

С нашей точки зрения, несмотря на явные преимущества использования данной установки в прикладных исследованиях, имеется ряд моментов, ограничивающих ее применение. Во-первых, точностью производимой регистрации. Проблема заключается в том, что калибровка установки происходит путем определения некоторых меток, разнесенных в пространстве, относительно которых и происходит процедура калибровки. Но метрика пространства, в котором будет осуществляться свободное поведение испытуемого, в значительной мере может отличаться (по степени разнесенности и удаленности объектов друг относительно друга) от метрики, в которой была произведена калибровка. Во-вторых, поскольку такие элементы как излучатель и регистрирующая камера в данном типе установки находятся в непосредственной близости от «рабочего» глаза, они существенно ограничивают обзор пространства, расположенного чуть выше прямой линии взора. Это толкает испытуемых на неестественное вскидывание головы во время рассматривания окружающих объектов. Частично с этой же проблемой связана и другая. Нередки случаи, когда при экстремальных амплитудах глаз «уходит» из зоны видеорегистрации или зоны инфракрасной подсветки, и данные о направлении взора теряются. Однако главный недостаток использования данной установки связан с ограниченностью программного анализа данных. Они представляют собой видеофайл с отмеченной крестиком позицией взгляда испытуемого в каждом кадре. Анализ осуществляется путем покадрового просмотра видеофайла и ручного подсчета числа кадров, в которых взгляд испытуемого был направлен на интересующие экспериментатора объекты. Для облегчения анализа было бы крайне полезно наличие программного обеспечения, позволяющего автоматически работать с динамическими зонами интереса.

К сожалению, фирма SMI подобного программного обеспечения не производит. Нам известны две фирмы, разрабатывающие подобное обеспечение:

Autoliv Corporation (www.autoliv.com) – ее программное обеспечение ориентировано на выделение зон интереса, соответствующих отдельным автомобилям, при анализе видеозаписей с прибора, закрепленного на голове водителя;

Interactive Minds – производитель оборудования для регистрации движений глаз, частично конкурирующего с SMI. Как ни парадоксально, Interactive Minds не производит аналогов SMI HED, но в то же время в последней версии ее программного обеспечения NYAN 2.0 имеется возможность задания динамических зон интереса.

Установка iView X™ HED+HT является результатом поиска компромисса между точностью регистрации и мобильностью испытуемого. Установка состоит из блока-излучателя, который образует электромагнитное поле радиусом 1,5–2 м и мобильной системы регистрации, которая монтируется на велосипедном шлеме с датчиком, чувствительным к изменению электромагнитного поля (с изменением положения головы меняется соотношение сил в электромагнитном поле). До начала исследования экспериментатор должен точно задать области прямоугольной формы в пространстве электромагнитного поля, относительно которых будет вестись регистрация движений глаз и головы. Таких областей в принципе может быть много, но в рамках семинара мы имели дело с двумя плоскостями – экран монитора и плоскость стола перед ним. Основной недостаток данной системы регистрации движений глаз – затраты большого количества времени на наладку оборудования, высокая чувствительность оборудования к внешним электромагнитным влияниям и к случайному внезапному перемещению блока-излучателя в пространстве комнаты-лаборатории (в последнем случае нарушается изначально заданная система соотношений координат электромагнитного поля и заданных областей-плоскостей регистрации движений глаз и головы).

Ограничения, вызванные индивидуальными особенностями испытуемых

Все рассматриваемое оборудование оптимально работает на испытуемых с нормальным зрением, не корректируемым с помощью очков или контактных линз и не использующих тушь для ресниц. Очки (в особенности бифокальные), и в меньшей мере контактные линзы, вызывают появление дополнительных бликов, мешающих определению направления взгляда. Успех калибровки и получение качественных записей во многом зависит от умения и навыков экспериментатора. Накрашенные ресницы, увеличиваясь в объеме, частично перекрывают поле съемки видеокамеры, особенно когда взгляд испытуемого направлен в нижнюю часть экрана; помимо этого, тушь может отражать инфракрасный свет и, таким образом, дезориентировать регистрирующую систему новым бликом. Возможное решение указанных проблем состоит либо в выборе оптимального угла наклона регистрирующей камеры и исключении из анализа части снимаемого камерой кадра, либо в просьбе к испытуемым перед исследованием стирать макияж (последнее замечание справедливо, но во многом трудновыполнимо).

Особенности первичной обработки данных в окулографических исследованиях

Первый шаг в обработке полученных данных состоит в выделении основных видов движений глаз и их характеристик. В этом случае исследователь полагается на те возможности, которые ему предоставляет программное обеспечение системы, например, программа BeGaze компании SMI. Вероятно, мало кто из исследователей задается вопросом, какие принципы обработки данных были реализованы программистом в ходе написания подобных программ. Следуя принципу разделения труда, это, наверное, обосновано, если бы не одно «но». Выделение различных движений глаз из массива сырых данных чувствительно к тем предпосылкам, из которых вы (а точнее, программист) исходите при их обработке! Это прежде всего отражается в проблеме выделения саккад и фиксаций (информация о диаметре раскрытия зрачка и частоте морганий может быть получена непосредственно из «сырых» данных). При графическом отображении «сырых» данных фиксации визуально представляют собой сгущения регистрируемых позиций направления взгляда, а саккады – четко различимые прямые или ломаные линии, соединяющие фиксации. Для автоматического определения саккад и фиксаций используется ряд различных алгоритмов, результаты работы которых могут существенно различаться. Кроме того, результаты работы одного и того же алгоритма  могут различаться в зависимости от  заданных оператором значений управляющих параметров. Таким образом,  воспроизведение экспериментальных результатов требует информации об использованном исследователем алгоритме и значениях управляющих параметров. Данная информация  обязательно должна присутствовать в публикации. Положение осложняется тем, что далеко не всегда исследователям известны алгоритмы детекции фиксаций, используемые в конкретном коммерческом программном обеспечении. Вследствие этого мы кратко хотели бы осветить различные виды существующих алгоритмов выделения фиксаций и саккад.