Система регистрации движений глаз SMI High Speed: особенности использования

Характеристики системы SMI High Speed

Система SMI High Speed (Демидов, Жегалло, 2008) использует принцип видеореги­страции движений глаз, при которой направление взгляда определяется на основе вектора смещения между позициями центра зрачка и роговичного блика (Pupil–CR метод); частота регистрации в монокулярном режиме составляет 1250 или 500 Гц; в бинокулярном режи­ме – 500 Гц; разрешающая способность 0,01^о; типичная точность определения направления взгляда – 0,25 – 0,5^о; диапазон линейности ±30^опо горизонтали, 30^о вверх, 45^овниз. В состав системы входит программное обеспечение, предназначенное для предъявления стимульно­го материала (Experiment Center), регистрации данных (iView X) и анализа результатов эксперимента (BeGaze). В настоящее время большой опыт практической работы с системой позволяет сформулировать ряд дополнительных рекомендаций.

Предъявление стимульного материала

Для организации предъявления стимульного материала в состав системы входит программное обеспечение Experiment Center. С его помощью можно последовательно по­казывать текст, статические изображения и видеофрагменты. Поскольку минимальное вре­мя экспозиции статического изображения составляет 500 мс, предъявление изображений с более коротким временем экспозиции возможно лишь в случае использования допол­нительного программного обеспечения. При необходимости предъявления сложных сти­мульных последовательностей с коротким временем экспозиции отдельных изображений система SMI рекомендует использовать ПО Presentation фирмы Neurobehavioral Systems (http://www.neurobs.com/). Однако следует отметить, что наши попытки использовать указанное выше программное обеспечение для проведения тахистоскопических исследо­ваний (Жегалло, 2006; Барабанщиков, Демидов, 2008) выявили ряд проблем: крайне не­привычный (по сравнению с Pascal и С) язык программирования сценариев, низкая (для коммерческой программы) точность экспозиции – плюс-минус кадр развертки, отсутствие поддержки русских шрифтов. Таким образом, использование ПО Presentation не представ­ляется нам целесообразным. Информационный поиск показал, что в Cognition and Brain

Sciences Unit (CBU) (Кембридж) совместно с системами видеорегистрации движений глаз SMI используют ПО E-Prime фирмы Psychology Software Tools (http://www.pstnet.com/). Предварительное знакомство с E-Prime показало, что программа характеризуется высо­кой стабильностью времени экспозиции (на последовательности из 100 предъявлений по 50 мс отклонений от заданного времени экспозиции не обнаружено). На сайте CBU (http:// imaging.mrc-cbu.cam.ac.uk/meg/EyeTrackingWithEprime) достаточно подробно описаны принципы коммуникации между E-Prime и ПО iView X, обеспечивающим сбор данных на системах SMI. Коммуникация осуществляется с использованием системы команд iView

X Remote Commands. В настоящее время мы видим два пути решения проблемы предъ­явления стимульного материала: либо приобретение лицензионной версии программы E-Prime (эксперимент в этом случае представляет собой программу на внутреннем языке E-Prime), либо разработка собственного программного обеспечения. Основная проблема в обоих случаях связана с необходимостью использования системы команд iView X Remote Commands.

Моргания и детекция фиксаций

К сожалению, алгоритм детекции морганий, используемый программным обеспече­нием, входящим в состав системы SMI High Speed, не документирован. Сопоставление ис­ходных данных и их дешифровки, выполненной средствами штатного ПО, позволяет сде­лать следующие выводы.

В состав моргания включаются непосредственно предшествующие ему, а также не­посредственно следующие за ним временные интервалы с корректными данными продол­жительностью около 10 мс. Данный прием позволяет исключить из обработки переходные процессы, в ходе которых направление взгляда определяется корректно, но величина рас­крытия зрачка оказывается несколько меньше нормальной. Таким образом, система позво­ляет получать корректную информацию о средней величине раскрытия зрачка.

Относительно продолжительный интервал, в ходе которого регистрируется практи­чески непрерывное отсутствие данных, при обработке может быть разделен на несколько отдельных событий «моргание». Так, например, непрерывный интервал в 854 мс, в ходе ко­торого корректные данные о направлении взгляда отсутствовали, система обработки раз­делила на 11 событий «моргание» продолжительностью от 23 до 218 мс.

Пример. Фрагмент последовательности событий, выделенных ПО SMI High Speed, включающий две группы последовательных событий Blink (моргание).

Для событий Fixation включена следующая информация: глаз, с которого про­изводится регистрация (всегда L), номер пробы (всегда 1); номер события; абсолют­ное время начала события (микросекунды); абсолютное время конца события (микро­секунды); продолжительность события (микросекунды); X-координата (пиксели экра­на); Y-координата (пиксели экрана); дисперсия по X (пиксели экрана); дисперсия по Y (пиксели экрана).

Для событий Blink включена следующая информация: глаз, с которого производится регистрация (всегда L), номер пробы (всегда 1); номер события; абсолютное время начала события (микросекунды); абсолютное время конца события (микросекунды); продолжи­тельность события (микросекунды).

Таким образом, система позволяет получить корректную информацию об общей про­должительности морганий (периодов отсутствия корректных данных), но не об их числе и продолжительности отдельных событий.

Кратковременная (2–4 мс) частичная окклюзия зрачка, при которой определение центра зрачка и позиции роговичного блика остается возможным, не рассматривается си­стемой как моргание. При этом, однако, происходит резкое изменение Y–координаты цен­тра зрачка. В случае использования алгоритма детекции Velocity Threshold Identification (Salvucci, Goldberg, 2000), выделяющего саккады как фрагменты трассы, характеризующие­ся высокой угловой скоростью перемещения, такая частичная окклюзия приводит к искус­ственному разбиению продолжительной фиксации на несколько более коротких. При этом минимальная продолжительность таких искусственно выделенных фиксаций при частоте регистрации 500 Гц составляет 3 мс. Данная проблема обсуждалась в ходе семинара, прово­дившегося ООО «Нейроботикс» (дилером фирмы SMI) 28 октября в Институте проблем передачи информации им. А. А.Харкевича, где представитель фирмы SMI Кристиан Лаппе признал факт ее наличия и добавил, что в ближайшее время SMI предполагает перейти к использованию нового адаптивного алгоритма детекции саккад и фиксаций, предложен­ного Marcus Nystrom и Kenneth Holmqvist, сотрудниками Lund Humanities Lab (Nystrom, Holmqvist, 2009). В настоящее время на сайте Lund Humanities Lab доступна предваритель­ная версия публикации, описывающей данный алгоритм, а также реализующая его про­грамма для пакета Mathlab.

В качестве временной меры (до перехода к использованию нового адаптивного алгоритма) мы предлагаем отказаться от использования алгоритма Velocity Threshold Identification и использовать более стабильно работающий Dispersion Threshold Identification алгоритм (однако необходимо отметить, что основным его недостатком является невозмож­ность получения детальной информации о динамике саккад).

Процедура калибровки

Процедура калибровки представляет собой последовательное предъявление на экра­не точек калибровки. При этом испытуемый должен фиксировать взгляд на предъявляемой точке калибровки. Таким образом, система получает информацию, как соотносить поло­жение зрачка на изображении, регистрируемом видеокамерой, с направлением взгляда ис­пытуемого. Необходимым условием успешной калибровки является отсутствие окклюзий зрачка в случае, когда взгляд направлен на края рабочей области (экрана). Эксперимента­тор должен визуально (по видеоизображению глаза) контролировать отсутствие окклюзий при проведении процедуры калибровки.

Первоначально система SMI High Speed работала с программным обеспечением iView X 2.0 и Experiment Center 2.0. Недостаток этой версии ПО заключался в том, что система выдавала только среднюю точность калибровки по всему набору калибровочных точек, а информация о точности калибровки для каждой из точек по отдельности была недоступна, в результате чего возникают значительные отклонения направления взгляда от централь­ной фиксационной точки (согласно данным проводившихся нами экспериментов).

По нашей просьбе ООО «Нейроботикс» выполнило замену ПО iView X и Experiment Center на версию 2.2, позволяющую, в частности, осуществлять визуальный контроль каче­ства калибровки по отдельности для каждой из калибровочных точек.

К сожалению, в документации к iView Remote Commands отсутствует описание, ка­ким образом можно получить детальную информацию о качестве калибровки. Выполнен­ный нами анализ протокола взаимодействия между ПО iView X и Experiment Center пока­зал, что для этой цели используется недокументированная команда ET_CAQ.

Следует отметить, что помимо калибровки направления взгляда система предусма­тривает также проведение калибровки по диаметру зрачка. Для этой цели необходимо ис­пользовать круглый тест-объект известного диаметра, находящийся в позиции, соответ­ствующей глазу испытуемого. По-видимому, оптимальным решением в данном случае было бы крепление тест-объекта к искусственной голове.

Обработка экспериментальных данных

После проведения экспериментальных исследований встает проблема обработки экс­периментальных данных. Одним из способов такой обработки является расчет статистики по зонам интереса. На рассматриваемом испытуемым статическом изображении исследова­тель выделяет зоны интереса в соответствии с имеющимися у него гипотезами исследования, а затем для каждой экспериментальной ситуации выполняет расчет интересующих его показателей (общее время рассматривания, число фиксаций, средняя продолжительность фиксаций, средняя величина раскрытия зрачка и т. д.) для каждой из выделенных зон инте­реса.

ПО BeGaze, поставляемое с системой SMI High Speed, в целом позволяет решить дан­ную задачу, однако при попытке обработки экспериментальных данных мы столкнулись с рядом проблем:

Во-первых, производительность BeGaze 2.2 при обработке относительно большого объема экспериментальных данных (выборка из 31 человека, время записи для каждого из испытуемых около 7 мин, суммарный объем первичных файлов данных – 450 Mb) ока­залась крайне низкой, продолжительность отдельных операций доступа к данным состав­ляла несколько минут. Поскольку мы располагаем единственной лицензией на BeGaze и не можем перенести ее на другой компьютер без нарушения функциональности системы (один и тот же ключ защиты используется BeGaze и Experiment Center), одновременное проведение экспериментов и обработка ранее полученных результатов становятся невоз­можными.

Во-вторых, BeGaze 2.2 не позволяет при нанесении зон интереса использовать уве­личение изображения более 1:1, что делает весьма затруднительным обеспечение точного нанесения относительно небольших зон интереса.

В-третьих, включение в анализ отдельных экспериментальных ситуаций возможно только вручную в интерактивном режиме, что при большом объеме выборки (31 испытуе­мый, по 63 экспериментальных ситуации для каждого) оказывается крайне неудобно.

В-четвертых, окончательная статистическая обработка предполагает экспорт дан­ных из BeGaze и последующее использование стандартных статистических пакетов (SPSS, Statistica и т. п.). Для выполнения этой операции необходимо перенести экспор­тированные данные на другой компьютер, поскольку установка дополнительного про­граммного обеспечения на компьютер, работающий в составе установки SMI High Speed, нежелательна.

С целью оптимизации процедуры обработки нами была разработана следующая ме­тодика:

1.    Первичные экспериментальные данные конвертируются из формата iView Data File в текстовый формат с помощью утилиты IDF Converter, входящей в состав ПО, постав­ляемого с системой SMI High Speed.

2.    Сквозная детекция фиксаций в массиве полученных файлов выполняется с помо­щью написанной нами программы, использующей алгоритм детекции Dispersion Threshold Identification (при создании программы был использован исходный код референсной реализации алгоритма, входящий в состав системы регистрации движений глаз Eye gaze Analyzing System фирмы Interactive Minds). Параметры работы алгоритма: минимальная продолжительность фиксации – 50 мс, максимальная дисперсия – 20 пикселей. Из анализа предварительно исключаются периоды отсутствия корректных данных. Фиксации, относя­щиеся к двум соседним изображениям, искусственно разделяются на две части (фрагменты фиксаций продолжительностью менее 50 мс отбрасываются). Результатом работы является сводный файл, включающий в себя информацию о всех фиксациях (позиция, продолжи­тельность, средняя величина раскрытия зрачка, номер испытуемого, номер предъявленного изображения). Размер сводного файла составляет 2 Mb.