ETRAN: расширяемое программное обеспечение для визуализации и анализа данных видеоокулографии*

465

Аннотация

Работа посвящена описанию бесплатно распространяемой и расширяемой информационно¬аналитической системы с открытым исходным кодом, которая предназначена для анализа данных видеоокулографии. В статье рассмотрены основные методы и функции ядра системы, автоматизирующие решение задач загрузки данных айтрекинга, их анализа (фильтрации, сглаживания, детекции событий, оценки показателей событий и пр.) и визуализации. Кроме описания актуального состояния разрабатываемого программного обеспечения, авторы также приводят план доработок функциональных возможностей системы, необходимых для ее оптимизации.

Общая информация

* Публикация подготовлена в рамках поддержанного РГНФ научного проекта № 14-06-12012 «Программное обеспечение с открытым исходным кодом для анализа результатов окулографических исследований».

Ключевые слова: айтрекинг (eyetracking), статистическое ПО, детекция и анализ окуломоторных событий, язык программирования R

Рубрика издания: Инструментарий

Тип материала: научная статья

DOI: https://doi.org/10.17759/exppsy.2016090110

Для цитаты: Мармалюк П.А., Юрьев Г.А., Жегалло А.В., Поляков Б.Ю., Панфилова А.С. ETRAN: расширяемое программное обеспечение для визуализации и анализа данных видеоокулографии // Экспериментальная психология. 2016. Том 9. № 1. С. 131–144. DOI: 10.17759/exppsy.2016090110

Полный текст

 

МАРМАЛЮК П. А.*, Московский городской психолого-педагогический университет, Москва, Россия, e-mail: pavel.marmalyuk@gmail.com

ЮРЬЕВ Г.А.” Московский городской психолого-педагогический университет, Москва, Россия, e-mail: g.a.yuryev@gmail.com

ЖЕГАЛЛО А.В”*,Московский городской психолого-педагогический университет, Москва, Россия, e-mail: zhegs@mail.ru

ПОЛЯКОВ Б.Ю””,Московский городской психолого-педагогический университет, Москва, Россия, e-mail: deslion@yandex.ru

ПАНФИЛОВА А. С.*****, Московский городской психолого-педагогический университет, Москва, Россия, e-mail: panfilova87@gmail.com

Работа посвящена описанию бесплатно распространяемой и расширяемой информационно­аналитической системы с открытым исходным кодом, которая предназначена для анализа данных ви- деоокулографии. В статье рассмотрены основные методы и функции ядра системы, автоматизирующие решение задач загрузки данных айтрекинга, их анализа (фильтрации, сглаживания, детекции событий, оценки показателей событий и пр.) и визуализации. Кроме описания актуального состояния разрабатываемого программного обеспечения, авторы также приводят план доработок функциональных возможностей системы, необходимых для ее оптимизации.

Введение

В настоящей работе представлено описание бесплатно распространяемой и расширяемой программной системы с открытым исходным кодом ETRAN (Eye Tracking Results ANalyser), которая разрабатывается в рамках предложенной авторами концепции реализации информационно-аналитических систем, применяемых в области анализа данных виде­оокулографии (Мармалюк и др., 2015; Юрьев, Панфилова, Мармалюк, 2015; Zhegallo, Маг- malyuk, 2015). Данная программная система учитывает основные требования, предъявляемые к аппаратно-программному обеспечению видеоокулографического исследования, а именно:

-   кроссплатформенность, предполагающая возможность установки на любом современном ПК;

-   реализация статистических критериев и многомерных методов для анализа результатов обработки траекторий взора в составе системы;

-   возможность подключения дополнительных модулей расширения функциональности без изменения ядра системы;

-   наличие интуитивно понятного графического интерфейса с элементами диалога, снимающее ограничения на уровень навыков программирования, необходимых для использования системы;

-   открытость системы, обеспечивающая, во-первых, доступ к программному коду системы для экспертного анализа, и, во-вторых, воспроизводимость результатов анализа.

Многочисленные аналоги - открытые и проприетарные программные решения в области анализа данных видеоокулографического эксперимента, перечень и сравнительный анализ которых представлены в статье (Мармалюк и др., 2015), - не в полной мере учитывают вышеозначенные требования и не являются законченными с точки зрения функционального соответствия огромному количеству типовых аналитических задач, возникающих в процессе научно-исследовательской работы: каждый этап анализа данных предполагает работу с большим массивом информации, включающей как файлы с набором показателей (текстовые файлы с разделителями, xml-файлы, базы данных и т. п.), так и данные о способах их расчета. Например, только разновидностей алгоритмов обнаружения (детекции) окуломо­торных событий насчитывается более десяти наименований, а если учесть различные их эвристические модификации, то получится еще более внушительное число. Поэтому создание универсальной системы, включающей большинство способов обработки информации и позволяющей эффективно структурировать и анализировать данные, является актуальной задачей современной компьютерной видеоокулографии. Во многих прикладных системах (но не в системах, используемых для анализа данных видеоокулографии) используется модульная архитектура, облегчающая расширение функциональности путем либо прямого добавления новых алгоритмов в программный код (что затруднительно сделать без участия разработчиков системы), либо подключения так называемых плагинов (plug-ins) посредством использования заранее подготовленного разработчиками системы программного и пользовательского интерфейса. При этом компоненты базовой версии системы, предоставляемой разработчиками, можно рассматривать как ядро системы, включающее:

-   структуры данных, соответствующие элементам и связям формализованной модели данных предметной области, описывающие, в том числе, характер эксперимента, его участников (испытуемые и экспериментаторы), используемые стимулы, зарегистрированные данные, типовые результаты их обработки, внешние факторы и многие другие;

-       методы и функции, позволяющие полноценно работать с экспериментальными данными: методы импорта и предобработки данных, формирования подвыборок; специфические алгоритмы анализа данных, алгоритмов расчета производных показателей окуло­моторных событий, реализации статистических критериев и средств многомерного анализа и др.

Архитектура разрабатываемой системы ETRAN соответствует описанному подходу (программная система с ядром, расширяемым за счет плагинов), который успешно применяется во многих современных системах анализа данных, таких как Microsoft Excel, IBM SPSS, SAS (Der, Everitt, 2015), SciDAVis (SciDAVis, 2015), однако еще не был реализован в рассматриваемой предметной области. Система разрабатывается в рамках парадигм объектно­ориентированного и функционального программирования, что обеспечивает ее структури­рованность, модульность и прозрачность программного кода и таким образом облегчает процесс ее сопровождения и модификации, в частности, для сторонних разработчиков.

Первый полноценный прототип системы планируется создать к концу 2016 г., однако уже сейчас заинтересованным потенциальным пользователям доступен публичный ре­позиторий проекта (Eye Tracking Project, 2016), в котором представлены: исходный программный код, реализующий структуру классов объектов системы, ее методы и функции (описанные ниже), наброски пользовательской и технической документации, а также раздел «Issues», в котором заинтересованный пользователь может создать запрос на разработку того или иного функционала.

Анализ содержания докладов профильных конференций и статей, посвященный результатам фундаментальных и прикладных исследований, в том числе поисковых, проводимых с использованием метода видеоокулографии, позволяет утверждать, что разрабатываемая система будет востребована широким кругом специалистов в области экспериментальной и дифференциальной психологии, маркетинга, эргономики, педагогики, лингвистики и ряда других направлений.

Основное внимание в данной статье уделено описанию конкретных методов и алгоритмов обработки данных, а также в ней обсуждаются методические вопросы, связанные с их применением, например, вопрос обязательного включения в анализ этапа предобработ­ки и фильтрации данных, вопрос о необходимости учета и анализа влияния различных факторов на конечный результат (в том числе настроек алгоритмов) и др.

Основные методы и функции ядра системы

В данном разделе представлено описание основных методов и функций ядра системы, разработанных на настоящий момент. Методы ядра решают задачи загрузки данных ай- трекинга в систему, их анализа (фильтрации, сглаживания, детекции событий, оценки показателей событий, оценки статистик данных комплексного наблюдения) и визуализации.

В системе по умолчанию используется метод загрузки данных айтрекинга, считывающий их из текстовых файлов: временные ряды, содержащие значения моментов времени, координат взора, величин раскрытия зрачка, а также дополнительную информацию - код испытуемого, которому соответствует файл, размеры стимула, номера испытаний и т. п. Предполагается, что данные представлены в виде текстовых файлов с разделителями, позволяющими структури­рованно хранить табличные данные (каждый временной ряд - это столбец таблицы). Данный способ хранения данных является стандартным и поддерживается (в рамках функций экспорта) во всех системах регистрации и анализа глазодвигательной активности (ГДА).

При загрузке данных система позволяет установить соответствие между номерами столбцов таблицы и видами данных, которые они содержат. Такой способ организации данных представляется более эффективным, нежели иные распространенные формы подачи, при которых данные экспортируются в табличный формат и размещаются в случайном порядке. Такой прием обеспечивает универсальность стандартного загрузчика.

Помимо данных айтрекинга в систему с помощью метода загрузки значений факторов могут быть загружены таблицы значений факторов испытуемых, испытаний, стимулов и наблюдений. При загрузке этих данных пользователь указывает на расположение файла данных, указывает необходимые сведения о факторах (шкала измерения, наименования уровней для номинальных и порядковых факторов), а также указывает на расположение столбца идентификаторов испытуемых (испытаний или стимулов), которым соответствуют наборы значений факторов.

При загрузке в систему стимульного материала (с помощью специального метода загрузки стимула), который на данном этапе разработки может быть представлен набором изображений, пользователь указывает место расположения файла стимула и наименование стимула. Для загруженных стимулов в системе могут быть заданы области интереса.

Методы предобработки и анализа данных

Перед использованием большинства методов анализа данных айтрекинга обычно осуществляют их предобработку. В системе реализованы основные необходимые для предо­бработки данных функции и методы, выполняющие фильтрацию артефактов и сглаживание траектории, а также выражающие координаты позиций взора в угловых градусах для корректного сопоставления результатов, полученных в различных экспериментах. Фильтры позволяют выявлять в записи точки с нулевыми координатами, а также точки, выходящие по координатам за пределы стимульного материала. В системе реализованы такие алгоритмы сглаживания, как метод скользящего среднего, метод скользящей медианы и метод Савицкого-Голэя (Savitzky, Golay, 1964).

Скользящее среднее (или медиана) в точке вычисляется как среднее арифметическое (или медиана) значений анализируемого временного ряда в определенной временной окрестности точки, степень сглаживания напрямую зависит от величины окрестности. Расчет производится последовательно во всех точках записи, а результат рассматривается как сглаженная версия исходного временного ряда. Преимуществами скользящего среднего и медианы является простота интерпретации результата и корректная работа при наличии тренда в данных. Медиана же является более устойчивой к выбросам мерой центральной тенденции, поэтому ее рекомендуется использовать в случае большого количества одиночных артефактов в записи. Устранимыми (эвристически) недостатками скользящего среднего и медианы является эффект запаздывания оценок, а также краевые эффекты (меньшая надежность результата сглаживания по краям записи, обусловленная меньшим числом усредняемых значений ряда).

Метод Савицкого-Голэя, или цифровой фильтр Савицкого-Голэя, в отличие от многих других методов сглаживания, при правильном подборе параметров позволяет извлекать полезную информацию из зашумленных экспериментальных данных без существенных искажений локальных особенностей временного ряда (экстремумы, фронты и спады). Суть метода заключается в том, что по анализируемому ряду, как и в методе скользящего среднего, «пробегает» временное окно, внутри которого эмпирическая зависимость аппроксимируется с помощью полинома заданного невысокого порядка, начиная с квадратичной функции (параболы). Результат аппроксимации - гладкая дифференцируемая функция, из которой путем дискретизации выбираются значения, соответствующие моментам времени, в которые фиксировались отсчеты исходного сигнала (окулограммы). Таким образом, данный метод является расширенным аналогом локальной полиномиальной регрессии (Дрейпер, Смит, 2007). Основным преимуществом метода является его способность сохранять особенности исходного сигнала, такие как положение и ширина локальных максимумов и минимумов, обычно огрубляемые при использовании других техник скользящего сглаживания (например, скользящего среднего). Это очень важное преимущество в плане точности детекции окуломоторных событий, поскольку пики угловой скорости, рассчитываемой по сглаженным исходным данным, определяют временнг/ю локализацию окуломоторных событий. Недостатком метода является необходимость экспериментального подбора параметров для оптимальной фильтрации конкретного вида данных.

Рассмотрим теперь реализованные подходы к оценке скоростей и ускорений движения взора по поверхности стимула (в том числе угловых, рассчитываемых по последовательностям позиций взора, выраженных в угловых градусах относительно начала координат — левого верхнего угла монитора или выбранной референтной точки). Соответствующие графики скоростей или ускорений необходимы, например, для визуальной оценки корректности работы детектора событий. В системе реализовано два подхода: конечно-разностная аппроксимация и оценка скорости и ускорения как первой и второй производной аппроксимирующего полинома (с использованием возможностей метода Савицкого-Голэя). При конечно-разностной аппроксимации скорость (моментальная) в точке траектории оценивается как отношение пути между этой точкой и следующей за ней ко времени, прошедшему с момента регистрации первой точки до момента регистрации второй точки. Ускорение оценивается при этом как отношение прироста моментальной скорости к соответствующему приросту времени. Такие оценки наиболее просты, но не являются самыми надежными и точными в силу высокой степени влияния на них возможных шумов. При использовании оценок скорости и ускорения по методу Савицкого—Голэя выполняется сначала аппроксимация данных, как было описано выше, а затем аналитическое взятие производной от аппроксимирующих полиномов. В результате дифференцирования, например, полинома второй степени мы получаем линейную функцию, выражающую зависимость скорости движения взора от времени, а в результате повторного дифференцирования получаем такой показатель, как константа ускорения (на анализируемом участке записи). Таким образом, оценки скорости и ускорения этим методом являются более надежными, поскольку при аппроксимации учитываются несколько точек в окрестности, определяемой шириной скользящего окна.

В системе ETRAN реализован абстрактный метод детекции событий, позволяющий обнаруживать окуломоторные события в траекториях движения взора по поверхности сти­мульного материала. На настоящий момент метод позволяет использовать для обнаружения событий несколько алгоритмов детекции: алгоритм идентификации событий по порогу скорости IVT (Salvucci, Goldberg, 2000), IVT с пост-обработкой (Tobii, 2010), адаптивный IVT (Nystrom, Holmqvist, 2010), алгоритм идентификации событий по порогу дисперсии IDT (Salvucci, Goldberg, 2000). В результате работы каждого алгоритма к данным соответствующей траектории добавляются специальные метки, указывающие номер и вид события, к которому относится та или иная точка траектории. Указанные метки используются в дальнейшем как для визуализации событий на графиках, так и для разбиения траектории на участки, по которым рассчитываются показатели событий. Теперь опишем особенности реализованных алгоритмов детекции.

Алгоритм IVT - классический алгоритм, основанный на пороговой скорости. Используется, как правило, при обработке данных, записанных с высокой частотой регистрации (500 Гц и более). Для каждых из двух соседних точек траектории взора рассчитывается мгновенная угловая скорость. Участки данных, для которых мгновенная скорость превышает заданный порог (как правило, больший 30 °/с), рассматриваются как саккады, остальные участки - как фиксации. Более сложный вариант алгоритма предполагает также расчет мгновенного ускорения, в таком случае к саккадам относятся участки данных, для которых как скорость, так и ускорение превышают пороговые значения. Недостатком такой реализации является порождение сверхкоротких артефактных фиксаций, связанных с частичной окклюзией зрачка (Барабанщиков, Жегалло, 2013) и другими факторами (например, на рис. 1 видно, что последовательно идущие саккада и глиссада распознаны как две сак­кады с очень короткой фиксацией в промежутке). Также существуют реализации алгоритма с детальной постобработкой результатов детекции (Olsen, 2012): заполнением пропусков путем линейной интерполяции пропущенных точек траектории, объединением близких во времени и пространстве фиксаций, удалением коротких фиксаций и прочими эвристическими приемами.

Адаптивный IVT - относительно новый алгоритм детекции, отличающийся от ставшего классическим IVT тем, что позволяет избежать ручного выбора ряда параметров де­текции, среди которых основным является порог угловой скорости движения взора, отделяющий саккадические движения от фиксаций. Параметры детекции выбираются исходя из специфики обрабатываемых данных. Данный алгоритм позволяет помимо фиксаций и саккад выделять также и глиссады - низкоамплитудные корректирующие саккады (см. рис. 1). Моргания относятся алгоритмом к артефактам записи, т. е. не отделяются от «выбросов» и пропусков. Адаптивный алгоритм IVT в качестве объекта анализа использует временной ряд моментальных скоростей, оцененных методом Савицкого—Голэя. Помимо сглаживания, из анализа исключаются точки траектории с аномальными значениями моментальной угловой скорости (>1000 °/с) и ускорения (>100000 ° /с), а также точки взора с нулевыми координатами. Работа алгоритма разделяется на пять основных последовательных этапов: фильтрация и удаление артефактов, определение пиков саккад, обнаружение начала и конца каждой саккады, обнаружение глиссад, обнаружение фиксаций. При выделении сак­кад также учитывается их минимально допустимая продолжительность. В качестве фиксаций алгоритм выделяет участки данных, которые не являются артефактами, саккадами или глиссадами. Математические подробности данного алгоритма рассмотрены в статье его создателей (Nystrom, Holmqvist, 2010).

В отличие от алгоритмов, основанных на анализе скорости перемещения взора, алгоритм IDT учитывает тот факт, что точки фиксации находятся достаточно близко друг к другу в пространстве стимула. Алгоритм имеет два настроечных параметра: минимальную продолжительность фиксации и пороговую дисперсию. Фиксациями считаются фрагменты данных, продолжительность которых не меньше минимальной заданной, а дисперсия не больше максимального порога. Остальные данные относятся к саккадам. При относительно малом значении пороговой дисперсии выделение фиксаций алгоритмом IDT оказывается практически невозможным в силу воздействия шумов. При увеличении значения пороговой дисперсии число выделенных фиксаций сначала возрастает, а затем начинает сокращаться, так как соседние фиксации сливаются в одну большую. Типичные значения параметров детекции: порог дисперсии — 0,5-1°, минимальная продолжительность фиксации - 50 мс. Результатом работы алгоритма является последовательность меток, обозначающих фиксации и саккады. Алгоритм применяется, как правило, при обработке данных, записанных с низкой частотой (Барабанщиков, Жегалло, 2013).

 


Puc. 1. Пример результатов детекции окуломоторных событий, полученных с помощью алгоритмов IVT, адаптивного IVT и IDT при рекомендованных в литературе настройках

 

По участкам траектории взора, рассматриваемым в результате детекции в качестве тех или иных окуломоторных событий, с помощью специального метода анализа событий могут быть рассчитаны различные качественные и количественные показатели отдельных событий. Такие пространственные показатели, как длина, амплитуда, разброс и т. п., могут быть рассчитаны как в пикселях, так и в угловых градусах. Скоростные показатели аналогично рассчитываются с учетом единиц измерения показателей длины пути. В системе на данный момент доступны подфункции для расчета следующих показателей:

1)  моменты времени начала и конца события относительно начала испытания, а также длительность события;

2)  горизонтальные и вертикальные координаты точки взора на момент начала и конца события - актуально для саккад и глиссад;

3)  горизонтальная и вертикальная «амплитуды» события, рассчитываемые как абсолютные величины разницы соответствующих координат на момент начала и конца события, а также пространственная «амплитуда», рассчитываемая как евклидово расстояние от точки взора на момент начала до точки взора на момент конца события - актуально для сак­кад и глиссад;

4)  горизонтальная и вертикальная координаты центра масс, рассчитываемые как средние значения координат точек взора, относящихся к событию;

5)  горизонтальный и вертикальный разбросы, рассчитываемые как стандартные отклонения координат точек взора, относящихся к событию, а также радиус, рассчитываемый как среднее евклидово расстояние от всех точек взора до центра их масс;

6)  длина пути участка траектории, относящегося к событию, которая рассчитывается как сумма длин всех отрезков участка, образуемых смежными точками взора;

7)  безразмерная кривизна участка траектории, которая рассчитывается как отношение длины пути к пространственной амплитуде события;

8)  пиковые скорость, ускорение и торможение на участке траектории — параметры, необходимые для анализа саккад и глиссад;

9)  асимметрия саккады, характеризующая соотношение продолжительности фаз ускорения и торможения во время саккады;

10)  ориентация саккады, определяемая углом между вектором саккады (вектор, началом которого является позиция первой точки саккады, а концом - позиция последней) и горизонтальной осью системы координат стимула;

11)             среднее значение и стандартное отклонение величины раскрытия зрачка.

Могут быть также рассчитаны статистические показатели, характеризующие наблюдение в целом. В системе на данный момент доступны подфункции для расчета следующих показателей:

1)   общая длительность траектории (в испытании);

2)  длина траектории как сумма длин всех отрезков, образуемых смежными точками взора;

3)    среднее значение величины раскрытия зрачка;

4)    стандартное отклонение величины раскрытия зрачка;

5)   общее количество событий.

Добавление в систему программных функций расчета любых других показателей не составляет труда: пользователю необходимо лишь дополнить соответствующий файл определением функции его расчета на языке программирования R. Необходимый функционал может быть создан и добавлен в систему силами штатных специалистов или силами самого экспериментатора при должной подготовке и знании формата данных, передаваемых системой ETRAN в функцию. При этом отсутствует необходимость в модификации программного кода ядра системы ETRAN, так как определение функции автоматически подключается системой при условии корректности ее реализации. В системе ETRAN также предусмотрена возможность подключения пользовательских функций через стандартные формы графического пользовательского интерфейса приложения.

Методы визуализации

Визуальный анализ данных окулографии является мощным средством разведочного анализа. Кроме того, аккуратная инспекция графиков исходных данных позволяет обнаружить наличие шумов и артефактов в записи. Просмотр, например, графика изменения угловой скорости движения взора, в котором различные участки размечены с учетом обнаруженных окуломоторных событий, позволяет оценить корректность работы алгоритма де­текции или заданных настроек.

В разрабатываемой системе будет реализовано порядка шести видов графиков (как для отображения данных айтрекинга, так и для визуализации распределений результирующих параметров и статистических зависимостей), часть из которых будет поддерживать опции динамического воспроизведения (последовательного отображения графиков, построенных по локальным во времени участкам траектории) и группового отображения, когда на график или диаграмму наносятся данные нескольких наблюдений: например, несколько фазовых траекторий поверх одного стимула.

На данный момент в системе реализованы методы для построения таких видов графиков, как фазовая траектория (точечная диаграмма координат позиций взора - левая диаграмма на рис. 2) и временной ряд (график, отражающий изменение некоторой одномерной характеристики во времени - правый график величины раскрытия зрачка на рис. 2 и график моментальной скорости на рис. 3). Фазовая траектория может быть отрисована поверх стимульного материала, а ее точки могут быть раскрашены в соответствии с окуломо­торным событием, которое они образуют. График вида «временной ряд» позволяет отображать как динамику позиции взора, скорости движения взора, ускорения движения, величину раскрытия зрачка, так и любые другие данные, загруженные в систему извне в качестве дополнительных (например, динамика позиции центра зрачка в кадрах, регистрируемых айтрекером и т. п.

Рис. 2. Фазовая траектория взора в координатах стимульного материала (слева) и участок временного ряда величины раскрытия зрачка (справа)

Рис. 3. Угловая скорость движения взора по плоскости стимула

Планируемые доработки

Выше были описаны основные методы и функции обработки и визуализации данных, применяемые в программной системе ETRAN и предполагающие детекцию экспериментальных событий и проведение разведочного визуального анализа. Однако необходимо также уделить внимание дополнительным функциям программы, которые позволяют на основании применения строгих статистических критериев и методов анализа проверять различные исследовательские гипотезы. В данном разделе описываются необходимые с точки зрения авторов функции, находящиеся в разработке.

Очевидна востребованность функции подключения к системе внешних пользовательских модулей, обеспечивающих, например, загрузку данных из произвольных внешних источников (баз данных, XML- или JSON-файлов и т. п.), детекцию нестандартных окуломо­торных событий или тот или иной метод фильтрации.

При работе с большим числом наблюдений (от 30) немаловажна функция формирования подвыборки по заданным критериям, позволяющая как отыскать тот или иной результат эксперимента, так и выполнить анализ только конкретной части данных. Таким критерием может быть возраст или пол испытуемых, отдельные характеристики ГДА, принадлежность к некоторому кластеру событий и т. д. Фильтры данных вкупе с возможностями групповой визуализации откроют еще больше возможностей для разведочного визуального анализа.

Также в состав разрабатываемой программной системы, как и в состав ее аналогов, входят стандартные функции построения специализированных графиков: «путь сканирования» (scanpath) и «тепловая карта» (heatmap).

Для того чтобы рядовой пользователь мог создавать нужные области интереса, необходим графический редактор, позволяющий буквально рисовать области поверх стимуль­ного материала с помощью набора специализированных инструментов (прямоугольник, квадрат, эллипс, круг, многогранник, регулярная сетка и т. п.). Прототип модуля редактора уже реализован на языке JavaScript как внешний компонент системы и проходит этап тестирования и внедрения в систему ETRAN. Он может быть использован и для размещения областей интереса на кадрах видеозаписи.

Разрабатываемая система рассматривается, в том числе, и как средство выборочного статистического анализа данных айтрекинга. Статистический анализ подразумевает как анализ распределений одномерных показателей ГДА, так и анализ их взаимосвязей с внешними факторами. Учитывая, что в системе реализована функция загрузки значений внешних факторов испытуемых, стимулов и испытаний, а возможности языка R для статистических вычислений, без сомнения, огромны, реализация средств статистического анализа указанных данных заключается в том, чтобы связать имеющиеся функции языка R с пользовательским интерфейсом разрабатываемой системы ETRAN. Данная задача, однако, не является тривиальной, поскольку требуется предусмотреть возможность ввода многочисленных настроек методов статистического анализа и учесть множество вариантов выходных результатов их применения.

Помимо «классических» методов статистики планируется реализовать относительно новые в области айтрекинга алгоритмы кластерного анализа данных комплексного наблюдения, когда в качестве меры подобия траекторий могут выступать различные показатели:

       «расстояния», которые рассчитываются на основании следующих параметров: интегральных показателей ГДА, характеристик испытуемых, показателей степени выражености пространственных стратегий движения взора наблюдателя и перехода от одной области интереса к другой (Хохлова, 2011), элементов матрицы переходных вероятностей или матрицы представления преемника (Мармадюк, Поляков, 2015) и т. п.;

    степени различия двумерных вероятностных распределений координат взора или точек фиксации (например, дивергенция Кульбака-Лейблера).

Для разведочного анализа немаловажное значение имеет оценка пространственных паттернов в траекториях взора или последовательностях фиксаций (Хохлова, 2011; Мар­мадюк, Звонкина, 2012; Мармадюк, Поляков, 2015), алгоритмы проведения которой также планируется внедрить в систему Такие средства оценки позволят обнаружить закономерности, которые либо сложно предугадать или сформулировать в виде гипотез на этапе планирования эксперимента, либо не укладываются в рамки общей парадигмы проводимого исследования.

Наконец, необходимым условием эффективной работы программного обеспечения является включение в него гибких средств экспорта данных — как внутренних данных системы для работы с ними на другом компьютере, так и результатов обработки данных комплексного наблюдения для проведения дополнительного анализа в сторонних системах.

Основные результаты и выводы

1.   Основными результатами первого этапа разработки системы являются:

    создание ядра системы, включающей структуры данных базовых сущностей видео- окулографического эксперимента, а также методы и функции, автоматизирующие проведение преобработки и анализа данных;

                 создание прототипа пользовательского интерфейса системы;

    определение путей дальнейшего развития системы, дополнительные компоненты которой находятся в разработке.

2.   Обеспечена возможность расширения функций системы путем подключения к ней внешних модулей, реализованных на языке R.

3.   Реализован прототип редактора областей интереса, который может быть использован и в случае, когда стимульным материалом является видеозапись (например, сцены, наблюдаемой испытуемым).

4.   Организован свободный доступ к разрабатываемому программному обеспечению и его документации через публичный репозиторий проекта по адресу в сети Интернет: http:// github.com/PMarmalyuk/EyeTrackingProject.

 

1.Мармалюк П.А. Кандидат технических наук, заведующий лабораторией математической психологии и прикладного программного обеспечения, Центр информационных технологий для психологических исследований, ГБОУ ВПО МГППУ. E-mail: pavel.marmalyuk@gmail.com

2.* Юрьев Г. А. Кандидат физико-математических наук, доцент, факультет информационных технологий, ГБОУ ВПО МГППУ. E-mail: g.a.yuryev@gmail.com

3.** Жегалло А.В. Кандидат психологических наук, старший научный сотрудник, Центр экспериментальной психологии ГБОУ ВПО МГППУ. E-mail: zhegs@mail.ru

4.*** Поляков Б.Ю. Студент магистратуры, факультет информационных технологий, ГБОУ ВПО МГППУ. E-mail: deslion@yandex.ru

5.**** Панфилова А.С. Кандидат технических наук, заведующий лабораторией количественной психологии, Центр информационных технологий для психологических исследований, ГБОУ ВПО МГППУ. E-mail: panfilova87@gmail.com

 

Литература

  1. Барабанщиков В.А., Жегалло А.В. Регистрация и анализ направленности взора человека. М.: Ин­ститут психологии РАН, 2013. 316 с.
  2. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс», 2007. 912 с.
  3. Мармалюк П. А., Жегалло А.В., Юрьев Г.А., Панфилова А. С. Принципы построения программного обеспечения с открытым исходным кодом для анализа результатов окулографических исследований // Экспериментальная психология. 2015. Т. 8. № 1. С. 127-144.
  4. Мармалюк П. А., Звонкина О.М. Опорные показатели глазодвигательной активности при прохож­дении теста Равена и автоматизация их расчета // Молодые ученые - нашей новой школе. Матери­алы XI межвузовской научно-практической конференции с международным участием. М.: МГППУ, 2012. С. 350-352.
  5. Мармалюк П. А., Поляков Б. Ю. Анализ данных видеоокулографии с применением матриц представ­ления преемника и деревьев решений [Электронный ресурс] // Молодые ученые - столичному об­разованию. Материалы XIV городской научно-практической конференции. М.: МГППУ, 2015. CD- ROM. Загл. с этикетки диска.
  6. Мармалюк П. А., Поляков Б.Ю. Выявление информативных характеристик глазодвигательной ак­тивности с применением метода главных компонент и обучаемых моделей // Материалы Всероссий­ской научной конференции «Айтрекинг в психологической науке и практике». М.: Московский ин­ститут психоанализа, 2015 (В печати).
  7. Хохлова А. А. Исследование глазодвигательной активности при прохождении матричного теста интеллекта Равена // Молодые ученые - нашей новой школе. Материалы X межвузовской научно­практической конференции. Москва: МГППУ, 2011. С. 343-345.
  8. Юрьев Г.А., Панфилова А. С., Мармалюк П.А. Архитектура программного обеспечения для анализа результатов окулографических исследований // Программная инженерия, 2015. № 1. С. 24-33.
  9. Eye Tracking Project [Electronic resource] // Public repository for the RFH project № 14-06-12012. 2016. URL: http://github.com/PMarmalyuk/EyeTrackingProject (accessed: 04.03.2016).
  10. Geoff Der, Brian S. Everitt. Essential Statistics Using SAS University Edition. SAS Institute Inc., 2015. 246 p.
  11. Hayes T.R., Petrov A A., Sederberg P.B. A novel method for analyzing sequential eye movements reveals strategic influence on Raven’s Advanced Progressive Matrices //Journal of Vision. 2011. Vol. 11. № 10. P. 1-11. doi:10.1167/U.10.10
  12. Nystrom М., HolmqvistK. An adaptive algorithm for fixation, saccade, and glissade detection in eyetrack- ing data // Behavior Research Methods. 2010. Vol. 42. № 1. P. 188-204. doi: 10.3758/BRM.42.1.188
  13. RStudio Inc. [Electronic resource] // Shiny by RStudio. A web application framework for R. 2014. URL: http://shiny.rstudio.com/ (accessed: 24.09.2015).
  14. Salvucci D.D., GoldbergJ.H. Identifying fixations and saccades in eye-tracking protocols. Proceedings of the 2000 Symposium on Eye Tracking Research and Applications (November 6-8, Palm Beach Gardens, Florida, USA) // ACM Press. 2000. Vol. 1. P. 71-78. doi: 10.3758/s13428-010-0031-2
  15. Savitzky A., Golay M.J.E. Smoothing and Differentiation of Data by Simplified Least Squares Proce­dures// Analytical Chemistry. 1964. Vol. 36. № 8. P. 1627-39. doi: 10.1021/ac60214a047
  16. SciDAVis [Electronic resource] // What is SciDAVis? 2015. URL: http://scidavis.sourceforge.net/in- dex.html (accessed: 05.03.2016).
  17. Olsen A. Tobii I-VT Fixation Filter [Electronic resource] //Algorithm Description. 2012. URL: http:// www.tobii.com/en/eye-tracking-research/global/library/white-papers/the-tobii-i-vt-fixation-filter (ac­cessed: 02.10.2015).
  18. ZhegalloA. V., Marmalyuk P. A. ETRAN - R Extension Package for Eye Tracking Results Analysis [Elec­tronic resource] // Perception. 2015. Vol. 44. № 8-9. P. 1129-1135. doi:10.1177/0301006615594944

Информация об авторах

Мармалюк Павел Алексеевич, кандидат технических наук, заведующий лабораторией математической психологии и прикладного программного обеспечения, ФГБОУ ВО МГППУ, доцент факультета информационных технологий, ФГБОУ ВО МГППУ, Москва, Россия, e-mail: ykk.mail@gmail.com

Юрьев Григорий Александрович, кандидат физико-математических наук, доцент, заведующий кафедрой, "Прикладная информатика и мультимедийные технологии" факультета "Информационные технологии", ведущий научный сотрудник молодежной лаборатории информационных технологий для психологической диагностики, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0002-2960-6562, e-mail: g.a.yuryev@gmail.com

Жегалло Александр Владимирович, кандидат психологических наук, Старший научный сотрудник лаборатории системных исследований психики, Институт психологии Российской академии наук (ФГБУН ИП РАН), Научный сотрудник центра экспериментальной психологии МГППУ, Москва, Россия, ORCID: https://orcid.org/0000-0002-5307-0083, e-mail: zhegalloav@ipran.ru

Поляков Борислав Юрьевич, младший научный сотрудник, лаборатория математической психологии и прикладного программного обеспечения Центра информационных технологий для психологических исследований, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0002-6457-9520, e-mail: deslion@yandex.ru

Панфилова Анастасия Сергеевна, кандидат технических наук, научный сотрудник, Институт психологии РАН (ФГБУН «ИП РАН»), Москва, Россия, ORCID: https://orcid.org/0000-0003-1892-5901, e-mail: panfilova87@gmail.com

Метрики

Просмотров

Всего: 4157
В прошлом месяце: 11
В текущем месяце: 5

Скачиваний

Всего: 465
В прошлом месяце: 3
В текущем месяце: 0