Принципы построения программного обеспечения с открытым исходным кодом для анализа результатов окулографических исследований^*

Представлен обзор существующего проприетарного и открытого программного обеспечения анализа результатов окулографических исследований, кратко рассмотрены преимущества и недостатки существующих решений. Обоснована актуальность разработки новой системы, свободной от указанных недостатков. Представлены концепция и проект программной системы с открытым исходным кодом для анализа окулографических данных, полученных с помощью видеорегистраторов движений глаз. Отражены специфические особенности разрабатываемой системы, в частности, открытость программного кода, принцип модульности (расширяемости) и объектно-ориентированности.

Введение

 

Исследования движений глаз человека и траектории их перемещения позволяют раскрыть структуру взаимоотношений индивида со средой, человека с миром. Анализ взаимосвязи окуломоторики с центральной нервной системой, с одной стороны, с содержанием психических процессов – с другой, с многообразными формами активности (поведением, деятельностью, общением) – с третьей, способствует изучению механизмов работы мозга и их нарушения, выявлению динамики психофизиологических состояний человека, закономерностей восприятия, мышления, представлений, дифференциации интенций, намерений и установок личности. Знания о движениях глаз имеют большое теоретическое и прикладное значение, расширяя возможности изучения специфики многих профессий с целью повышения эффективности функционирования субъекта трудовой деятельности.

Популярность исследований по окуломоторной тематике в последние годы неуклонно растет, а вместе с ней растет и число научно-теоретических и прикладных работ, ставящих своей целью изучение движения глаз как индикатора внимания, психофизиологических состояний, психических процессов и поведения (Барабанщиков, Жегалло, 2013). Всплеск интереса к окулографии связан с появлением удобных средств бесконтактной видеорегистрации направленности взора (видеоокулографов), себестоимость которых снижается. Сформировался новый термин, определяющий, наряду с инструментальной и измерительной методологической базой, информационно-коммуникативную и интерпретационную составляющие видеоокулографии, – айтрекинг (Барабанщиков, Жегалло, 2013).

Все более широкое применение аппаратных средств айтрекинга в экспериментальной психологии неизбежно повышает востребованность специализированного программного обеспечения (ПО) для обработки и статистического анализа продуцируемых многомерных временных сигналов, содержащих данные о положении взора, размерах зрачка, окуломоторных событиях и других характеристиках глазодвигательной активности. Экспериментаторам, использующим айтрекеры в своей научно-практической деятельности в области психологии восприятия, педагогики, психологии общения, маркетинга и многих других областях, крайне необходимы программные средства, автоматизирующие рутинную расчетную и аналитическую работу.

На данный момент существует достаточно обширный ряд программных продуктов для анализа данных видеоокулографии, однако их эффективное применение сдерживается рядом недостатков, обусловленных, в частности, отсутствием единых стандартов представления и хранения данных, проприетарностью реализаций алгоритмов, платформозависимостью, неразвитым математическим аппаратом, реализуемым в штатных решениях.

Ни одно из существующих программных решений не является законченным с точки зрения пригодности для научной работы. Типичный сценарий работы специалиста при обработке данных выглядит следующим образом:

1)              обработка первичных данных с помощью специализированного ПО;

2)              экспорт обработанных данных в табличный формат общего назначения;

3)              ручная агрегация таблиц результатов, например, в табличном редакторе;

4)              импорт таблиц данных во внешние программы для статистической обработки;

5)              проведение статистического анализа.

Данная последовательность каждый раз повторяется заново при любых изменениях в исходных данных (например, добавилось еще несколько испытуемых). При этом характер представления исходных данных в массовых статистических пакетах общего назначения в виде единой стандартной таблицы накладывает ограничения на их объем. Обилие выполняемых вручную операций провоцирует появление неконтролируемых операторских ошибок при обработке. Использование для первичного анализа проприетарного ПО, распространяемого с защитой от копирования, является дополнительным фактором, затрудняющим переобработку ранее полученных данных.

Настоящая работа посвящена проекту по созданию бесплатно распространяемой программной системы с открытым исходным кодом, свободной от перечисленных недостатков, основными целями которого являются:

1)              автоматизация расчетно-аналитической деятельности, связанной с анализом экспериментальных данных окулографии, за счет реализации в системе функций расчета основных характеристик глазодвигательной активности, их агрегации и анализа результирующих сводных таблиц с использованием статистических методов проверки гипотез;

2)              поддержка процесса порождения гипотез по данным (post-hoc анализ) за счет реализации методов эксплораторного анализа данных (например, факторного или кластерного анализа), позволяющих обнаруживать закономерности, которые либо трудно поддаются прогнозу или формулировке в виде гипотез на этапе планирования эксперимента, либо не укладываются в рамки текущей парадигмы научных представлений в изучаемой области;

3)              перепроверка научных результатов и устранение организационных издержек, связанных с использованием платных программных продуктов, путем размещения дистрибутивов разрабатываемой системы в сети Интернет;

4)              закрепление формирующихся стандартов обработки данных путем открытой реализации нескольких подходов к анализу окулографических данных (наиболее устоявшихся), что повысит надежность получаемых результатов;

5)              создание предпосылок для дальнейшего расширения и развития проекта за счет надстраиваемой модульной структуры разрабатываемой системы с базовым ядром и возможности использования программы на компьютерах и серверах с различными операционными системами.

 

Обзор существующих систем анализа данных окулографии: платные системы

 

Производителями айтрекеров поставляется штатное программное обеспечение, ориентированное исключительно на работу с данными, полученными с помощью разработанного ими же самими оборудования. Для айтрекеров фирмы Sensomotoric Instruments – это BeGaze (SensoMotoric Instruments GmbH, 2014), для айтрекеров Interactive Minds – NYAN (Nyan, 2013), для айтрекеров Tobii – Tobii Studio (Tobii Studio, 2013).

Штатное программное обеспечение анализа данных обеспечивает реализацию основных функций используемого оборудования: визуализацию исходных данных, детекцию фиксаций, саккад и морганий, визуализацию траекторий рассматривания, визуализацию областей стимула, привлекающих внимание, нанесение на изображение статических областей интереса и вычисление основных показателей окуломоторной активности для них.

Также следует отметить наличие платных решений, поддерживающих различные виды айтрекеров и предоставляющих широкий функциональный ряд операций по обработке данных, например, EyeWorks (EyeTracking Inc., 2013), созданный «исследователями для исследователей», позиционируется как универсальное ПО, работающее с большинством современных айтрекинговых систем. На сегодняшний день на сайте разработчика указана совместимость с 18 системами восьми производителей. Дополнительно разработчик заявляет о возможности адаптации ПО под оборудование, используемое покупателем. Однако, судя по приведенному краткому описанию, функциональность программы в части анализа ограничена наиболее употребляемыми базовыми функциями.

Достоинства:

·       высокое качество;

·       высокая функциональность в дополнительно подключаемых платных пакетах;

·       наличие официальной технической поддержки.

Недостатки:

·       низкая функциональность в базовых пакетах – зачастую реализован только один алгоритм детекции фиксаций или саккад и отсутствует возможность детекции глиссад (Holmqvist et al., 2011);

·       привязка к проприетарным форматам входных данных, генерируемых оборудованием конкретного производителя;

·       частичная закрытость используемых алгоритмов;

·       отсутствие методов статистического анализа данных (пользователям, как правило, предлагается экспортировать результаты расчетов для дальнейшего анализа в прикладных статистических пакетах);

·       поставляемое ПО, как правило, защищено электронными ключами, что значительно ограничивает возможности его легального использования.

Можно утверждать, что проприетарное ПО ориентировано на проведение коммерческих исследований и парадигму разделения труда между специалистами (один специалист выполняет анализ данных во всех проводимых в организации исследованиях). В такой парадигме закрытость ПО – несомненное достоинство, поскольку специалист не должен выходить за рамки своей компетенции. Однако парадигма закрытого коммерческого ПО абсолютно не релевантна научно-исследовательским задачам, предполагающим полную открытость и воспроизводимость проводимых исследований.

 

Бесплатные и условно-бесплатные системы

 

Исследователи, не удовлетворенные параметрами функциональности, стоимостью и другими характерными чертами коммерческого ПО, создали ряд свободно распространяемых программ, решающих частные задачи обработки данных. Среди них можно отметить следующие:

1.               OGAMA (Open Gaze and Mouse Analyzer) (Voßkühler et al., 2008) – представляет собой монолитную программу на языке программирования C#, написанную с использованием библиотек .NET. Анализируемые данные хранятся в базе Microsoft SQL. Обладает достаточно широкой функциональностью, сопоставимой с возможностями штатного ПО обработки данных.

Достоинства:

·       открытость исходного кода;

·       сравнительно высокая функциональность и гибкость;

·       возможность частого обновления ПО;

·       возможность работы с данными айтрекеров разных производителей.

Недостатки:

·       платформозависимость (работа только на компьютерах под управлением операционных систем линейки Microsoft Windows, начиная с ОС Windows XP);

·       ограничения структуры программы и базы данных, которые не позволяют выполнять доработку ПО без полного анализа исходного кода и тем самым приводят к проблематичности и нецелесообразности осуществления дальнейшей доработки ПО собственными силами пользователя;

·        единственный алгоритм обнаружения фиксаций и саккад (I-DT).

2.     GazeParser (Sogo, 2013) – открытая библиотека программных функций для регистрации глазодвигательной активности с помощью недорогих устройтв (веб-камеры, штучные прототипы), визуализации траекторий и анализа данных. Примечательно, что библиотека написана на языке Python и может использоваться совместно с системами автоматизации психофизиологических экспериментов, такими как PsychoPy или VisionEgg. К сожалению, библиотека на данный момент поддерживает только первичную обработку данных.

Достоинства:

·       открытость исходного кода;

·       кросс-платформенность;

·       совместимость с открытыми программными системами автоматизации эксперимента.

Недостатки:

·       низкая функциональность в отношении анализа данных;

·       обязательное владение пользователем, использующим данное ПО, навыками программирования.

3.     DynAOI (Dynamic Areas of Interest) (Papenmeier, Huff, 2010) – открытое узкоспециализированное ПО, позволяющее создавать динамические зоны интереса. Автоматически работает с анимацией, базирующейся на трехмерных моделях представления. DynAOI незаменима при анализе данных айтрекинга, зарегистрированных при просмотре видеозаписей или в реальных жизненных ситуациях. Требует предварительного создания трехмерной модели релевантного видеоматериала. Записанные данные сопоставляются со статическими и динамическими объектами модели, которые можно рассматривать как статические или динамические зоны интереса. После сопоставления данных можно проводить статистический анализ результатов.

Достоинства:

·       открытость исходного кода;

·       решение непростой задачи создания и анализа динамических зон интереса.

Недостатки:

·       обязательное владение пользователем, использующим данное ПО, навыками программирования ;

·       низкая функциональность системы в отношении анализа данных;

·        работа с данными одной траектории (невозможность проведения выборочного анализа).

4.     EyePatterns (West et al., 2006) – программа с открытым исходным кодом для обнаружения закономерностей в последовательностях фиксаций и статистического обнаружения экспериментальных факторов, влияющих на характеристики последних. Анализ фиксаций с помощью EyePatterns позволяет, например, исследовать скрытые когнитивные стратегии, влияющие на движения глаз. Отличительной чертой программы является удобный и оригинальный дизайн графического интерфейса, позволяющий пользователю выводить и анализировать всю важную информацию на одном экране (что является далеко не простой задачей, с которой сталкивается исследователь при оценке данных большой размерности и наличии большого числа анализируемых признаков).

Достоинства:

·       открытость исходного кода;

·       удобный и понятный оригинальный интерфейс;

·       возможность проведения выборочного анализа.

Недостатки:

·        низкая функциональность системы в отношении анализа данных.

5.               Программы, ориентированные на работу в среде MATLAB (Matrix Laboratory): iLAB (Gitelman, 2002), iMAP (Caldara, Miellet, 2011), EMD (Komogortsev, 2013). Эти программы реализуют:

а)     первичную фильтрацию данных, детекцию фиксаций и саккад: алгоритмы I-VT, I-HMM, I-DT, I-MST, I-KFG (Komogortsev et al., 2010);

б)     детекцию следящих движений: алгоритмы I-VVT, I-VMP и I-VDT (Komogortsev, Karpov, 2013);

в)     построение карт распределения внимания и статистический анализ различий между распределениями на основе теории случайных процессов и полей (Caldara, Miellet, 2011).

Использование данных пакетов предполагает наличие установленной системы MATLAB и требует от исследователя навыков и знаний программиста. Таким образом, самостоятельное использование таких программ психологом-экспериментатором не всегда возможно.

Достоинства:

·       открытость исходного кода;

·       кроссплатформенность;

·       достаточно высокая функциональность и наличие тщательно проработанных методов анализа.

Недостатки:

·       необходимость установки платной системы MATLAB для проведения модификации;

·       обязательное владение пользователем, использующим данное ПО, навыками программирования

·       отсутствие возможности выборочного статистического анализа данных (работа с данными одной траектории).

 

6.     Программы, ориентированные на работу в среде для статистических вычислений R (R Core Team, 2014):

а)     пакет em2 (Logacev, Vasishth, 2013) был создан для расчета статистик времени чтения, используемых психолингвистами (например, длительности первой фиксации, общего времени чтения, времени перечитывания и т.п.). Подразумевает наличие данных о фиксациях, рассчитанных во внешних приложениях.

б)     пакет eyetracking (Hope, 2014), несмотря на многообещающее название, включает только две функции для вычисления расстояния между двумя точками на экране стимульного монитора в сантиметрах и угловых градусах.

в)     пакет gazetools (Hope, 2013) по функциональности является одним из самых проработанных решений для среды R, поддерживает несколько форматов данных, несколько алгоритмов детекции фиксаций, саккад и глиссад, а также обеспечивает возможность работы со статическими зонами интереса. Пакет не позволяет выполнять выборочный статистический анализ данных и является, скорее, вспомогательным набором функций, чем законченной системой. Однако следует сказать, что, судя по постоянным обновлениям репозитория данного проекта, ведется активная работа над совершенствованием пакета.

Достоинства:

·       открытость исходного кода.

Недостатки:

·       низкая функциональность;

·       невозможность проведения выборочного анализа.

 

Актуальность разработки новой системы

 

Производители оборудования поставляют совместно с ним ПО, направленное на решение основных практических задач и ориентированное исключительно на работу с оборудованием собственного производства.

Общепринятая до недавнего времени технология обработки айтрекинговых данных предполагает расчет конкретных показателей окуломоторной активности с использованием штатного ПО производителя оборудования, группировку полученных результатов согласно конкретному экспериментальному плану в табличном редакторе (например, Microsoft Excel) и заключительную статистическую обработку с использованием специализированных пакетов статистической обработки (например, SPSS). Недостатком данного подхода является высокая трудоемкость и ненадежность, связанная с многочисленными ручными операциями. Помимо этого значительные проблемы связаны с использованием для первоначальной обработки данных штатного ПО. Как правило, ПО в базовой комплектации не позволяет производить расчет значительной части показателей окуломоторной активности, а детали используемых алгоритмов обработки данных зачастую представляют собой «коммерческую тайну» производителя.

Дополнительным препятствием для эффективного использования может стать защита штатного ПО от копирования, создающая на этапе анализа экспериментальных данных немалые организационные трудности. Существующие на данный момент коммерческие программные решения анализа данных психологического эксперимента являются, как правило, локальными лабораторными системами, доступными (физически) для стационарного использования в подразделениях научной организации, в то время как условия труда современного исследователя зачастую характеризуются мобильностью (работа на дому, участие в командировках и прохождение стажировок).

Возможности существующих программных продуктов (как открытых, так и проприетарных) не полностью соответствуют потребностям исследователей, так как их разработчики предлагают неразвитый математический аппарат, зачастую ограничиваясь средствами визуального анализа и простейшей статистикой, пренебрегая методами исследования временной динамики, автоматизированными процедурами выделения проблемных категорий испытуемых и возможностями математического моделирования для проведения дальнейшей кластеризации и классификации полученных данных.

Анализ существующих систем показывает, что приемлемое решение, позволяющее психологу-экспериментатору самостоятельно выполнять полный цикл обработки экспериментальных данных окулографии, на данный момент отсутствует. Однако таким решением может стать программная система, обладающая необходимыми базовыми функциями, наращивание которых осуществляется за счет подключения дополнительных модулей расширения. Можно утверждать, что психологам-экспериментаторам необходимо программное обеспечение:

1)     кроссплатформенное, доступное для бесплатной установки на любом современном компьютере;

2)     реализующее традиционные статистические подходы к анализу данных и имеющее возможность подключения дополнительных модулей расширения функциональности без изменения ядра системы;

3)     не требующее от психолога навыков программиста (или помощи программиста) при выполнении уже реализованных способов обработки данных, т. е. предоставляющее интуитивно понятный графический интерфейс с элементами диалога;

4)     открытое, с доступным для экспертного анализа программным кодом.

Далее представлены концепция и характеристика планируемой функциональности разрабатываемой системы, соответствующей указанным критериям. Важно отметить, что в данной статье, подготовленной для психологического журнала, не рассматривается логическая модель базы данных, а также структура классов системы. С такого рода данными специалисты могут подробно ознакомиться в проектной документации, доступной в сети Интернет в репозитории проекта (Marmalyuk, 2014). Следует отметить, что для разработки системы было решено использовать язык программирования для статистических вычислений R в рамках объектно-ориентированной парадигмы. Важные следствия такого выбора, касающиеся конечного пользователя системы, отражены в подразделе данной статьи «Отличительные особенности системы».

 

Основные характеристики и возможности разрабатываемой системы

 

Концепция. Единичный айтрекинговый эксперимент можно обобщенно определить как особого рода взаимодействие экспериментатора и испытуемого в соответствии с планом (дизайном, алгоритмом) эксперимента, проводящегося с использованием специализированного аппаратно-программного (айтрекер, средства синхронизации, компьютеры и мониторы, штатное ПО) и материального (бумажные инструкции, стимульный материал) обеспечения. В результате эксперимента формируются экспериментальные данные: «сырые» и «событийные» данные, данные об испытуемых, стимулы и взаимно-однозначное соответствие айтрекинговых данных и стимулов, использованных в эксперименте. Схематично это проиллюстрировано на рис. 1.

Рис. 1. Выходные данные окулографического эксперимента

 

На рис. 1 «raw data» – «сырая» последовательность отсчетов траектории и других параметров, характеризующих экспериментальные условия; «event data» – «событийные» данные, рассчитанные с помощью ПО производителя (могут отсутствовать, поскольку в системе будут реализованы все основные алгоритмы детекции окуломоторных событий по исходным данным); «stimuli» – непосредственно файлы стимулов (картинки или видео), используемые в эксперименте. «Сырые» данные могут быть получены как монокулярным, так и бинокулярным айтрекером на разных частотах дискретизации, содержат сведения об удалении испытуемого от плоскости стимула (важно для расчета ряда параметров в стандартных единицах измерения, а не в пикселях), об атрибутах стимулов (названия файлов, размерности), о размере зрачка, о программе для экспорта данных. При этом один файл с «сырыми» данными может содержать информацию по нескольким испытаниям. «Событийные» данные могут содержать результаты детекции таких событий, как фиксации, саккады, глиссады, моргания и другие артефакты, выполненной внешним программным обеспечением.

Таблицы факторов («factors») есть таблицы значений качественных и количественных характеристик, определяющих те свойства исследуемых объектов, которые релевантны экспериментальной задаче. Например, таблица факторов испытуемых может определять такие важнейшие признаки испытуемых, как возраст и пол, а таблица факторов стимулов может задавать такие атрибуты, как уровень яркости и размер шрифта. При таком подходе у экспериментатора появляется возможность представить процедуру эксперимента в стандартизированном (формализованном) виде, что существенно упрощает реализацию в системе дальнейших операций по выборке данных для сравнительного анализа.

Кроме того, широкая вариативность конфигураций оборудования и наличие разных версий стандартных форматов экспортируемых данных требует введения такого вспомогательного свойства данных, как их источник, определяющего конкретный формат представления экспортируемых «сырых» и «событийных» экспериментальных данных.

Предлагается рассматривать источники трех типов: foreign (внешний), own (ранее загруженные в систему данные и сохраненное рабочее пространство пользователя в формате .RData среды R) и user-defined (пользовательский). От типа и наименования внешнего источника зависит метод, реализующий считывание и конвертирование внешних данных в собственный формат и их загрузку в систему с возможностью дальнейшего сохранения в новом формате. В первоначальной версии системы предполагается сделать доступными (т.е. встроенными в систему) конвертеры для наиболее часто используемых форматов внешних данных, при этом также планируется обеспечить возможность добавления в систему собственных функций считывания данных без необходимости модификации ее программного кода и перестройки программного пакета. Источники данных, полученные таким образом, будут отнесены к разряду пользовательских.

Предполагается, что пользователь (психолог-экспериментатор) перед работой с системой:

1)     обладает информацией о структуре эксперимента (последовательность и условия предъявления стимулов, прохождения испытаний);

2)     располагает файлами стимулов, использованных в конкретном эксперименте, и результатами этого эксперимента: текстовыми файлами с данными «сырых» траекторий (в собственном формате системы или в некоторых стандартных форматах, для которых в системе существует конвертер) и таблицами значений факторов, характеризующих испытуемых и группы испытаний;

3)     обладает информацией о физических свойствах стимулов (размеры, продолжительность, форматы) и их характеристики;

4)     располагает возможностью сопоставления данных об имеющихся файлах траекторий движения глаз с информацией об испытуемых и стимульном материале, для которых они получены (в случае отсутствия возможности сделать это автоматически средствами конвертера);

5)     обладает информацией о том, что в случае несоответствия файлов с «сырыми» траекториями движений глаз стандартным форматам, конвертеры для которых реализованы в системе, требуется проведение внешней конвертации этих данных в собственный формат системы.

При выполнении этих условий пользователь может приступать к работе с системой. Дальнейшая работа подразумевает загрузку данных, ввод метаданных, проведение их анализа как с использованием графического интерфейса системы, так и посредством командной строки R, и последующее сохранение/экспорт результатов расчетов. Общая функциональность системы представлена в виде стандартной диаграммы потоков данных на рис. 2.

Рис. 2. Диаграмма потоков данных и общих функций их обработки (DFD, data flow diagram)

 

Детализация возможностей системы. Поскольку DFD диаграмма не позволяет отразить функциональность разрабатываемой системы в деталях, ниже приводится текстовое описание набора функций, которые планируется реализовать в программе в соответствии с техническим заданием, сформулированным совместно с экспериментальными психологами Центра экспериментальной психологии МГППУ:

1)              импорт первичных данных («сырые» траектории), представленных в различных распространенных форматах, а также данных о графическом стимульном материале и таблицы значений факторов, характеризующих особенности испытуемых, стимулов или испытаний (качественные и количественные оценки релевантных для анализа признаков);

2)              предварительная обработка загруженных данных: фильтрация, сглаживание выбросов и т.п.;

3)              выделение в стимульном материале зон интереса экспериментатора или автоматическое создание набора зон интереса в виде регулярной сетки;

4)              визуализация первичных и сглаженных/отфильтрованных траектории движений глаз, а также типичных (усредненных) траекторий для заданных экспериментальных ситуаций и стимулов, групп испытуемых, выявленных в результате кластерного анализа или указанных пользователем, а также выделенных на основе оценок внешних категориальных или порядковых факторов;

5)              обнаружение окуломоторных событий: фиксаций, саккад, глиссад, моргания, следящих движений с помощью алгоритмов I-DT (Salvucci, Goldberg, 2000), I-VT (Olsen, 2012), Adaptive I-DT (Nyström, Holmqvist, 2010), I-MST, I-KFG, I-VVT, I-VMP и I-VDT (Komogortsev, 2013) и визуальное отображение их временных участков на графиках исходных или сглаженных траекторий;

6)              расчет традиционных интегральных показателей глазодвигательной активности (интегральной длины пути взора, длительности, продолжительности фиксации, амплитуды, пиковой скорости, ускорения и асимметрии саккады, числа фиксаций и саккад, в том числе в различных направлениях и многих других показателей),

7)              расчет основных статистических параметров и визуализация графиков вероятностного распределения значений показателей, проведение статистического анализа по экспериментальным ситуациям, по зонам интереса, по стимулам, по группам испытуемых (например, сравнение среднего времени фиксаций в двух группах испытуемых);

8)              расчет матрицы вероятностей перехода между заданными зонами интереса или между ячейками регулярной сетки, наложенной на плоскость стимула, оценка матрицы представления преемника (successor representation matrix, аналог фундаментальной матрицы цепи Маркова) для последовательности переходов между заданными зонами интереса (Hayes et al., 2011);

9)              построение карты распределения внимания (attention map) для заданных экспериментальных ситуаций, проведение статистического анализа сходства карт распределения внимания;

10)           оценка по траектории степени используемости пространственных стратегий движения взора, задаваемых пользователем системы в виде сочетаний номеров или наименований зон интереса (Мармалюк, Звонкина, 2012);

11)           проведение выборочного иерархического кластерного анализа для обнаружения скрытых закономерностей в данных с использованием в качестве признаков, по которым оцениваются попарные близости траекторий, следующих показателей: а) традиционных интегральных показателей, б) элементов матрицы переходных вероятностей или матрицы представления преемника, в) показателей степени выраженности пространственных стратегий движения взора, г) значений внешних факторов; д) статических карт распределения внимания;

12)           визуализация результатов кластерного анализа, позволяющая выбирать наилучшее кластерное решение (вариант разбиения выборки на подгруппы);

13)           сохранение исходных данных и результатов расчетов для их повторного использования, проведения сравнительного анализа и экстраполяции этих данных на иные аналогичные экспериментальные наблюдения.

 

Характеристика минимальных системных требований.

1.     Оперативная память: минимум 512 Мб (конкретная рекомендация может быть дана при известном объеме обрабатываемых данных окулографического эксперимента).

2.     Частота процессора: 1 ГГц.

3.     Операционная система: Mac OS, OS Windows, FreeBSD, Solaris и другие дистрибутивы Unix и Linux.

4.     Последняя версия интерпретатора языка R: 3.1.0.

 

Отличительные особенности разрабатываемой системы. Как упоминалось выше, для разработки системы было решено использовать среду вычислений R для статистической обработки данных и работы с графикой. Преимуществами выбора R для написания системы является, в первую очередь, широкая распространенность в научных кругах, позволяющая считать систему стандартным (де-факто) инструментом, используемым для анализа экспериментальных данных; возможность бесплатного пользования; открытый и свободный доступ. Характерным свойством R является то, что он поддерживает широкий спектр статистических и численных методов и обладает хорошей расширяемостью с помощью дополнительных пакетов статистической обработки, представляющих собой библиотеки программ, применение которых позволяет производить расчет специфических функций. В базовую поставку R включен основной набор пакетов, а всего по состоянию на 2013 год доступно более 4000 пакетов (R – язык программирования, 2014). Все пакеты, претендующие на публикацию в публичном официальном репозитории CRAN (Comprehensive R Archive Network) (CRAN, 2014), проходят строгую оценку, рецензирование, стандартизацию и верификацию. Такой подход позволяет удерживать уровень качества компонент среды R на постоянно высоком уровне. Пакеты, удовлетворяющие строгим критериями R-сообщества, доступны для загрузки из любой точки мира через сеть Интернет.

Разрабатываемая система для анализа данных айтрекинга будет представлять собой именно такой специализированный пакет, реализующий перечисленные ранее базовые функции и расширяемый за счет как создания новых пакетов, совместимых с базовым, так и путем добавления в базовую версию новых объектов и методов для работы с ними.

Еще одной особенностью R, чрезвычайно важной при решении исследовательских (поисковых) задач, являются графические возможности, заключающиеся в создании качественной и разнообразной интерактивной графики на базе трех основных пакетов: base, lattice и ggplot2 (Lewin-Koh, 2013).

Система, разработанная с помощью стандартных общепризнанных средств с открытым исходным кодом, способствует облегчению проверки адекватности применяемых методов обработки данных окулографии и обеспечению корректности их реализации (соответствие научному принципу обоснованности). Возможность бесплатного пользования системой позволит устранить организационные издержки и бюджетные ограничения, возникающие на этапе обработки экспериментальных данных, что, в свою очередь, приведет к оптимизации процесса получения и распространения гуманитарных научных знаний в обществе. Доступность разработанных средств для загрузки с портала, размещенного в сети Интернет, обеспечит возможность перепроверки научных результатов, получаемых с помощью разработанного программного обеспечения (соответствие научному принципу интерсубъективной проверяемости), а разработка модульной структуры программного обеспечения создаст предпосылки для дальнейшего расширения и развития проекта (соответствие научному принципу прогрессизма). Реализация в рамках одного программного решения нескольких математических подходов к анализу данных окулографии, включая авторские разработки, позволит исследователям перепроверять выявленные закономерности и делать более надежные выводы.

Следует особо отметить, что большинство как традиционных, так и самых современных методов статистики и математического моделирования не потребуют повторной реализации, поскольку доступны в CRAN: необходимо лишь адаптировать их к специфике анализа данных айтрекинга (путем преобразования «сырых» данных траекторий в различные представления – наборы признаков обрабатываемых траекторий), собрав с помощью отдельных модулей мощную аналитическую систему.

Однако среда R предоставляет пользователю лишь интерфейс командной строки, что делает проблематичным ее использование неспециалистами в области программирования. Понимая важность обеспечения таких пользователей возможностями R, а также в педагогических целях, представителями R-сообщества были разработаны пакеты для R (Tcl/Tk, RGtk, gWidgets2 и другие), позволяющие создавать графические пользовательские интерфейсы (GUI, graphical user interface), например, такие как R Commander (Rcommander, 2013), RKWard (RKWard, 2013), Deducer (Deducer, 2013) и многие другие.

К сожалению, надстройка существующих GUI для нужд данного проекта не представляется возможной, поскольку все они рассчитаны на работу лишь с данными, представленными в табличном виде, а не со сложными объектами в виде наборов окуломоторных событий, графических стимулов и т.п. Поэтому для создания собственного GUI системы нами планируется использовать пакет gWidgets2 (Verzani, 2014), что позволит любому экспериментальному психологу проводить анализ собственных данных, опираясь на интуитивно понятный графический интерфейс с элементами диалога, не теряя при этом возможности использовать интерфейс командной строки.

Разработка системы осуществляется в рамках объектно-ориентированной парадигмы программирования, концептуальный аппарат которой включает такие понятия, как «объекты», «классы объектов» и методы работы с ними. Такой подход позволяет наилучшим образом представить специфику области знаний, определить основные свойства классов объектов, таких как, например, траектория взора или окуломоторное событие, экземпляры которых суть анализируемые данные, формирующие выборки наблюдений и обладающие особыми специфическими свойствами, допускающими осмысленные методы обработки этих данных. Кроме того, такой подход обеспечивает структурированность и модульность программного кода, что очень важно при необходимости внесения изменений и доработки.

В среде R присутствует возможность сохранения рабочего пространства пользователя (набора активных объектов, содержащих полученные данные, и функций) в виде файла на жестком диске. Эта опция обеспечивает легкость переноса исходных данных, метаданных (например, информации о соответствии данных траекторий конкретным стимулам) и полученных результатов обработки путем копирования единого файла данных, продуцируемого по желанию пользователя в рамках сеанса работы с R. В соответствии с проектным решением, при работе пользователя с системой в целях хранения обрабатываемых данных будет формироваться набор связанных объектов-таблиц, что позволит хранить не только сами данные, но и заданную пользователем информацию о связях между данными, определяющих целостность информации, полученной в рамках эксперимента.

В структуру хранения данных заложены атрибуты, позволяющие в будущем реализовать в системе функции, связанные с анализом данных, зарегистрированных при просмотре видеозаписей или с помощью мобильных установок, а также с работой с нечеткими, распределенными и динамическими зонами интереса (Holmqvist et al., 2011).

 

Заключение

 

Выполненный обзор показал, что существует достаточно обширный ряд программных решений задач анализа данных айтрекинга. Среди них можно выделить два основных типа систем: проприетарные и открытые – условно-бесплатные или бесплатные. Проприетарные системы обычно используются в коммерческом секторе, в то время как в научной работе предпочтительны именно открытые решения.

Среди открытых программных решений на данный момент отсутствуют системы, отвечающие таким важнейшим критериям обработки экспериментальных результатов, как функциональность, кросс-платформенность, наличие пользовательского интерфейса, возможность выполнения полного цикла анализа данных в рамках одной системы. Единые стандарты технологии анализа айтрекинговых данных только начинают формироваться, а каждый год создаются и тестируются новые базовые алгоритмы обнаружения окуломоторных событий и реализуются специфические методы, применяемые в конкретной прикладной области.

Очевидна актуальность развития прикладных информационно-аналитических систем автоматизированного анализа данных окулографического эксперимента как путем формирования новых концептуальных подходов и совершенствования алгоритмов, так и посредством унификации и стандартизации их архитектуры.

Следование принципу открытости, внимание к критике научного сообщества, а также совместные усилия экспериментаторов и опытных разработчиков прикладных систем, несомненно, положительно повлияют на дальнейшее становление окулографического метода исследований.

Предложенная авторами концепция и технический проект (доступен в публичном репозитории (Marmalyuk, 2014)) расширяемой системы, позволяющей выполнять большую часть цикла анализа айтрекинговых данных, послужат основой для следующего этапа работы – программной реализации ее ядра.

1. Барабанщиков В.А., Жегалло А.В. Регистрация и анализ направленности взора человека. М.: Институт психологии РАН, 2013. 316 c.
2. Мармалюк П.А., Звонкина О.М. Опорные показатели глазодвигательной активности при прохождении теста Равена и автоматизация их расчета для оценки выраженности релевантных когнитивных стилей // Экспериментальный метод в структуре психологического знания. Материалы Всерос. науч. конф. М.: Институт психологии РАН, 2012. С. 96–101.
3. SensoMotoric Instruments GmbH [Electronic resource] // SMI BeGaze Eye Tracking Analysis Software, 2014. URL: http://www.smivision.com/en/gaze-and-eye-tracking-systems/products/begaze-analysis-software.html (дата обращения 27.06.2014).
4. Caldara R., Miellet S. iMap: A Novel Method for Statistical Fixation Mapping of Eye Movement data // Behavior Research Methods. 2011. Vol. 43. № 3. P. 864–878.
5. Logacev P., Vasishth S. Em2 [Electronic resource] // CRAN – Package em2, 2013. URL: http://cran.r-project.org/web/packages/em2/index.html (дата обращения 27.06.2014).
6. Verzani J. GWidgets2 [Electronic resource] // CRAN - Package gWidgets2, 2014. URL: http://cran.r-project.org/web/packages/gWidgets2/index.html (дата обращения 27.06.2014).
7. Lewin-Koh N. Graphic Displays & Dynamic Graphics & Graphic Devices & Visualization [Electronic resource] // CRAN Task View, 2013. URL: http://cran.r-project.org/web/views/Graphics.html (дата обращения 27.06.2014).
8. Deducer [Electronic resource] // An R Graphical User Interface (GUI) for Everyone, 2013. URL: http://www.deducer.org/pmwiki/pmwiki.php?n=Main.DeducerManual (дата обращения 27.06.2014).
9. EyeTracking Inc. [Electronic resource] // EyeTracking Inc. – the eye tracking experts, 2013. URL: http://www.eyetracking.com (дата обращения 27.06.2014).
10. Gitelman D.R. ILAB: A program for postexperimental eye movement analysis // Behavior Research Methods. 2002. V. 34. № 4. P. 605–612.
11. Hope R.M. Gazetools [Electronic resource] // Index. gazetools 4.0.201407071716, 2013. URL: http://ryanhope.github.io/gazetools/ (дата обращения 10.07.2014).
12. Hayes Т.R., Petrov A.A., Sederberg P.B. A novel method for analyzing sequential eye movements reveals strategic influence on Raven's Advanced Progressive Matrices // Journal of Vision. 2011. Vol. 11. № 10. P. 1–11.
13. Holmqvist K., Nyström M., Andersson, R., Dewhurst R., Jarodzka H., Weijer J. Eye Tracking: A comprehensive guide to methods and measures. Oxford University Press, 2011. 560 p.
14. Komogortsev O.V. Komogortsev Oleg's Web Page [Electronic resource] // Eye Movement Classification Software (offline classification), 2013. URL: http://cs.txstate.edu/~ok11/emd_offline.html (дата обращения 10.07.2014).
15. Komogortsev O.V., Gobert D.V., Jayarathna S., Koh D., Gowda S. Standardization of Automated Analyses of Oculomotor Fixation and Saccadic Behaviors // Biomedical Engineering, IEEE Transactions on. Vol. 57. № 11. P. 2635–2645.
16. Komogortsev O.V., Karpov A. Automated Classification and Scoring of Smooth Pursuit Eye Movements in Presence of Fixations and Saccades // Journal of Behavioral Research Methods. 2013. Vol. 45. № 1. P. 1–13.
17. Nyan [Electronic resource] // Nyan® - a full-featured eye tracking analysis and presentation tool, 2013. URL: http://www.interactive-minds.com/eye-tracking-software/nyan (дата обращения 27.06.2014).
18. Nyström M., Holmqvist K. An adaptive algorithm for fixation, saccade, and glissade detection in eyetracking data // Behavior Research Methods. 2010. Vol. 42. № 1. P.188–204.
19. Hope R.M. Eyetracking [Electronic resource] // Package “eyetracking”, 2014. URL: http://cran.r-project.org/web/packages/eyetracking/eyetracking.pdf (дата обращения 27.06.2014).
20. Papenmeier F., Huff M. DynAOI: A tool for matching eye-movement data with dynamic areas of interest in animations and movies // Behavior Research Methods. 2010. Vol. 42. № 1. P. 179–187.
21. Marmalyuk P.A. EyeTracking [Electronic resource]: public repository for the RFH project №14-06-12012, 2014. URL: https://github.com/PMarmalyuk/EyeTracking (дата обращения 27.06.2014).
22. R Core Team [Electronic resource]: R: A language and environment for statistical computing // R Foundation for Statistical Computing. 2014. URL: http://www.R-project.org/ (дата обращения 02.03.2015).
23. Rcommander [Electronic resource]: a graphical interface for R, 2013. URL: http://www.rcommander.com (дата обращения 27.06.2014).
24. Salvucci D.D., Goldberg J.H. Identifying fixations and saccades in eye-tracking protocols // Proceedings of the 2000 Symposium on Eye Tracking Research and Applications. 2000. P. 71–78.
25. Sogo H. GazeParser: an open-source and multiplatform library for low-cost eye tracking and analysis // Behavorial Research Methods. 2013. Vol. 45. № 3. P. 684–695.
26. CRAN [Electronic resource]: The Comprehensive R Archive Network, 2014. URL: http://cran.r-project.org (дата обращения 27.06.2014).
27. Olsen A. Tobii I-VT Fixation Filter [Electronic resource]: Algorithm Description, 2012. URL: http://www.tobii.com/en/eye-tracking-research/global/library/white-papers/the-tobii-i-vt-fixation-filter (дата обращения 27.06.2014).
28. Tobii Studio [Electronic resource]: Eye Tracking Software for Analysis, 2013. URL: http://www.tobii.com/en/eye-tracking-research/global/products/software/tobii-studio-analysis-software (дата обращения 27.06.2014).
29. Voßkühler A., Nordmeier V., Kuchinke L., Jacobs A.M. OGAMA – OpenGazeAndMouseAnalyzer: Open source software designed to analyze eye and mouse movements in slideshow study designs // Behavior Research Methods. 2008. Vol. 40. № 4. P. 1150–1162.
30. RKWard [Electronic resource]: Welcome to RKWard, 2013. URL: http://rkward.sourceforge.net/wiki/Main_Page (дата обращения 27.06.2014).
31. West J.M., Haake A.R., Rozanski E.P., Karn, K.S. EyePatterns: software for identifying patterns and similarities across fixation sequences // ETRA, Proceedings of the 2006 symposium on Eye tracking research & applications. 2006. P. 149–154.