Обзор применения технологии маус-трекинга в психологических исследованиях

 
Аудио генерируется искусственным интеллектом
 23 мин. чтения

Резюме

Цель. Обзор посвящен анализу парадигмы отслеживания движений компьютерной мыши в ситуации альтернативного выбора. Эта парадигма позволяет выявлять отклонения траектории движения мыши от движения в сторону выбранного ответа, что может трактоваться как наличие внутреннего конфликта между ответами. Такой подход позволяет прослеживать динамику выбора, скрывающуюся внутри времени реакции, выявлять наличие конфликта ответов даже в ситуации выбора ожидаемого ответа, а также выявлять факторы, влияющие на усиление или ослабление этого конфликта. Результаты. В статье приведены примеры реализации парадигмы маус-трекинга в решении различных психологических задач, таких как исследования социального познания, контроля действий, исследования принятия экономических решений, памяти, предвзятости суждений, самоконтроля, описаны стандартные экспериментальные процедуры, показатели, а также программное обеспечение для лабораторного проведения, онлайн-тестирования и обработки данных траектории движения мыши.

Общая информация

Ключевые слова: отслеживание движений, маус-трекер, динамика, познавательные процессы, цепные сочетательно-двигательные реакции

Рубрика издания: Инструментарий

Тип материала: научная статья

DOI: https://doi.org/10.17759/exppsy.2025180414

Финансирование. Исследование выполнено в рамках государственного задания № 0138-2025-0002.

Поступила в редакцию 16.12.2023

Поступила после рецензирования 11.04.2025

Принята к публикации

Опубликована

Для цитаты: Сидорчук, А.Р., Коровкин, С.Ю. (2025). Обзор применения технологии маус-трекинга в психологических исследованиях. Экспериментальная психология, 18(4), 228–241. https://doi.org/10.17759/exppsy.2025180414

© Сидорчук А.Р., Коровкин С.Ю., 2025

Лицензия: CC BY-NC 4.0

Полный текст

Введение

Исследователи в области экспериментальной психологии и когнитивной науки сталкиваются с затруднениями в оценке процессов обработки информации когнитивной системой в режиме реального времени. Множество явлений, интересующих исследователей, происходят довольно быстро, всего за несколько сотен миллисекунд. Чтобы понять, как происходит обработка информации в течение долей секунды, требуется отслеживание процесса в режиме реального времени методами с хорошим временным разрешением. Исследователи, например, используют айтрекинг и измерение вызванных потенциалов мозга, однако эти методы достаточно дороги и часто не подходят для изучения многих эмпирических вопросов. В качестве альтернативы исследователи часто используют поведенческие показатели времени реакции или количества ошибок (Логинов, Спиридонов, Мезенцев, 2017). Поведенческие методы не требуют больших затрат, и для их реализации требуется только программное обеспечение. При этом они ограничены в предоставлении данных о том, какие когнитивные процессы скрываются за наблюдаемым временем реакции. Кроме того, исследователи часто вынуждены оставлять вне поля зрения временную динамику этих процессов. Например, в области исследований процесса категоризации в настоящее время существует широкий пласт теорий, описывающих статическое представление знаний о категориях, но временная динамика обработки, ведущая к категорирующим ответам, остается практически неисследованной (Dale, Kehoe, Spivey, 2007). В более широком смысле психические процессы часто рассматриваются как происходящие в абстрактных дискретных последовательностях, а не как зависимые от времени и динамичные во времени (Song, Nakayama, 2008). Кроме того, в научном инструментарии еще нет практичного, недорогого и достаточно чувствительного метода, способного конкретизировать динамику психических явлений в реальном времени. Подобные ограничения требуют разработки метода, который позволял бы отслеживать психические процессы в динамике. Таким методом стал маус-трекинг (метод регистрации траектории движения мыши на мониторе компьютера), позволяющий решить данную задачу благодаря регистрации двигательных реакций испытуемого.

Идея метода изучения когнитивных процессов через отслеживание движений мыши основана на предположении, что когнитивные процессы постоянно проявляются в двигательных реакциях (Freeman, Dale, Farmer, 2011; Song, Nakayama, 2008), поскольку тесная связь между когнитивными и двигательными процессами может быть обнаружена даже на нейрональном уровне (Scherbaum et al., 2010). В настоящее время имеется множество доказательств того, что двигательная реакция, такая как траектория движения руки, постоянно корректируется перцептивно-когнитивными процессами с течением времени (Gold, Shadlen, 2001; Song, Nakayama, 2009; Szaszi et al., 2018). Например, когда субъект пытается захватить постоянно движущийся объект, траектория движений захвата постоянно регулируется с целью достижения новой точки в пространстве, приближающей руку субъекта к объекту (Goodale, Pelisson, Prablanc, 1986). Аналогично, при перемещении пальца для того, чтобы указать на цель, неосознаваемые праймы влияют на плавное изменение его траектории (Finkbeiner et al., 2008). Результаты данных исследований указывают на возможность использования показателей двигательных реакций в режиме реального времени в качестве источника информации о временной динамике когнитивной переработки (Freeman, Ambady, 2010; Song, Nakayama, 2008).

Основная цель данной работы состоит в анализе стандартизированных процедур регистрации двигательной активности испытуемого на примере отслеживания движения компьютерной мыши. Маус-трекинг используется в широком диапазоне психологических исследований, таких как UX-исследования, взаимодействие человека и компьютера, оценка функциональных состояний, регистрация движений при решении задач и т. д. (Логинов, Спиридонов, Мезенцев, 2017; Freeman, 2018; Stillman, Medvedev, Ferguson, 2017). Для таких разнообразных задач требуются разные метрики, разные временные и пространственные интервалы, а также разное программное обеспечение. Однако во многих психологических и когнитивных исследованиях, дизайн которых построен на простом выборе между альтернативами с регистрацией ответа и времени реакции, может быть реализована базовая парадигма отслеживания движений компьютерной мыши при альтернативном выборе. В самой простой версии испытуемые выбирают между двумя альтернативами, которые представлены в виде кнопок в верхнем левом и верхнем правом углах экрана компьютера. Испытуемые выбирают кнопку, наводя на нее курсор, положение которого постоянно записывается, что приводит к записи полноценной траектории компьютерной мыши для каждой пробы (записывается временной ряд координат x и y). Считается, что курсор мыши имеет тенденцию сдвигаться к варианту с более высокой активацией в каждый момент времени (Spivey, Grosjean, Knoblich, 2005). Соответственно, отслеживание движений компьютерной мыши можно, например, использовать для определения степени конфликта между вариантами ответа во время принятия решения. Запись движения компьютерной мыши с траекториями, которые больше отклоняются в сторону невыбранного в конечном итоге варианта, указывают на наличие конфликтов выбора.

В основе парадигмы движения компьютерной мыши при выборе ответа, используемой для решения разных психологических задач, лежит общее теоретическое допущение, что наблюдаемое отклонение траектории является результатом конфликта между интуитивными и аналитическими процессами. Однако до конца не ясно, возникает ли этот конфликт из-за того, что интуитивный и аналитический ответы активируются одновременно и конфликт возникает между активированными ответами. Конфликт также может возникать из-за того, что аналитические процессы могут обнаруживать сомнительность интуитивного ответа уже по ходу принятия решения. Поскольку сама методика включает в себя процедуру выбора из двух альтернатив, то траектория движения компьютерной мыши, в первую очередь, отражает динамику принятия решения, а отклонения в траектории движения сигнализируют о наличии или отсутствии конфликта между Системой 1 и Системой 2 (Travers, Rolison, Feeney, 2016). А вот теоретическое объяснение природы интуитивного предпочтения может отличаться в разных областях, в которых приложима эта исследовательская парадигма.

Области применения

Парадигма отслеживания траектории движения компьютерной мыши предоставила две основные возможности для проверки психологических теорий (Freeman, 2018; Stillman, Medvedev, Ferguson, 2017): во-первых, такой подход позволяет проверить влияние индивидуальных различий и контекстуальных факторов на конфликт, связанный с генерацией решения; во-вторых, позволяет исследователям оценить развитие и разрешение этого конфликта в ходе процесса принятия решения. Это позволяет проверить предсказания теорий о том, как разворачиваются решения и суждения во времени.

Для иллюстрации рассмотрим типичное исследование по отслеживанию траектории движений компьютерной мыши в ситуации альтернативного выбора из работы Дейла, Кехо и Спайви (Dale, Kehoe, Spivey, 2007). В начале каждой пробы участникам предъявлялись две категории животных в качестве альтернатив ответа (например, «млекопитающие» и «рыбы») в лексическом или визуальном формате. Затем участники нажимали кнопку «Пуск» и появлялось название животного, которое участники должны были отнести к одной из предложенных категорий. Результаты показали, что траектории движения компьютерной мыши при классификации атипичных представителей категории (например, «кит» как млекопитающее) имели большую кривизну в сторону конкурирующей категории (например, «рыба») по сравнению с типичными представителями (например, «кот»). Авторы выявили, что конкурирующие категории стимулов приводят к динамическому пространственному «притяжению» траекторий движения компьютерной мыши, что указывает на наличие и разрешение конфликта в процессе категоризации. Исследователи предполагают, что атипичные представители категории в определенной степени активируют оба варианта ответа, тогда как типичные экземпляры в основном активируют только правильную категорию. Результаты также показали, что изменение контекста влияло на траектории движения мыши, что указывает на то, что процесс категоризации не является статичным и может изменяться в зависимости от внешних факторов. Такого рода экспериментальные исследования характеризуются типовой процедурой, а именно — предъявляются простые стимулы (то есть отдельные слова), которые участники должны отнести к одной из двух альтернатив в схеме принудительного выбора, одна из которых является верным решением; осуществляется манипуляция внутренними переменными (например, в описываемом исследовании типичностью стимула) с направленной гипотезой относительно его влияния на траекторию движения мыши.

Хотя метод отслеживания движений компьютерной мыши впервые был применен в области языковой обработки (Dale, Kehoe, Spivey, 2007; Spivey, Dale, 2006), с тех пор оно распространилось на многие другие области психологических исследований. Исследования с использованием этого метода охватили широкий круг психологических тем, которые будут описаны далее.

  1. Исследования социального познания. Регистрация траектории движения мыши позволяет анализировать влияние социальной категоризации на восприятие людей (Freeman, Ambady, 2009; Freeman et al., 2008; Stillman, Shen, Ferguson, 2018). В эксперименте на классификацию стимулов с нетипичными половыми признаками (например, маскулинизированное лицо женщины) траектории движений мыши участников демонстрировали постоянное «притяжение» к категории противоположного пола до стабилизации на правильном ответе. Результаты данного исследования поддерживают теорию динамической непрерывности в социальном категорировании, указывающей на тот факт, что одновременно и частично могут активироваться множественные категории, в отличие от традиционных дискретных моделей, предполагающих последовательную активацию категорий.

Спонтанным ответом субъекта при решении социальных дилемм является «сотрудничество», в то время как «предательство» требует решения внутреннего конфликта (Kieslich, Hilbig, 2014). Движения мыши отслеживали в процессе в ходе решения испытуемыми простых социальных дилемм для двух человек с двумя вариантами ответов (сотрудничество и предательство). Траектории движений мыши были более искривлены (под влиянием невыбранного варианта), когда испытуемые выбирали вариант «предательства». Другими словами, на основании регистрации движений компьютерной мыши было показано, что кооперативный вариант оказывал большее «притяжение» в случае выбора предательства, чем некооперативный вариант (предательство) в случае сотрудничества. Этот эффект был устойчивым для различных типов социальных дилемм и имел место даже в «дилемме заключенного», где предательство преобладает на уровне выбора в целом.

  1. Исследования контроля действий. Исследования движения мыши могут быть использованы в рамках изучения эффекта Саймона — феномена, при котором время реакции на стимул и траектория движений мыши улучшаются, когда пространственное расположение стимула соответствует пространственному расположению ответа, даже если пространственное расположение стимула является нерелевантным для задачи (Liberman, Trope, 2008; Scherbaum, Kieslich, 2018; Scherbaum et al., 2010). В экспериментах по изучению эффекта Саймона участники получают задание нажать кнопку слева, если основной и контрольный стимулы одного цвета, например зеленого, или нажать кнопку справа, если контрольный стимул другого цвета — например, красного. Несмотря на то, что сторона, на которой появляется стимул, логически не имеет отношения к задаче, нажатие левой кнопки имеет более короткое время ожидания для ответов на стимулы слева, чем на стимулы справа, а нажатия правой кнопки имеют более короткое время выбора для стимулов справа, чем для стимулов слева. Влияние высокой конфликтности на неконгруэнтные стимулы проявляется в увеличении времени реакции и в более выраженном искривлении траекторий движения мыши в сторону конфликтующего ответа. В дальнейшем исследователи (Scherbaum, Kieslich, 2018) сравнили динамическую и статическую процедуры начала демонстрации стимула, выявив, что динамическая процедура, требующая инициирования движения мыши для начала демонстрации стимула, обеспечивает более высокую согласованность и надежность данных по сравнению со статической, где стимул появляется автоматически после заданной временной задержки.
  2. Исследования принятия экономических решений. Исследования (Calluso et al., 2015; Dshemuchadse, Scherbaum, Goschke, 2013) показывают, что участники демонстрируют различные паттерны движения мыши в зависимости от того, выбирают ли они немедленное или отложенное вознаграждение. Участникам предлагают осуществить серию выборов между двумя разными суммами денежного вознаграждения. Одна из сумм была доступна испытуемому немедленно, а другая предлагалась с разной задержкой во времени. Такие параметры, как кривизна траектории движения мыши, служат индикаторами уровня неопределенности и динамики когнитивных процессов. Например, большая кривизна указывает на высокую степень неопределенности в выборе, что характерно для участников, предпочитающих немедленные вознаграждения (Calluso et al., 2015). Выбор более отдаленных, но вместе с тем более крупных вознаграждений, характеризуется большей кривизной траектории, что указывает на необходимость преодоления притяжения более быстрых, но меньших наград. Изменение формата представления времени (использование календарных дат вместо временных интервалов) снизило склонность к немедленному подкреплению, что указывает на существенное влияние восприятия времени на процесс принятия решений (Dshemuchadse, Scherbaum, Goschke, 2013).

Исследование возможностей регистрации движения глаз в изучении принятия решения на основе потенциального выигрыша в условиях риска (Koop, Johnson, 2011) проводится на материале игрового теста Айова, где предлагается в формате азартной игры определить выигрышную стратегию, выбирая между «хорошими» (низкие риски и небольшой выигрыш) и «плохими» (высокий выигрыш, но очень высокий риск) колодами карт. В Айова-тесте наблюдается постепенный сдвиг выбора в пользу хороших колод, что проявляется в постепенном выпрямлении траекторий в пользу хороших и уменьшении притяжения со стороны плохих колод. Можно наблюдать, что на выбор участников влияют предыдущие исходы (выигрыши или проигрыши). В частности, после проигрыша выбор плохих колод значительно сокращается по сравнению с выигрышем (Koop, Johnson, 2011).

  1. Исследования памяти. Исследования (Koop, Criss, 2016) показывают, что оценка паттернов динамики движения мыши позволяет различать изменения в критериях принятия решений и распределении признаков объекта в памяти в заданиях на узнавание, манипулируя глубиной кодирования. В группе с «сильным» кодированием участникам предлагалось оценить слова на предмет приятности или неприятности, а в группе со «слабым» кодированием предлагалось оценить тот же список слов на предмет наличия или отсутствия в них буквы «e» с помощью стрелок на клавиатуре. В основной серии перед участниками стояла задача ответить с помощью компьютерной мыши, видели ли они предъявленное слово в предварительной серии. В результате эксперимента были получены данные о том, что в условиях «сильного» кодирования участники продемонстрировали более низкие показатели ложных отклонений траекторий относительно «слабых» условий кодирования. То есть при «сильном» кодировании участники были более уверены в собственном ответе, чем в случае со «слабым» кодированием. Таким образом, исследование показало, что регистрация первоначального движения при моторном ответе является чувствительным методом для выявления влияния глубины кодирования на узнавание.
  2. Исследование предвзятости суждений. Использование отслеживания движений мыши проводилось также на материале теста когнитивной рефлексии (CRT) (Travers, Rolison, Feeney, 2016), предназначенного для оценки способности субъекта подавлять неправильные интуитивные решения в пользу верных аналитических решений. Задачи были модифицированы на конфликтный и бесконфликтный варианты и рандомно предъявлялись каждому испытуемому в одном из двух условий. Например, конфликтный вариант задачи: «Если 3 эльфа смогут завернуть 3 игрушки за 1 час, сколько эльфов нужно, чтобы завернуть 6 игрушек за 2 часа? (3)», бесконфликтный вариант задачи: «Если 3 эльфа смогут завернуть 3 игрушки за 1 час, сколько игрушек могли бы завернуть 6 эльфов за полчаса? (3)». Анализ траекторий движения курсора мыши показал, что участников изначально привлекал неправильный (т. е. интуитивный) вариант, даже когда в конечном итоге был выбран правильный (аналитический) вариант. В то же время аналитический вариант не обладал достаточным притяжением для искривления траектории. Авторы делают вывод, что интуитивные процессы активируются автоматически и должны быть отторможены.

В исследовании с использованием теста на игнорирование знаменателя (Szaszi et al., 2018), в котором участники выбирают большее из двух отношений и ошибочно сосредоточиваются на числителях, а не на общих отношениях, было показано, что некоторые испытуемые чаще начинают с правильного ответа. Такие результаты ставят под сомнение распространенное мнение о том, что люди всегда начинают с неправильного ответа в задачах на эвристики. Также было показано, что более высокие когнитивные способности связаны с большей вероятностью начать с правильного ответа, со склонностью придерживаться первоначального правильного ответа, а также с более высокой вероятностью изменения своего ответа в случае, если первоначальный ответ оказался неправильным.

  1. Исследования самоконтроля (Stillman, Shen, Ferguson, 2018; Sullivan et al., 2015). Исследования самоконтроля удобно проводить на материале выбора здоровой и нездоровой пищи. В эксперименте Салливан и коллег (Sullivan et al., 2015), в котором было необходимо выбирать между здоровой и нездоровой пищей, было выявлено сильное притяжение со стороны нездоровой альтернативы даже при итоговом выборе здоровой еды. Авторы показали, что предпочтения в пользу нездоровой, но вкусной, пищи обусловлены более быстрой (на 195 мс) переработкой информации о вкусе еды по сравнению со знаниями о пользе. В другом исследовании Стиллман и коллеги (Stillman, Shen, Ferguson, 2018) продемонстрировали связь между самоконтролем и выбором сиюминутных искушений на материале выбора нездоровой пищи и отдаленных целей на материале финансовых решений. Их результаты показали, что люди с высокой способностью к самоконтролю демонстрируют меньший уровень конфликта. Исследование также выявило, что успешный выбор долгосрочных целей сопровождается плавными движениями мыши, без резких изменений направления, что указывает на динамическое, а не последовательное разрешение конфликтов. Кроме того, было показано, что лучшим показателем притяжения траектории к невыбранной альтернативе является площадь под кривой траектории движения мыши (area under the curve - AUC). Используя анализ площади AUC (рис. 1), авторы получили больший конфликт в пробах, требующих самоконтроля, по сравнению с контрольным условием без привлекательной альтернативы.
Рис. 1
Рис. 1. Диаграмма стандартных пространственных координат маус-трекера и расчет показателей пространственного притяжения к альтернативному ответу: максимальное отклонение (MD, maximum deviation) и площадь под кривой (AUC, area under the curve)
Fig. 1. Diagram of standard spatial coordinates of the mouse tracker and calculation of the indices of spatial attraction to the alternative response: maximum deviation (MD) and area under the curve (AUC)

Эти и многие другие исследования недавно были обобщены в трех обзорах по исследованию движений мыши (Freeman, 2018; Kieslich, 2018; Szaszi et al., 2018).

Программное обеспечение

Экспериментаторы, стремящиеся провести исследование, связанное с отслеживанием движений мыши, обычно не могут полагаться на стандартные экспериментальные средства. Пакеты программного обеспечения без дальнейших модификаций в большинстве своем не поддерживают непрерывную запись движений курсора мыши. Кроме того, необработанные данные отслеживания движений мыши более сложны, чем данные, собранные в стандартных психологических экспериментах, и требуют ряда предварительных обработок, которые обычно не охватываются универсальным статистическим программным обеспечением. Поэтому исследователям приходится делать выбор между двумя путями создания экспериментов по отслеживанию траектории движений мыши.

В качестве первого пути исследователи разрабатывают собственную программу для отслеживания движений мыши с нуля в выбранной экспериментальной программной среде (Логинов, Спиридонов, Мезенцев, 2017; Koop, Johnson, 2011; Scherbaum, Kieslich, 2018; Spivey, Dale, 2006). Такой подход позволяет адаптировать экспериментальные процедуры к конкретным задачам исследования, однако он также требует досконального знания экспериментального программного обеспечения, а также навыков программирования. Кроме того, необходимо писать собственные скрипты для предварительной обработки собранных данных, что требует еще более продвинутых навыков программирования и временных затрат. Такие решения часто ограничиваются определенной парадигмой и подходом к анализу и не могут быть легко адаптированы к задачам других проектов.

В качестве второго пути исследователи используют MouseTracker1 (Freeman, Ambady, 2010) — пакет программного обеспечения, предназначенный специально для создания экспериментов, связанных с отслеживанием движений мыши. Он обеспечивает графический пользовательский интерфейс для разработки экрана эксперимента, на котором отображается отслеживание движений мыши, а материал экспериментальной процедуры затем сохраняется в csv-файле. MouseTracker играет важную роль в создании метода отслеживания движений мыши, доступен исследователям, позволяет конструировать простые эксперименты по отслеживанию движений мыши без необходимости программирования. Однако MouseTracker также накладывает значительные ограничения на исследования, поскольку он предлагает только ограниченный набор параметров для тонкой настройки экспериментов и не имеет настроек для выполнения сложных экспериментальных планов. Для обработки и анализа данных MouseTracker позволяет рассмотреть траектории движения мыши, визуализируя основные этапы предварительной обработки. Однако, как и в случае с дизайном исследования, фиксированный и ограниченный набор параметров анализа делает MouseTracker относительно негибким. Данный метод не позволяет выполнять статистическую обработку, требующую импорта предварительно обработанных данных в другое программное обеспечение. Кроме того, программа обрабатывает только те данные, которые она собрала сама, что ограничивает ее потенциал в качестве инструмента анализа. Хотя сам MouseTracker доступен бесплатно, его исходный код не находится в отрытом доступе, и, кроме того, его можно использовать только в системах Windows.

Для разрешения этих ограничений Кислих с коллегами применил новый подход, расширив универсальное экспериментальное и статистическое программное обеспечение для реализации отслеживания движений мыши, а также сбора и анализа данных (Kieslich, Henninger, 2017; Van der Wel et al., 2009). Оно сочетает в себе простоту использования, обеспечиваемую существующим программным обеспечением, а также гибкость инструментов с открытым исходным кодом, которые можно расширять и адаптировать под свои задачи. Для создания экспериментов по отслеживанию движений мыши они разработали подключаемый модуль Mousetrap (Kieslich, Henninger, 2017) в среде OpenSesame (Mathôt, Schreij, Theeuwes, 2012). Этот модуль позволяет проводить эксперименты по отслеживанию движений мыши с помощью графического пользовательского интерфейса, который не требует серьезных навыков программирования. Благодаря интеграции с программным обеспечением для проведения экспериментов (OpenSesame) данный инструмент обладает гибкостью и поддерживает широкий спектр экспериментов. Сложные задачи, а также расширенные функции, такие как быстрая генерация стимулов и обратная связь, могут быть реализованы с помощью базового языка программирования Python. OpenSesame также позволяет комбинировать отслеживание движений мыши с другими функциями и дополнительными плагинами, включая интеграцию внешнего оборудования (например, с айтрекером).

Для обработки, анализа и визуализации данных отслеживания движений мыши Кислих и коллеги разработали программный пакет mousetrap для языка статистического программирования R (Wulff et al., 2019). Этот пакет охватывает весь процесс от импорта до предварительной обработки движений мыши. Mousetracker поддерживает необработанные данные в различных форматах. Поскольку пакет Mousetracker интегрирован в язык R, исследователи могут использовать множество доступных пакетов описательной статистики, для возможности выполнения полного процесса подготовки и анализа данных в одной среде. Все названное выше программное обеспечение имеет открытый исходный код и доступно бесплатно для всех основных платформ (Windows, Linux и MacOS). Это имеет большое значение в свете текущего тренда к открытой науке и позволяет исследователям делиться своими материалами и экспериментами с коллегами, которые могут напрямую запускать их в собственных лабораториях. Благодаря этому упрощается выполнение как прямых репликаций, так и более сложных экспериментов на базе предыдущих. Наконец, поскольку полный исходный код программного обеспечения является открытым, опытные пользователи могут проверять и адаптировать каждую реализованную функцию, будь то конкретная операция предварительной обработки или вычисление конкретных значений отслеживания движений мыши (Kieslich, 2018).

На сегодняшний день все актуальнее становится возможность проведения онлайн-экспериментов, для чего наиболее подходит язык программирования JavaScript, поддерживаемый браузерами. Наиболее доступными на текущий момент ресурсами являются jsPsych2 и lab.js3 — это среды Java Script для создания поведенческих экспериментов, которые можно запускать в браузере. Эксперименты в jsPsych и lab.js создаются с помощью плагинов. Каждый плагин определяет разные виды событий — например, отображение картинки на экране. Плагины собирают различные виды данных, например запись того, какая клавиша была нажата и в какое время. Экспериментаторы могут использовать подключаемые модули, входящие в состав jsPsych и lab.js, или создавать свои собственные подключаемые модули. Возможность записи и отслеживания движений мыши представлена в jsPsych в виде расширения mouse-tracking, а в lab.js в виде плагина Mousetrap, которые позволяют записывать движения мыши, визуализировать их траектории и записывать их координаты.

Дизайн эксперимента с использованием технологии маус-трекинга

В связи с относительной новизной метода отслеживания движений мыши стандарты для проведения подобного типа экспериментов отсутствуют. Поэтому методологическая установка значительно варьируется в различных исследованиях. Например, в некоторых исследованиях участники указывали на свой ответ, нажимая на соответствующую кнопку (Dale, Kehoe, Spivey, 2007; Freeman et al., 2008; Koop, Johnson, 2011), в то время как в других исследованиях они просто перемещали курсор на кнопку без щелчка (Dshemuchadse, Scherbaum, Goschke, 2013; Huette, McMurray, 2010). В некоторых исследованиях экспериментаторы оставляли настройки чувствительности параметров курсора по умолчанию, например к средней скорости курсора (Kieslich, Hilbig, 2014; Sullivan et al., 2015), в то время как другие намеренно уменьшали скорость курсора и отключали ускорение (Dshemuchadse, Scherbaum, Goschke, 2013; Scherbaum, Kieslich, 2018). Начальная процедура также отличается: в одних исследованиях инструкции участникам относительно начала движения мыши не даются, в других — исследователи прямо инструктируют участников о начале движения в начале пробы (Freeman, Ambady, 2009; Wulff et al., 2021). Существует и третий вариант, при котором исследователи усиливают начальное движение и скрывают критический стимул, пока участники не переместят курсор вверх (Huette, McMurray, 2010; Scherbaum, Kieslich, 2018). При настройке чувствительности мыши рекомендуют уменьшить скорость курсора и отключить ускорение, чтобы лучше зафиксировать когнитивные эффекты в траекториях мыши (Fischer, Hartmann, 2014), так как для этого участники должны плавно перемещать руку на большее расстояние. Однако эти подходы не были в достаточной степени проверены эмпирически. Иными словами, хотя некоторые основные рекомендации по организации исследований и существуют, они в большинстве своем основаны на теоретических соображениях.

По мнению Кислиха (Kieslich, 2018), крайне важно понять влияние методологической установки в работах по отслеживанию движений мыши. Если факторы дизайна влияют на данные отслеживания движений мыши, то это влияние распространяется и на теоретические выводы. Например, во многих исследованиях использовалась форма траектории движений мыши для определения теоретической модели, наиболее эффективно описывающей конкретный когнитивный процесс. Зависимость данной формы не только от познавательного процесса, но и от методологической установки существенно ограничивает выводы, сформулированные исключительно на основании анализа формы траектории.

Заключение и выводы

Обзор использования технологии регистрации движения мыши в психологических исследованиях показывает наличие тесной связи между моторной и когнитивной динамикой. Данный подход к изучению когнитивных процессов имеет особые перспективы, так как в настоящее время существуют доступные и удобные в использовании программные продукты для создания и анализа данных, полученных в экспериментах по отслеживанию движений мыши (Freeman, Ambady, 2010; Kieslich, 2018). Таким образом, вместо того чтобы измерять окончательное время ответа, исследователи могут легко превратить такие ответы в непрерывные данные, используя не сложное специализированное оборудование, а лишь компьютер и компьютерную мышь. При таком подходе исследователям предоставляется множество способов измерения и анализа траекторий движения мыши.

Однако, несмотря на применимость и успехи, достигнутые в цитируемых работах, существуют некоторые вопросы, которые требуют дополнительных исследований. Пока остается открытым вопрос о том, каким образом познание перетекает в действие (Spivey, Grosjean, Knoblich, 2005; Wulff et al., 2021). Ответ на этот вопрос расширит границы применения метода в психологических исследованиях.

Также необходимо проведение исследований по изучению конкретных когнитивных процессов, непосредственно определяемых движениями рук. Выше были описаны исследования моторной конкуренции, но к таким процессам можно отнести и параллельные конкурирующие реакции, и процессы реализации различных стратегий выполнения когнитивной задачи. Таким образом, выводы, полученные в результате исследований с использованием маус-трекинга, могут послужить связью между различными областями психологической науки и помогать отслеживать динамику психических процессов в реальном времени.


1 https://www.mousetracker.org/

2 https://www.jspsych.org/

3 https://lab.js.org/

Литература

  1. Логинов, Н.И., Спиридонов, В.Ф., Мезенцев, О.А. (2017). Движения в структуре решения инсайтных задач (на материале задачи 9 точек). Вестник Российского университета дружбы народов. Серия: Психология и педагогика, 14(2), 201—212. 
    Loginov, N.I., Spiridonov, V.F., Mezentsev, O.A. (2017). Movements within the framework of insight problem solving (based on the 9-point problem). Bulletin of the Peoples’ Friendship University of Russia. Series: Psychology and Pedagogy, 14(2), 201—212. (In Russ.).
  2. Calluso, C., Committeri, G., Pezzulo, G., Lepora, N., Tosoni, A. (2015). Analysis of hand kinematics reveals inter-individual differences in intertemporal decision dynamics. Experimental brain research, 233, 3597—3611. https://doi.org/10.1007/s00221-015-4427-1
  3. Dale, R., Kehoe, C., Spivey, M.J. (2007). Graded motor responses in the time course of categorizing atypical exemplars. Memory & Cognition, 35, 15—28. https://doi.org/10.3758/BF03195938
  4. Dshemuchadse, M., Scherbaum, S., Goschke, T. (2013). How decisions emerge: action dynamics in intertemporal decision making. Journal of Experimental Psychology: General, 142(1), 93—100. https://doi.org/10.1037/a0028499
  5. Finkbeiner, M., Song, J.-H., Nakayama, K., Caramazza, A. (2008). Engaging the motor system with masked orthographic primes: A kinematic analysis. Visual cognition, 16(1), 11—22. https://doi.org/10.1080/13506280701203838
  6. Fischer, M.H., Hartmann, M. (2014). Pushing forward in embodied cognition: may we mouse the mathematical mind? Frontiers in psychology, 5. https://doi.org/3389/fpsyg.2014.01315
  7. Freeman, J.B. (2018). Doing psychological science by hand. Current directions in psychological science, 27(5), 315—323. https://doi.org/10.1177/0963721417746793
  8. Freeman, J.B., Ambady, N. (2009). Motions of the hand expose the partial and parallel activation of stereotypes. Psychological science, 20(10), 1183—1188. https://doi.org/10.1111/j.1467-9280.2009.02422.x
  9. Freeman, J.B., Ambady, N. (2010). MouseTracker: Software for studying real-time mental processing using a computer mouse-tracking method. Behavior research methods, 42(1), 226—241. https://doi.org/10.3758/BRM.42.1.226
  10. Freeman, J.B., Dale, R., Farmer, T.A. (2011). Hand in motion reveals mind in motion. Frontiers in psychology, 2, 59. https://doi.org/3389/fpsyg.2011.00059
  11. Freeman, J.B., Ambady, N., Rule, N.O., Johnson, K.L. (2008). Will a category cue attract you? Motor output reveals dynamic competition across person construal. Journal of Experimental Psychology: General, 137(4), 673—690. https://doi.org/1037/a0013875
  12. Goodale, M.A., Pelisson, D., Prablanc, C. (1986). Large adjustments in visually guided reaching do not depend on vision of the hand or perception of target displacement. Nature, 320(6064), 748—750. https://doi.org/10.1038/320748a0
  13. Gold, J.I., Shadlen, M.N. (2001). Neural computations that underlie decisions about sensory stimuli. Trends in cognitive sciences, 5(1), 10—16. https://doi.org/10.1016/s1364-6613(00)01567-9
  14. Huette, S., McMurray, B. (2010). Continuous dynamics of color categorization. Psychonomic Bulletin & Review, 17, 348—354. https://doi.org/10.3758/PBR.17.3.348
  15. Kieslich, P.J. (2018). Advancing mouse-tracking research: new solutions for study design, implementation and analysis. Dissertation for the degree Doctor of Social Sciences.
  16. Kieslich, P.J., Henninger, F. (2017). Mousetrap: An integrated, open-source mouse-tracking package. Behavior research methods, 49, 1652—1667. https://doi.org/10.3758/s13428-017-0900-z
  17. Kieslich, P.J., Hilbig, B.E. (2014). Cognitive conflict in social dilemmas: An analysis of response dynamics. Judgment and Decision making, 9(6), 510—522. https://doi.org/10.1017/S1930297500006392
  18. Koop, G.J., Criss, A.H. (2016). The response dynamics of recognition memory: Sensitivity and bias. Journal of Experimental Psychology: Learning, Memory, and Cognition, 42(5), 671—685. https://doi.org/10.1037/xlm0000202
  19. Koop, G.J., Johnson, J.G. (2011). Response dynamics: A new window on the decision process. Judgment and Decision making, 6(8), 750—758. https://doi.org/10.1017/S1930297500004186
  20. Liberman, N., Trope, Y. (2008). The psychology of transcending the here and now. Science, 322, 1201—1205. https://doi.org/10.1126/science.1161958
  21. Mathôt, S., Schreij, D., Theeuwes, J. (2012). OpenSesame: An open-source, graphical experiment builder for the social sciences. Behavior research methods, 44, 314—324. https://doi.org/10.3758/s13428-011-0168-7
  22. Scherbaum, S., Kieslich, P.J. (2018). Stuck at the starting line: How the starting procedure influences mouse-tracking data. Behavior Research Methods, 50, 2097—2110. https://doi.org/10.3758/s13428-017-0977-4
  23. Scherbaum, S., Dshemuchadse, M., Fischer, R., Goschke, T. (2010). How decisions evolve: The temporal dynamics of action selection. Cognition, 115(3), 407—416. https://doi.org/10.1016/j.cognition.2010.02.004
  24. Song, J.-H., Nakayama, K. (2009). Hidden cognitive states revealed in choice reaching tasks. Trends in cognitive sciences, 13(8), 360—366. https://doi.org/10.1016/j.tics.2009.04.009
  25. Song, J.-H., Nakayama, K. (2008). Numeric comparison in a visually-guided manual reaching task. Cognition, 106(2), 994—1003. https://doi.org/10.1016/j.cognition.2007.03.014
  26. Spivey, M.J., Dale, R. (2006). Continuous dynamics in real-time cognition. Current Directions in Psychological Science, 15(5), 207—211. https://doi.org/10.1111/j.1467-8721.2006.00437.x
  27. Spivey, M.J., Grosjean, M., Knoblich, G. (2005). Continuous attraction toward phonological competitors. Proceedings of the National Academy of Sciences, 102(29), 10393—10398. https://doi.org/10.1073/pnas.0503903102
  28. Stillman, P.E., Medvedev, D., Ferguson, M.J. (2017). Resisting temptation: Tracking how self-control conflicts are successfully resolved in real time. Psychological science, 28(9), 1240—1258. https://doi.org/10.1177/0956797617705386
  29. Stillman, P.E., Shen, X., Ferguson, M.J. (2018). How mouse-tracking can advance social cognitive theory. Trends in cognitive sciences, 22(6), 531—543. https://doi.org/10.1016/j.tics.2018.03.012
  30. Sullivan, N., Hutcherson, C., Harris, A., Rangel, A. (2015). Dietary self-control is related to the speed with which attributes of healthfulness and tastiness are processed. Psychological science, 26(2), 122—134. https://doi.org/10.1177/0956797614559543
  31. Szaszi, B., Palfi, B., Szollosi, A., Kieslich, P.J., Aczel, B. (2018). Thinking dynamics and individual differences: Mouse-tracking analysis of the denominator neglect task. Judgment and Decision Making, 13(1), 23—32. https://doi.org/10.1017/S1930297500008792
  32. Travers, E., Rolison, J.J., Feeney, A. (2016). The time course of conflict on the Cognitive Reflection Test. Cognition, 150, 109—118. https://doi.org/10.1016/j.cognition.2016.01.015
  33. Van der Wel, R.P., Eder, J.R., Mitchel, A.D., Walsh, M.M., Rosenbaum, D.A. (2009). Trajectories emerging from discrete versus continuous processing models in phonological competitor tasks: a commentary on Spivey, Grosjean, and Knoblich (2005). Journal of Experimental Psychology: Human Perception and Performance, 35(2), 588—594. https://doi.org/10.1037/0096-1523.35.2.588
  34. Wulff, D.U., Haslbeck, J.M.B., Kieslich, P.J., Henninger, F., Schulte-Mecklenbeck, M. (2019). Mouse-tracking: Detecting types in movement trajectories. Routledge.
  35. Wulff, D.U., Kieslich, P.J., Henninger, F., Haslbeck, J.M.B., Schulte-Mecklenbeck, M. (2021). Movement tracking of cognitive processes: A tutorial using mousetrap. PsyArXiv. https://doi.org/10.31234/osf.io/v685r

Информация об авторах

Александра Романовна Сидорчук, сотрудник лаборатории когнитивных исследований, Ярославский государственный университет имени П.Г. Демидова (ФГБОУ «ЯрГУ им. П.Г. Демидова»), Ярославль, Российская Федерация, ORCID: https://orcid.org/0009-0009-8556-0851, e-mail: alexandrasidor4uk@gmail.com

Сергей Юрьевич Коровкин, доктор психологических наук, профессор кафедры общей психологии, заведующий лабораторией когнитивных исследований, Ярославский государственный университет им. П. Г. Демидова (ЯрГУ имени П.Г. Демидова), заведующий лабораторией психологии и психофизиологии творчества, Институт психологии Российской академии наук (ФГБУН ИП РАН), Ярославль, Российская Федерация, ORCID: https://orcid.org/0000-0001-7890-4366, e-mail: korovkin_su@list.ru

Вклад авторов

Сидорчук А.Р. — идеи исследования; аннотирование, написание и оформление рукописи; планирование исследования; создание скрипта для проведения исследования; проведение эксперимента; сбор данных.

Коровкин С.Ю. — идеи исследования; планирование исследования, применение статистических, математических и других методов для анализа данных; контроль за проведением исследования; анализ данных; визуализация результатов исследования.

Оба автора приняли участие в обсуждении результатов и согласовали окончательный текст рукописи.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.

Метрики

 Просмотров web

За все время: 3
В прошлом месяце: 0
В текущем месяце: 3

 Скачиваний PDF

За все время: 1
В прошлом месяце: 0
В текущем месяце: 1

 Всего

За все время: 4
В прошлом месяце: 0
В текущем месяце: 4