Синхронная регистрация движений глаз и ЭЭГ: применение в психолингвистике

Разработан метод синхронной регистрации движений глаз и ЭЭГ у человека. Движения глаз отражают процессы зрительно-моторной деятельности при выполнении различных когнитивных задач, а ЭЭГ отражает функциональное состояние ЦНС, связанное с ментальными процессами. Видеорегистрация движений глаз с высоким временным разрешением (250 Гц) дает возможность сопоставления глазодвигательных компонентов когнитивной деятельности с динамикой ЭЭГ.

Исследовали психофизиологические корреляты психолингвистических процессов, в частности, при разрешении синтаксической неоднозначности в русском языке. С этой целью разработана оригинальная методика, в которой интегрированы традиционные психофизиологические подходы для исследования механизмов селективного внимания и принятия решения в условиях априорной когнитивной сложности различных синтаксических конструкций. Уникальность методики состоит в том, что регистрация ЭЭГ одновременно с видеозаписью движений глаз открывает возможность анализа когнитивной зрительно-моторной деятельности (например, при чтении текстов) и сопровождающих ее физиологических параметров, отражающих функциональное состояние ЦНС. В работе исследована динамика ЭЭГ испытуемых при прочтении ими предложений, содержащих синтаксическую неоднозначность (например, «Юноша тихо попрощался с дочерью хозяйки, которая зашла в гости»), и предложений без синтаксической неоднозначности (например, «Студент негромко говорил со своей племянницей, которая ему не нравилась»).

Неотъемлемым компонентом любой когнитивной деятельности являются процессы внимания (Jenkin, Harris, 2001). Объективным маркером вовлечения внимания у человека является депрессия ЭЭГ в альфа-диапазоне (Pfurtscheller, Lopes da Silva, 1999; Show, 2003). Таким образом, динамика ЭЭГ при чтении текстов объективно отражает ментальные процессы, связанные с анализом текстовой информации.

В настоящее время в науке и практике интенсивно развиваются методы регистрации быстропротекающих процессов (в том числе движений глаз) при помощи высокоскоростных цифровых видеокамер (Duchowski, 2003; Yagi et al., 2005). Цифровой формат позволяет обрабатывать видеозаписи с помощью различного программного обеспечения, выделяя события в любой момент времени. Видеорегистрация изображения глаза с высоким временным разрешением (250 Гц) дает возможность анализа глазодвигательных паттернов при чтении и их сопоставления с ЭЭГ. Принцип построения регистрирующего комплекса позволяет синхронизовать множество дополнительных устройств, которые также можно использовать для регистрации физиологических параметров (например, вегетативных), характеризующих состояние испытуемого.

Исследовали психофизиологические корреляты психолингвистических процессов, в частности, при разрешении синтаксической неоднозначности в русском языке. С этой целью разработана оригинальная методика, в которой интегрированы традиционные психофизиологические подходы для исследования механизмов селективного внимания и принятия решения в условиях априорной когнитивной сложности различных синтаксических конструкций. Уникальность методики состоит в том, что регистрация ЭЭГ одновременно с видеозаписью движений глаз открывает возможность анализа когнитивной зрительно-моторной деятельности (например, при чтении текстов) и сопровождающих ее физиологических параметров, отражающих функциональное состояние ЦНС. В работе исследована динамика ЭЭГ испытуемых при прочтении ими предложений, содержащих синтаксическую неоднозначность (например, «Юноша тихо попрощался с дочерью хозяйки, которая зашла в гости»), и предложений без синтаксической неоднозначности (например, «Студент негромко говорил со своей племянницей, которая ему не нравилась»).

Неотъемлемым компонентом любой когнитивной деятельности являются процессы внимания (Jenkin, Harris, 2001). Объективным маркером вовлечения внимания у человека является депрессия ЭЭГ в альфа-диапазоне (Pfurtscheller, Lopes da Silva, 1999; Show, 2003). Таким образом, динамика ЭЭГ при чтении текстов объективно отражает ментальные процессы, связанные с анализом текстовой информации.

В настоящее время в науке и практике интенсивно развиваются методы регистрации быстропротекающих процессов (в том числе движений глаз) при помощи высокоскоростных цифровых видеокамер (Duchowski, 2003; Yagi et al., 2005). Цифровой формат позволяет обрабатывать видеозаписи с помощью различного программного обеспечения, выделяя события в любой момент времени. Видеорегистрация изображения глаза с высоким временным разрешением (250 Гц) дает возможность анализа глазодвигательных паттернов при чтении и их сопоставления с ЭЭГ. Принцип построения регистрирующего комплекса позволяет синхронизовать множество дополнительных устройств, которые также можно использовать для регистрации физиологических параметров (например, вегетативных), характеризующих состояние испытуемого.

Разработанный программно-аппаратный комплекс позволяет одновременно регистрировать видеозаписи движений глаз и ЭЭГ. Для видеозаписи изображения глаза используется быстрая цифровая видеокамера (FastVideo 250 В, НПО «Астек», Россия), регистрирующая изображение в инфракрасном диапазоне. Камера устанавливается на расстоянии 50 см от глаз испытуемого и регистрирует изображение глаза, отраженное от «теплого зеркала» – специального эмиссионного фильтра, пропускающего свет видимого спектра и отражающего волны инфракрасного диапазона (более 800 нм). Это позволяет убрать видеокамеру из поля зрения испытуемого, а также расположить видеокамеру в плоскости, параллельной плоскости зрачка. Такое расположение позволяет избежать погрешностей, связанных с угловыми отклонениями при вычислении координат центра зрачка (Lijima et al., 2001). В экспериментах экран монитора располагается в 50 см от глаз испытуемого. Голову испытуемых нежестко фиксировали с помощью лобно-подбородной подставки для минимизации лишних движений. При этом изображение глаза полностью попадает на матрицу видеокамеры. Перед экспериментом испытуемому предлагали проследить взглядом возникающие в определенном порядке на экране монитора стимулы. Регистрируемые при этом траектории смещения взора испытуемого использовали для калибровки системы. С использованием оригинальной программы вычисляли координаты положения взора.

Одновременно с предъявлением предложений оригинальная компьютерная программа генерирует сигнал синхронизации через COM-порт компьютера. Этот сигнал регистрируется на электроэнцефалографе в виде метки на специальном канале, а видеоизображение в момент подачи синхроимпульса затемняется (в результате кратковременного выключения инфракрасной подсветки), что впоследствии используется в программе обработки видеозаписи для синхронизации движений глаз и ЭЭГ. Таким образом достигается точная синхронизация моментов событий на видеозаписи с сопровождающими их биопотенциалами.

В процессе чтения глаз человека совершает саккады, переводя взор от одного фрагмента текста на другой. Для распознавания символов взор останавливается на определенное время, называемое фиксациями, продолжительность которых составляет от 120 до 260 мс. В пределах одной фиксации в зависимости от различных условий человек распознает 8–12 символов. Длительность фиксаций зависит от семантической сложности, размера и формы шрифта, цветового и яркостного контраста между шрифтом и фоном, условий освещенности, а также от индивидуальных особенностей испытуемого (Rayner, 1998; Underwood, 1998). Во время саккады восприятия информации не происходит, поэтому процесс чтения представляет собой набор последовательных фиксаций.

В эксперименте испытуемые читали 40 тестовых предложений, содержащих синтаксическую неоднозначность вида «неопределенность придаточного предложения женского рода» и 40 контрольных предложений без неоднозначности, которые не содержали смысловых противоречий (Фёдорова и др., 2007). В экспериментах тестовые и контрольные предложения предъявляли испытуемым в случайном порядке. Для предъявления были подобраны предложения, несущие нейтральную или положительную эмоциональную нагрузку. Из психофизиологии известно, что негативные эмоции, которые могут возникать у человека даже при прочтении предложения, семантически связанного с переживаниями страха, боли и проч., являются доминантными и могут вызывать свои эффекты и интерферировать с реакциями, связанными с синтаксическим анализом текста. Также важно выбирать знакомые и понятные по смыслу предложения, составленные из слов общего употребления, чтобы избежать дополнительной ориентировочной реакции у испытуемых.

После чтения каждого предложения испытуемые отвечали на вопрос о соответствии каждого из двух дополнений придаточному предложению. Ответ выбирался ими с помощью фиксации взгляда на одном из предложенных вариантов.

Рис. 1. Траектория взора испытуемого при чтении предложения. Точки соответствуют фиксациям, числами обозначена их продолжительности. По вертикали – время в с (период от начала эксперимента). По горизонтали – положение взора в долях от ширины экрана, принятой за «1»

Рис. 2. Среднее время, затраченное на чтение одного символа строки, содержащей синтаксическую неоднозначность при чтении тестовых и контрольных предложений. Различия статистически достоверны по критерию Манна–Уитни (p<0,005)

Рис. 3. Среднее число регрессивных саккад при чтении строки, содержащей синтаксическую неоднозначность для одного тестового и контрольного предложения. Показатели усреднены по 6 испытуемым, которые читали 40 тестовых и 40 контрольных предложений. Различия статистически достоверны по критерию Манна–Уитни (p<0,01)

По результатам эксперимента проводился анализ траекторий движения взора во время чтения (рисунок 1), числа и продолжительности фиксаций взора, а также числа регрессивных саккад (при повторном чтении некоторого фрагмента предложения испытуемым). Для оценки динамики ЭЭГ строили диаграммы мощности потенциалов в альфа-диапазоне.

Для того чтобы точно определить момент времени, относительно которого осуществляли усреднение биопотенциалов, предложения располагали на экране таким образом, чтобы фрагмент текста, содержащий синтаксическую неоднозначность, всегда находился в одном и том же месте экрана. По видеозаписи положения зрачка, синхронизированной с ЭЭГ, определяли период времени, когда испытуемые читали определенный фрагмент предложения, и выделяли соответствующий фрагмент ЭЭГ для дальнейшего анализа.

Рис. 4. При чтении контрольного предложения десинхронизация ЭЭГ в альфа-диапазоне (отведение F4) не возникает. Нулевое значение на оси времени соответствует фиксации взора на слове «которая». Мощность ЭЭГ в альфа-диапазоне (в %) рассчитана по установленному алгоритму (Pfurtscheller, Lopes da Silva, 1999)

Рис. 5. Вызванная десинхронизация ЭЭГ в альфа-диапазоне (отведение F4), возникающая при чтении фрагмента тестового предложения, содержащего синтаксическую неодно значность. Остальные обозначения, как на рисунке 4

Как показали наши результаты, время чтения (в пересчете на один символ) второй строки тестового предложения (содержащей синтаксическую неоднозначность) статистически достоверно превышает время чтения второй строки в контроле (рисунок 2). Это определяется большей продолжительностью фиксаций и большим числом регрессивных саккад, необходимых для повторного чтения тех фрагментов предложения, которые предположительно вызвали у испытуемых затруднения.

Также достоверные отличия получены при оценке среднего количества регрессивных саккад, приходящихся на вторую строку предложения (рисунок 3).

При чтении фрагмента предложения, содержащего синтаксическую неоднозначность, отмечается депрессия ЭЭГ в альфа-диапазоне (рисунок 5), которая, пред положительно, отражает мозговые процессы, связанные с разрешением языковых трудностей. При чтении предложений, не содержащих синтаксическую неоднозначность, аналогичной депрессии не наблюдается (рисунок 4).

Таким образом, сочетание методов электрофизиологии и видеоокулографии позволяет объективно судить о физиологических механизмах когнитивных процессов, сопровождающих распознавание текста (в частности, синтаксиса). Видеоокулография используется для верификации позиции взора на воспринимаемых фрагментах предложения, а ЭЭГ отражает функциональное состояние нервной системы при лингвистическом анализе этих фрагментов. Применяемый многоуровневый подход позволяет на системном уровне исследовать проблемы современной психолингвистики русского языка.

1. Фёдорова О. В., Юдина М. В., Янович И. С. Синтаксическая неоднозначность в эксперименте и в жизни // Компьютерная лингвистика и интеллектуальные технологии: Труды международной конференции «Диалог 2007». М.: Изд-во РГГУ, 2007.
2. Duchowski A. T. Eye tracking methodology. Theory and practice. London: Springer-Verlag, 2003. Jenkin M., Harris L. (еds). Vision and attention. N. Y.: Springer-Verlag, 2001.
3. Lijima A., Minamitani H., Ishikawa N. Image analysis of quick phase eye movements in nystagmus with high-speed video system // Medical a. Biological Engineering a. Computing. 2001. V. 39. P. 2–7.
4. Pfurtscheller G., Lopes da Silva F.H. Event-related EEG/MEG synchronization and desynchronization: basic principles // Clin. Neurophysiol. 1999. V. 110. P. 1842–1857.
5. Rayner K. Eye movements in reading and information processing: 20 years of research // Psychol. Bull. 1998. V. 124. P. 372–422. Show J. C. (еd.) The Brain’s Alpha Rhythms and the Mind. Amsterdam: Elsevier, 2003.
6. Underwood G. (еd.). Eye guidance in reading and scene perception. Oxford: Elsevier, 1998.
7. Yagi T., Koizumi Y.T., Aoyagi M., Kimura M., Sugizaki K. Three-dimensional analysis of eye movements using four times high-speed video camera // Auris Nasus Larynx. 2005. V. 32. P. 107–112.