Окулографические маркеры абнормальных состояний оператора на моделях плавного прослеживания цели и дискретного появления/исчезновения стимула^*

ЗАХАРЧЕНКО Д.В.\ Институт высшей нервной деятельности и нейрофизиологии РАН, Москва, Россия, e-mail: dz-ihna@mail.ru

ДОРОХОВ В.Б.**, Институт высшей нервной деятельности и нейрофизиологии РАН, Москва, Россия, e-mail: vbdorokhov@mail.ru

В статье рассматривается возможность использования параметров окуломоторных реакций в качестве маркеров, пригодных для автоматической оценки, распознавания и непрерывного мониторинга функционального состояния оператора (водителя, диспетчера и т. д.). На моделях плавного прослеживания цели и дискретного появления/исчезновения стимула произведена экспериментальная оценка возможности распознавания абнормальных состояний оператора и вызываемых ими нарушений деятельности. Проанализированы и описаны изменения зрительно-моторных реакций под действием алкоголя (1 грамм 96% алкоголя на килограмм веса тела испытуемого): изменения латентного периода макросаккад и моторной реакции, изменения средней мгновенной скорости макросаккад, изменения времени реакции. Проанализированы изменения плавности прослеживания цели, вызванные алкогольным опьянением. Выделены окуломоторные реакции, пригодные в качестве маркеров для диагностики изменения функционального состояния оператора и диагностики нарушений операторской деятельности.

Введение

На протяжении последних полутора десятилетий исследования окуломоторных реакций в процессе деятельности являются одним из наиболее востребованных направлений с точки зрения практического применения (Hartley et al., 2000; Heitmann et al., 2001; Edwards et al., 2007; Dorrian et al., 2008; Kerick et al., 2013). Для диагностики абнормальных состояний оператора различные исследователи предлагают использовать изменение латентных периодов макросаккад и доли мультисаккад (Litvinova et al., 2011), изменение параметров скоординированности между взглядом и движением рук (Marple-Horvat et al., 2008; Mrotek et al., 2007), моргания и PERCLOS (Dinges et al., 1998; Stern et al., 1994). Однако, несмотря на большое число исследований и полученных результатов, окуломоторные маркеры абнормальных состояний оператора, пригодные для автоматической аппаратурной диагностики состояния оператора в режиме реального времени, так и не были выделены вплоть до настоящего времени (Wright et al., 2007; Kerick et al., 2013).

Идея нашего исследования заключалась в том, чтобы на модели алкогольного опьянения сравнить параметры окуломоторных реакций оператора в нормальном состоянии и в состоянии, когда оператор заведомо неадекватен и деятельность его нарушена. На основании выявленных изменений мы планировали выделить окуломоторные реакции, потенциально пригодные в качестве маркеров изменения функционального состояния и маркеров нарушения деятельности. Особенностью нашего исследования является измерение одних и тех же параметров окуломоторных реакций в условиях дискретного появления/ исчезновения стимулов и в условиях плавного прослеживания цели. Указанный подход позволяет сопоставить результаты для этих двух моделей деятельности и таким образом оценить стабильность полученных окуломоторных маркеров и их потенциальную пригодность для применения на практике, поскольку высокая индивидуальная вариабельность окуломоторных реакций делает пригодными для практического применения далеко не все из них.

Вопрос о специфичности полученных маркеров не может быть решен в рамках одного исследования и останется открытым. Однако весьма вероятным представляется тот факт, что полученные окулографические маркеры будут иметь слабую специфичность и, соответственно, окажутся эффективными не только для детекции алкогольного опьянения, но и для диагностики любых других отклонений от нормы, вызванных любыми известными или неизвестными факторами.

Материалы и методы

В исследовании добровольно приняли участие 22 испытуемых мужского пола в возрасте от 20 до 36 лет. Все испытуемые были физически здоровы и не имели проблем с алкоголем. Первый этап отбора проводился через Интернет и включал в себя информирование о процедуре исследования и первичный инструктаж (нормально выспаться, не употреблять алкоголь, кофе и фармакологические препараты в день эксперимента и накануне, пообедать за 2 часа до начала тестов). Участие в исследовании оплачивалось. Таким образом, все согласившиеся на эксперимент имели необходимый опыт работы с компьютером и мышью, а также мотивацию, достаточную для выполнения тестовых заданий. Второй этап отбора проводился непосредственно в день эксперимента и включал в себя ознакомление с тестовыми заданиями и пробную запись видеоокулограммы (испытуемый сидел в экспериментальном кресле и выполнял сокращенные версии тестовых заданий. Экспериментатор в это время проверял качество записи и калибровал аппаратуру).

Для создания экспериментальной модели алкогольного опьянения испытуемые принимали алкоголь в количестве 1 грамм 96% алкоголя на 1 килограмм веса тела, при этом количество 96% медицинского спирта пересчитывалось на 40% водку. Количество алкоголя в выдохе оценивалось с помощью алкотестера AL-7000 с точностью ±15% от полученного значения (перед началом, в середине и в конце экспериментальной серии). Учитывалась также динамика усвоения алкоголя: после приема алкоголя испытуемый в течение часа общался с экспериментатором на отвлеченные темы, и только потом начинался тест.

Траектория перемещения взгляда регистрировалась при помощи системы бесконтактной видеорегистрации движений глаз (Eyegaze Analyzing System), использующей принцип отражения инфракрасного света от роговицы глаза (дальше - «видеоокулографа») с программным обеспечением NYAN 2 ® компании Interactive Minds. Пространственное разрешение системы — 0,2°. Запись велась в бинокулярном режиме попеременно двумя камерами, суммарная частота опроса — 120 Гц; расстояние до экрана — 60 см, экранное разрешение - 1280 ^х 1024 пикселов, размеры пиксела - 0,265 мм (в данном эксперименте угловое смещение экранного объекта на один пиксел примерно соответствует смещению на 0,0246° относительно глаза испытуемого). Голова испытуемого фиксировалась сзади подголовником кресла.

Помимо окуломоторных реакций, с помощью специально разработанных программ регистрировалась траектория движения курсора мыши по экрану, все нажатия на клавиши мыши и связанные с ними события на экране (появление, перемещение и исчезновение тестовых стимулов). Дискретность регистрации - 8 мс (125 Гц).

Для моделирования различных аспектов операторской деятельности нами были разработаны и реализованы в виде программ на языке Delphi три психомоторных теста («Статика», «Динамика», «Динамика и дополнительный стимул»). Эти тесты позволяют оценивать реакцию как на статически появляющиеся и исчезающие стимулы, так и на движущиеся объекты (цель). Тесты предъявлялись в затемненной камере на жидкокристаллическом мониторе Samsung с диагональю 17 дюймов (340^х270 мм, разрешение 1280^х1024 пиксела) и в инструкции для испытуемого были заявлены как «стрельба по целям».

В тесте «Статика» экран условно делили на 20 секторов в виде сетки (5 по горизонтали, 4 по вертикали); каждый сектор имел свой номер (рис. 1-1), границы и номер секторов на экран не выводились. В начале опыта в центре одного из секторов появлялась цель в форме круга диаметром 5 мм (0,46°). Испытуемый получал инструкцию максимально быстро навести на него курсор и щелкнуть мышью. При попадании цель исчезала и одновременно появлялась в центре другого сектора. Последовательность секторов была сформирована с помощью генератора случайных чисел и являлась общей для всех испытуемых во всех экспериментах. В течение опыта предъявлялось 120 стимулов-целей; испытуемый должен был поразить их все за максимально короткое время. Для всех испытуемых во всех опытах последовательность секторов была одинаковой, координаты всех целей известны, траектория движения курсора мыши и все щелчки записывались в файл данных. Единичной пробой считалось предъявление одного стимула (т. е. все действия испытуемого с момента появления цели и до щелчка по цели мышью).

Рис. 1. Тесты -«статика», «динамика», «динамика и дополнительный стимул»:

1 - тест «статика»: разбивка экрана на секторы, стимул. При тестировании сетка и номера секторов не отображаются;

2 - тесты «динамика», «динамика и дополнительный стимул»: а - основная цель, б - дополнительная цель. Обе цели движутся по часовой стрелке. При тестировании траектории не отображаются

В тесте «Динамика и дополнительный стимул» основная цель (зеленый круг диаметром 12 мм (1,1°)) двигалась по круговой траектории диаметром 75 мм (6,96°) с угловой скоростью 28 градусов в секунду относительно центра экрана (рис. 1-2). Один раз за полный оборот с внешней стороны траектории цели появлялась дополнительная цель - красный круг диаметром 12 мм (1,1°). Дополнительная цель начинала двигаться по круговой орбите вокруг основной цели с угловой скоростью 29 градусов в секунду. Радиус орбиты дополнительной цели - 60 мм (5,57°). Испытуемый получал инструкцию вести курсором мыши основную цель, стараясь не выходить за ее пределы; при появлении дополнительной цели он должен был быстро навести курсор на дополнительную цель и щелкнуть мышью. В случае попадания дополнительная цель исчезала, а испытуемый должен был быстро вернуть курсор на основную цель и вести ее дальше. Всего за тест предъявлялось порядка 70 дополнительных целей, паузы между предъявлениями варьировались в случайном порядке.

Тест «Динамика» полностью аналогичен тесту «Динамика и дополнительный стимул», за исключением того, что при появлении дополнительной цели испытуемый получал инструкцию щелкнуть по основной цели (по той, которую вел); дополнительная цель здесь играла роль сигнала и исчезала после щелчка по основной цели. Также в тесте «Динамика» отличались размеры основной цели (ее диаметр составлял 8 мм (0,74°)); это было сделано для того, чтобы сравнить динамику изменения моторных паттернов на разных образцах стимула. Всего за тест предъявлялось порядка 150—180 дополнительных целей, паузы между предъявлениями варьировались в случайном порядке.

Процедура исследования включала в себя две серии опытов: контрольную и тестовую (рис. 2). Сначала выполнялась контрольная серия: испытуемый садился в кресло, производилась калибровка аппаратуры, после чего последовательно выполнялось тестирование по методике «Статика» (около 3 минут) и сразу же, без паузы, - по методике «Динамика» (15 минут). Затем делался небольшой перерыв (7-10 минут), в течение которого испытуемый мог встать, размяться, дать отдых глазам (перерыв нужен для того, чтобы избежать моното- нии и не дать развиться утомлению). После перерыва опять производилась калибровка аппаратуры, после чего без паузы выполнялись тесты «Динамика и дополнительный стимул» (15 минут) и «Статика» (около 3 минут). На этом контрольная серия заканчивалась - испытуемый переходил в другое помещение, там принимал алкоголь и в течение часа общался с экспериментатором на отвлеченные темы (пауза между контрольной и тестовой серией необходима, во-первых, для усвоения алкоголя и, во-вторых, для нивелирования стимулирующего эффекта). Через час после приема алкоголя проводился контрольный замер количества алкоголя в выдохе и начиналась тестовая серия опытов - полностью аналогичная контрольной.

Puc. 2. Схема эксперимента

В ходе исследования математической обработке подвергались следующие показатели зрительно-моторных реакций:

•    латентный период макросаккад;

•    латентный период моторной реакции;

•    время реакции (время попадания в цель в каждом из тестов);

•    средняя скорость макросаккад;

•    показатели плавности прослеживания цели взглядом.

Помимо штатного программного обеспечения видеоокулографа NYAN 2 ® компании Interactive Minds нами были разработаны и использовались программы предъявления для тестов «Статика», «Динамика», «Динамика и дополнительный стимул», регистрирующие данные в режиме реального времени.

Для обработки экспериментальных данных разрабатывалось специальное ПО с применением процедур и функций Matlab:

•    программы синхронизации лог-файлов видеоокулографа и каждого из тестов;

•    программы визуализации для всех тестов;

•    программы детекции артефактов (к артефактам относили моргания, эпизоды, в течение которых глаза находятся вне поля зрения видеоокулографа, сбои в работе таймеров Windows, некоторые окуломоторные паттерны, специфические траектории саккад, а также ряд поведенческих стратегий испытуемого);

•    программы полуавтоматического распознавания саккадических движений глаз;

•    программы оценки скорости взгляда и курсора мыши;

•   программы обработки параметров движения руки (время попадания в цель, латентный период первого движения и т. д.) по лог-файлам программ предъявления;

•    программы обработки траекторий взгляда;

•    программы статистической обработки данных.

Результаты исследований

Направленность и достоверность изменения параметров реакций¹.

В табл. 1 представлены направленность и достоверность изменения параметров зрительно-моторных реакций после приема алкоголя для всех испытуемых выборки.

В тесте «Статика» (7—10-й столбцы) латентный период макросаккады, латентный период моторной реакции (начала движения курсора мыши) и время попадания в цель с высокой достоверностью увеличиваются (соответственно, р<0,00001;р<0,02;р<0,004). Средняя скорость макросаккад при уровне достоверности р<0,00001 уменьшается в 19 случаях из 22. Это единственный параметр, который изменяется относительно стабильно и с высокой достоверностью почти у всех испытуемых выборки.

В тесте «Динамика и дополнительный стимул» (3-6-й столбцы) направленность и интенсивность изменений аналогичны полученным в тесте «Статика»: латентный период макро­саккад, латентный период моторных реакций (начала движения курсора к цели) и время попадания в цель достоверно увеличиваются (соответственно, р<0,00003,'Р<0,00004,:р<0,01), а средняя скорость макросаккад, наоборот, с высокой достоверностью снижается (р<0,00074).

В тесте «Динамика» статистическими методами оценивался только один показатель - время попадания в цель. После приема алкоголя время реакции (время попадания в цель) в этом тесте увеличивается, достоверность изменений при этом весьма высока (р<0,000015).

Анализ плавности траектории прослеживания.

Для оценки плавности прослеживания цели взглядом анализировались траектории перемещения взгляда из теста «Динамика». Особенности траекторий прослеживания отчетливо видны при визуализации (рис. 3): в контрольном опыте (рис. 3-А) взгляд ведет цель относительно плавно; рывки и длительные фиксации практически отсутствуют; возможны небольшие отклонения от траектории цели (обычно не больше 1-1,5 угловых градусов). После приема алкоголя (рис. 3-Б) траектория перестает быть плавной: появляются длительные фиксации, рывки (в том числе перпендикулярно траектории цели), возвраты назад; возрастает количество саккад и быстрых дрейфов.

Для количественной оценки плавности траекторий взгляда использовался следующий алгоритм:

1. С помощью цифрового фильтра сглаживаем траекторию взгляда (удаляется высокочастотная составляющая свыше 0,2 Гц) и выполняем подгонку по фазе (удаляем фазовое смещение, возникающее в результате работы цифрового фильтра). В результате получаем сглаженную траекторию взгляда - аппроксимирующую кривую.

Таблица 1

Направление и достоверность изменения параметров окуломоторных и двигательных реакций после приема алкоголя

2.  Вычисляем расстояние в пикселах между каждой точкой реальной (несглаженной) траектории взгляда и соответствующей ей точкой сглаженной траектории. Получаем последовательность отклонений для каждой точки траектории взгляда от апроксимирующей кривой. Эта процедура, по сути, является процедурой удаления из данных повторяющегося тренда (круговой составляющей траектории взгляда, которая не влияет на плавность прослеживания).

3.  Полученную последовательность отклонений используем для статистического анализа.

Рис. 3. Изменение характера прослеживания цели взглядом после приема алкоголя: испытуемый № 20, интервал с 59 по 66 секунду опыта. Серая траектория - траектория цели, черная - траектория взгляда. А - прослеживание цели до приема алкоголя, Б - после приема алкоголя

При дефиците прослеживания среднее отклонение от апроксимирующей кривой должно увеличиться. Если после приема алкоголя траектория действительно становится менее плавной, а количество данных одинаково, тогда мы увидим четкие различия на гистограмме отклонений.

На рис. 4-А мы видим типичную форму распределения отклонений реальной траектории от апроксимирующей кривой (15 испытуемых из 22). После приема алкоголя форма распределения значительно меняется: мода слегка смещается в сторону больших значений, значительно снижается амплитуда моды, пик становится менее острым, правая часть распределения становится более пологой. Указанные изменения характерны для испытуемых, у которых после приема алкоголя отмечается дефицит прослеживания.

Puc. 4. Изменение отклонений реальной траектории от апроксимирующей кривой под действием алкоголя: темно-серая гистограмма - до приема алкоголя, светло-серая гистограмма - после приема алкоголя. А - наиболее типичная форма распределения (15 испытуемых из 22), Б - подгонка огибающей для вычисления амплитуды моды, В и Г - нетипичные формы распределения (соответственно 4 и 3 испытуемых из 22)

На рис. 4-В и 4-Г представлены нетипичные формы распределения отклонений: в одном случае (рис. 4-В) распределение практически не изменяется (а значит, не изменяется и плавность прослеживания цели), в другом случае (рис. 4-Г) мы наблюдаем ситуацию, противоположную типичной (степень плавности незначительно увеличивается). Количество нетипичных распределений невелико (соответственно 3 и 4 случая из 22), однако вместе они составляют примерно треть выборки.

На гистограммах хорошо видно, что наиболее явно после приема алкоголя изменяется амплитуда моды распределения. Соответственно, при количественном анализе плавности прослеживания цели взглядом в качестве основного показателя плавности прослеживания мы использовали нормированную амплитуду моды. Вычисляли ее следующим образом: сначала сглаживали данные гистограммы методом простого скользящего среднего с периодом 3; сглаживание проводили в два этапа: сначала от начала к концу вариационного ряда, затем от конца к началу (рис. 4-Б). По сглаженной кривой находили моду и амплитуду моды до и после приема алкоголя. Полученную амплитуду моды нормировали, разделив на количество отсчетов (строк с данными) в опыте.

Затем выполнялось сравнение нормированной амплитуды моды до и после приема алкоголя для всех испытуемых выборки с помощью теста знаков и теста связанных пар Вилко ксона. После приема алкоголя нормированная амплитуда моды (а значит и степень плавности траектории взгляда) с высокой достоверностью снижается (р = 0,001 - для теста знаков, р = 0,003 - для теста связанных пар Вилкоксона). Таким образом, после приема алкоголя типичным для выборки является уменьшение плавности прослеживания цели взглядом.

Помимо анализа собственно плавности прослеживания цели взглядом, была предпринята попытка соотнести изменение плавности прослеживания с изменением времени реакции. Использовался следующий алгоритм.

1. Вычислялся вектор разности для нормированной амплитуды моды до и после приема алкоголя (для каждого испытуемого из нормированной амплитуды моды после приема алкоголя вычитаем нормированную амплитуду моды до алкоголя).

2.  Вычислялся вектор разности для времени реакции до и после приема алкоголя (аналогично, для каждого испытуемого из среднего времени реакции после приема алкоголя вычитаем среднее время реакции до приема алкоголя).

3. Полученные векторы разности использовались для построения диаграммы рассеяния (рис. 5).

4.              Диаграмма рассеяния сопоставлялась с результатами статистического анализа.

Обсуждение результатов

Статистический анализ параметров зрительно-моторных реакций.

И для модели плавного прослеживания цели (тесты «Динамика», «Динамика и дополнительный стимул»), и для модели дискретного появления/исчезновения стимула (тест «Статика») статистический анализ параметров зрительно-моторных реакций дает практически одинаковый результат:

•        латентный период макросаккад увеличивается;

•        латентный период моторной реакции (первого движения мыши) увеличивается;

•        время реакции (время попадания в цель) увеличивается;

•        средняя скорость макросаккад уменьшается.

Изменения указанных параметров во всех тестах имеют высокую, а иногда - очень высокую, достоверность. Однако при рассмотрении результатов отдельных испытуемых (табл. 1) легко заметить, что только один из исследованных параметров изменяется относительно стабильно и с высокой амплитудой - это средняя скорость макросаккад в тесте «Статика». Соответственно, только этот параметр может быть использован в качестве маркера абнормального состояния испытуемого, вызванного алкогольным опьянением.

Анализ плавности прослеживания цели взглядом.

Эффекты, связанные с изменением плавности прослеживания (smooth pursuit eye movement), многократно описаны в литературе (Holzman et al., 1974; Baloh et al., 1977; Kuechenmeister et al., 1977; Mialet et al., 1981; Avila et al., 2003). На их основе разработаны алгоритмы, позволяющие диагностировать наличие шизофрении (Levy et al., 2010), маниакально­депрессивного синдрома (Lipton et al., 1980), некоторых психозов (Holzman et al., 1977; Shagass et al., 1976), эпилепсии (Bittencourt et al., 1980), а также болезни Паркинсона (Lemos et al., 2013; Nilsson, 2013) и аутизма (Boraston et al., 2007; Dalton et al., 2005). Наличие нарушения плавности прослеживания или «дефицита» прослеживания при совершенно разных заболеваниях указывают на неспецифический характер этого явления. Наша задача состояла в том, чтобы оценить эффективность плавности прослеживания в роли маркера выхода из нормы и сопоставить изменения плавности прослеживания с изменениями эффективности деятельности.

В тесте «Динамика» при появлении дополнительного стимула испытуемый должен был попасть в цель, которую до этого непрерывно вел курсором мыши. Время попадания в цель в этом тесте сопоставимо со временем простой сенсомоторной реакции; оно является показателем эффективности работы оператора. Сопоставим изменение времени реакции (времени попадания в цель) с изменениями плавности прослеживания цели.

Согласно результатам статистического анализа, нормированная амплитуда моды (показатель плавности прослеживания) в целом по выборке с высокой достоверностью снижается (р = 0,001384 - для теста знаков, р = 0,003302 - для теста связанных пар Вилкоксона). Соответственно, увеличение амплитуды моды после приема алкоголя - нетипичная реакция для данной выборки. Аналогично, нетипичным является уменьшение среднего времени реакции после приема алкоголя (р = 0,000014, Т-критерий Стьюдента для связанных выборок). Если выделить все области нетипичных реакций серым цветом (рис. 5), то можно видеть, что в эти области попадают результаты четырех испытуемых. В оставшейся области (без заливки) хорошо видна группа точек с чрезвычайно высокой линейной корреляцией (рис. 5, овал) и группа из четырех точек, которые не коррелируют с остальными. У всех