Введение
Возможность использования характеристик ЭЭГ в качестве командных сигналов для управления внешними исполнительными устройствами от курсора на компьютерном мониторе до буквопечатающих и робототехнических устройств в настоящее время не вызывает сомнений (Kaplan et al., 2005; 2013; Wolpaw et al., 2002). Становятся очевидными и возможные области применения интерфейсов «мозг-компьютер» (ИМК) в различных сферах жизни человека: для помощи пациентам с критическими нарушениями двигательной системы (Kleih et aL, 2011; Sellers et al., 2010; Wolpaw et aL, 2002); в реабилитационной медицине для восстановления временно нарушенных двигательных функций у человека, например, после инсульта (Do et al., 2012); для тренажеров способности концентрации внимания и контроля двигательной активности (Blankertz et al., 2010); для расширения функций здорового человека и при ампутациях конечностей (Blankertz et al., 2010; Nicolelis, 2003); а также для встраивания в индустриальные системы.
Существуют различные подходы к разработке ИМК, среди которых одним из лучших по скорости и точности управления является так называемый ИМК на «волне Р300», или ИМК-РЗОО (Farwell, Donchin, 1988). В основе ИМК-Р300 лежит анализ когнитивной компоненты вызванного потенциала мозга, волны Р300, которая имеет тенденцию к увеличению при предъявлении ожидаемого оператором стимула в общем ряду стимулов. Таким образом, в контуре ИМК-РЗОО оператор может выбрать ту или иную команду простым фокусированием внимания на нужном стимуле. При этом детекция сделанного человеком выбора основывается на сопоставлении реакций мозга на разные стимулы: более высокая амплитуда волны Р300 (Ганин и др., 2012; Каплан и др., 2013; Михайлова и др., 2008; Farwell, Donchin, 1988; Mak et aL, 2011; Wolpaw et al., 2002) на определенный стимул указывает на то, что именно данный стимул находится в центре внимания оператора и является командным на данный момент. В последние годы показано, что значительный вклад в распознавание фокуса внимания человека могут вносить и другие компоненты потенциалов, связанных с событиями (ПСС), например, компонента N200 (Ганин и др., 2012; Каплан и др., 2013; Bianchi et al., 2010; Kaufmann et al., 2011; Krusienski et al., 2008; Shishkin et al., 2009), учет которых в алгоритмах детекции еще более повышает эффективность ИМК-РЗОО.
Вместе с тем отмечается недостаточная эргономичность пользовательского интерфейса ИМК-РЗОО, что является одним из сдерживающих факторов для широкого внедрения в практику данного типа ИМК, и делаются попытки решения этой проблемы путем, например, совмещения подсветок элементов на мониторе с их движением (Ганин, Каплан, 2014). Основная цель такого рода модификаций в том, чтобы улучшить автоматическое привлечение внимания оператора к стимульным элементам ИМК-РЗОО. Потенциально это позволит улучшить стабильность внимания оператора на командных элементах, а также увеличит устойчивость работы ИМК к внешним неконтролируемым стимулам, которые могут отвлекать оператора, тем самым уменьшая надежность работы ИМК. Для формирования наилучших условий автоматического привлечения внимания оператора в такой среде необходимо создать условия стимуляции, в которых механизмы непроизвольного зрительного внимания смогут хорошо «зацепиться» за стимульные элементы ИМК-РЗОО. Данная задача требует выяснения особенностей зрительного внимания оператора в данном типе ИМК, зависимость его характеристик от параметров стимульной среды ИМК. Одним из путей решения поставленной задачи является сопряжение ИМК-РЗОО и методики видеорегистрации направленности взора (айтрекинг) как подхода к изучению процессов зрительного восприятия (Барабанщиков, 1997).
Сопряжение айтрекинга с той или иной разновидностью ИМК чаще всего производится с целью создания дополнительного канала управления помимо ЭЭГ, причем применяться такое сопряжение может в самых разных ситуациях: от виртуальных ЗО-приложений и управления квадрокоптером до применения в работе с пациентами, страдающими боковым амиотрофическим склерозом или перенесшими инсульт (Lee et al., 2010; Gneoet al., 2011; Zander et al., 2011; Frisoli et al., 2012; McCullagh et al., 2013; Kimet al., 2014). Необходимость такого сопряжения обычно вызвана малым числом команд, доступных для выбора оператору ИМК, например, в большинстве реализаций ИМК на основе представления движений одновременно доступно не более трех-четырех команд. В такой ситуации дополнительный канал управления будет полезен. Либо, если у человека имеются какие-либо поражения ЦНС, для него может быть весьма затруднительно управлять системой ИМК, и в такой ситуации любой дополнительный канал передачи команд, а это, фактически, те или иные намерения такого пациента, может существенно улучшить надежность работы ИМК.
Другая часть исследователей производит сопряжение систем ИМК с айтрекингом для минимизации артефактов в ЭЭГ от движений глаз (Plochl et al., 2012), либо когда требуется анализ работы ИМК, где оператор в силу различных причин не может зафиксировать взгляд на определенном командном элементе ИМК (Aloise et al., 2006). Айтрекинг позволяет более детально, чем популярный метод электрокулограммы, проанализировать характер движений глаз, что создает благоприятные условия для более точного и аккуратного удаления артефактов от движений глаз из ЭЭГ.
Еще одной целью сопряжения ИМК с айтрекингом является анализ внутренней структуры управляющих компонент ЭЭГ, а также взаимосвязь характеристик этих компонент с различными параметрами стимульной среды, с которой работает оператор, или характером деятельности оператора. Так, например, было показано, что при работе в ИМК-Р300 появление компоненты Р300 связано с привлечением внимания оператора к одному из элементов стимульной среды, а ранние зрительные компоненты, в частности N200, связаны с объектами, на которые непосредственно направлен взор оператора (Brunner et al., 2010). Даже если эти объекты совпадают, как происходит в большинстве случаев в ИМК-Р300, характеристики стимульной среды и особенности выполняемой оператором задачи, обусловливающие появление компонент Р300 и N200, будут, в силу разной природы этих потенциалов, различными. Соответственно, для достижения наилучших характеристик данного ИМК следует создать условия, в которых будет хорошо проявляться не только компонента Р300, но и N200. И если для компоненты Р300 известны особенности задачи и стимульной среды, обусловливающие латентность и амплитуду этой компоненты, то для N200 достоверно определены условия его появления - нахождение целевого элемента в центральной области зрительного поля оператора. Взаимосвязь компоненты N200 с характеристиками стимульной среды, особенностями процессов восприятия или характера деятельности оператора изучены слабо (Басюл, Каплан, 2014). При этом для некоторых зрительных ПСС известно, что при удалении зрительных фиксаций от целевого объекта происходит снижении амплитуды этих ПСС (Domrnguez-Martmez et al., 2015), т. е. применение айтрекинга в определенных ситуациях действительно может пролить свет на взаимосвязь тех или иных изменений в характеристиках ПСС с процессами восприятия. Глубокое и детальное изучение этих взаимосвязей позволит выявить в ЭЭГ новые корреляты процессов восприятия, а также динамику этих процессов. Кроме того, это будет способствовать разработке высоко эргономичных версий ИМК-Р300, которые смогут найти более широкое практическое применение, нежели существующие реализации.
Нами было проведено пилотное исследование сопряжения ИМК-Р300 с методикой айтрекинга, в ходе которого были выявлены некоторые особенности окуломоторной активности оператора при работе в данном ИМК и аналогичных стимульных средах. Новизна в методологическом плане заключается в объединении психофизиологической парадигмы интерфейса мозг-компьютер и методик регистрации направленности взора человека (Барабанщиков, Жегалло, 2013; 2014) как подхода к изучению процессов восприятия (Барабанщиков, 1997).
Методика
Аппаратной платформой оригинальной реализации ИМК-Р300 стал 8-канальный элекгроэнцефалограф производства компании «МОВИКОМ», частота оцифровки сигнала - 500 Гц. Регистрация направленности взора осуществлялась при помощи установки SMI HiSpeed, скорость видеорегистрации направленности взора — 500 кадров в секунду при пространственном разрешении 0,25-0,5°. Программной платформой послужила среда Python 2.5 с набором модулей для высокоточного предъявления стимулов на экране монитора и скоростной онлайн-обработки ЭЭГ-данных для обеспечения надлежащей скорости работы ИМК. Сопряжение ИМК с системой регистрации направления взора было выполнено на основе Ethernet-соединения компьютеров, выполнявших соответствующие процессы.
Тест-объектом послужила матрица символов, содержащая буквы и служебные символы (рис. 1). Строки и столбцы матрицы ритмично выделялись подсветками; длительность подсветок составляла 180 мс; интервал между окончанием одной подсветки и началом следующей - 100 мс. Подсветки объединялись в циклы так, что в каждом цикле каждый столбец и каждая строка подсвечивались по 5 раз в случайной последовательности. набора, после чего включались подсветки. После завершения цикла подсветок (по 5 подсветок каждой строки и столбца) экспериментатор сообщал следующий целевой символ, и вновь включались подсветки. Таким образом, испытуемый работал с девятью целевыми символами с данной инструкцией. В следующем блоке экспериментатор вновь задавал целевой символ, но испытуемый должен был работать с инструкцией «Счет», сообщая после каждого цикла подсветок количество замеченных подсветок целевого символа. После отчета испытуемого экспериментатор давал новый целевой символ, и испытуемый продолжал работу. Всего с данной инструкцией испытуемому предлагалось работать с девятью символами. Третий блок в значительной степени похож на второй, испытуемые точно так же наблюдали и подсчитывали количество подсветок целевых символов, но критерием успешности здесь был уже не подсчет числа подсветок, а корректная детекция алгоритмами ИМК элемента, на котором было сосредоточено внимание испытуемого. Результат работы этих алгоритмов представлялся в виде вывода детектированного символа в контрольную строку на экране. В итоге испытуемые должны были напечатать целевое слово «Исследование». В данном режиме испытуемые включали подсветки самостоятельно по готовности при помощи компьютерной мыши. Таким образом, испытуемый буква за буквой набирал слово, которое, согласно инструкции, должно было совпадать с целевым.
Рис. 1. Таблица символов, с которой работали испытуемые: а) таблица без подсветок;
б) таблица с подсвеченным столбцом
Блок с инструкцией «Наблюдение» всегда шел первым, в начале эксперимента. Блоки «Счет» и «Печать» менялись местами: у восьми испытуемых первым шел блок «Счет», у шести испытуемых блок «Печать» шел перед блоком «Счет».
Испытуемые. В исследовании приняли участие 14 испытуемых от 18 до 25 лет: студенты московских вузов с нормальным или скорректированным до нормального зрением.
Обработка данных. Данные обрабатывались в свободно распространяемой программной среде Python 2.7.3, а также в среде статистической обработки R (R Core Team, 2015). Детекция фиксаций проводилась с использованием алгоритма I-DT (dispersion threshold identification), минимальная продолжительность фиксации - 50 мс, максимальная дисперсия - 40 точек (1° при расстоянии до экрана 60 см). Данные параметры были выбраны для обеспечения преемственности с ранее проведенными айтрекерными исследованиями и сопоставимости результатов. Анализировалось общее количество фиксаций за время работы с целевыми символами, а также продолжительность и дисперсия фиксаций. Проводилось сопоставление данных характеристик для трех режимов работы испытуемых: «Наблюдение», «Счет» и «Печать». Достоверность различий оценивалась при помощи Т-критерия Вилкоксона.
Результаты
Значимых отличий по количеству фиксаций за время работы с целевыми символами между режимами работы не обнаружено.
По длительности фиксаций на уровне тенденции наблюдаются различия между режимами «Наблюдение» и «Счет»: 61,5 мс и 63,4 мс соответственно (р = 0,057). Также на уровне тенденции различаются по длительности фиксаций режимы «Счет» и «Печать»: 63,4 мс и 59,9 мс соответственно (р = 0,095).
По дисперсии фиксаций наблюдаются достоверные различия между режимами «Наблюдение» и «Счет»: 2,6 пикселя и 2,4 пикселя соответственно (р = 0,047); и «Наблюдение» и «Печать»: 2,6 пикселя и 2,4 пикселя соответственно (р = 0,042).
Электроэнцефалографические данные, а также данные по взаимосвязи характеристик ЭЭГ и окуломоторной активности в настоящее время находятся на стадии обработки. Однако уже сейчас можно говорить, что имеющиеся данные хорошо согласуются с результатами, полученными в аналогичном эксперименте, но без сопряжения с регистрацией движений глаз (Басюл, Каплан, 2014). В предыдущем эксперименте впервые были получены статистически достоверные количественные различия в уровне выраженности компоненты N200, однако проследить взаимосвязь этой динамики с какими-либо другими объективными показателями работы испытуемых не удалось. В предыдущих работах, исследовавших связь параметров компоненты N200 с физическими характеристиками стимульной среды (Shishkin et al., 2009), было показано, что параметры N200 практически не меняются в широком диапазоне физических характеристик (размеры стимулов, яркость, перепад яркости при подсветке и т. д.) стимульной среды, хотя считается, что выраженность ранних компонент вызванного потенциала связана именно с физическими характеристиками стимулов, а не с особенностями деятельности человека и уровнем когнитивной нагрузки, как в случае Р300. Выявленные различия между режимами работы в длительности фиксаций и их дисперсии указывают на различный уровень концентрации зрительного внимания относительно целевых элементов ИМК-Р300, что хорошо согласуется с ранее полученными ЭЭГ-данными (Басюл, Каплан, 2014). Кроме того, можно предполагать, что в дальнейшем будет обнаружено отражение в характеристиках окуломоторной активности процессов формирования и закрепления навыка работы с ИМК-Р300, что может быть использовано для разработки методик более быстрого и эффективного обучения работе с ИМК-Р300, а также для оптимизации стимульной среды таким образом, чтобы обеспечивать наилучшие условия привлечения автоматического зрительного внимания оператора. Дальнейшее развития данного направления - анализ динамики процессов восприятия оператора ИМК-Р300 через сопряжение ИМК с айтрекингом - позволит уточнить полученные данные и, вероятно, выявить новые закономерности формирования навыка работы в подобных системах.
Выводы
1. Разработан оригинальный программно-аппаратный комплекс сопряженной регистрации ЭЭГ и направленности взора оператора в контуре ИМК-Р300, позволяющий анализировать характеристики ЭЭГ в связи с организацией окуломоторной активности оператора.
2. Полученные различия в длительности и дисперсии зрительных фиксаций между различными режимами работы указывают на различную динамику процессов зрительного восприятия в протестированных режимах работы, несмотря на полную идентичность стимульных сред и высокую схожесть выполняемых испытуемыми заданий.
Финансирование
Исследование осуществляется при поддержке РГНФ, проект № 15-36-01386 «Закономерности организации окуломоторной активности в среде интерфейс «мозг-компьютер».