Введение
Многими исследователями продемонстрирована возможность применения определенных параметров ЭЭГ для управления различными внешними устройствами: компьютерный курсор, виртуальная клавиатура, экзоскелетные и робототехнические устройства (Kaplan et al., 2005; 2013; Wolpaw et al., 2002). Области практического применения интерфейсов «мозг-компьютер» (ИМК) достаточно очевидны: помощь пациентам с глубокими нарушениями двигательных функций (Kleih et al., 2011; Sellers et al., 2010; Wolpaw et al., 2002), разработка компьютерных «тренажеров внимания» и контроля моторной деятельности (Blankertz et al., 2010), обеспечение дополнительного функционала у здорового человека и в случае ампутации конечностей (Blankertz et al., 2010; Nicolelis, 2003).
В плане точности и скорости работы одно из лидирующих мест занимает ИМК на «волне P300», или ИМК-Р300 (Farwell, Donchin, 1988). Работа ИМК-Р300 основана на детекции когнитивной компоненты вызванного потенциала мозга, волны P300, которая обнаруживается при предъявлении оператору ожидаемого стимула в ряду некоторого набора стимулов. Фокусируя свое внимание на требуем стимуле, оператор может выбрать тот или иной элемент в контуре ИМК-Р300. Для выбора элемента производится сопоставление амплитуд компоненты Р300 в ответ на предъявление различных стимулов: большая амплитуда волны P300 (Ганин и др., 2012; Каплан и др., 2013; Михайлова и др., 2008; Farwell, Donchin, 1988; Mak et al., 2011; Wolpaw et al., 2002) в ответ на предъявление какого-то стимула указывает, что именно он находится в фокусе внимания оператора и является командным в данный момент. Результаты последних исследований свидетельствуют о том, что существенный вклад в определение фокуса внимания оператора могут вносить и ряд других компонент потенциалов, связанных с событиями (ПСС), например, компонента N200 (Ганин и др., 2012; Каплан и др., 2013; Bianchi et al., 2010; Kaufmann et al., 2011; Krusienski et al., 2008; Shishkin et al., 2009). Использование данных компонент в алгоритмах детекции, а также оптимизация самого контура ИМК-Р300 с учетом эффективного участия этих дополнительных компонент позволит еще более повысить устойчивость и скорость работы ИМК-Р300.
Эргономичность интерфейса ИМК-Р300 является важным фактором работоспособности данного типа ИМК. Одна из возможностей ее повышения заключается в совмещении подсветок элементов на мониторе с их движением (Ганин, Каплан, 2014). Основная цель такой модификации - стабилизация непроизвольного внимания оператора при его работе с элементами ИМК-Р300. Для создания наиболее оптимальных условий привлечения автоматического внимания необходимо сформировать такую визуальную среду, которая создаст наиболее оптимальные условия для отслеживания и фиксирования стимульных элементов ИМК-Р300. Одним из вариантов решения такой задачи выступает сопряжение ИМК-Р300 и методики айтрекинга - регистрации направленности взора при помощи скоростной видеокамеры (Барабанщиков, 1997).
Одной из целей сопряжения ИМК-Р300 с айтрекингом является изучение внутренней структуры основных компонент ПСС, участвующих в работе данного ИМК, взаимосвязи особенностей этих компонент с характеристиками стимульной среды, с которой работает оператор, или с методом работы самого оператора. Показано, что ранние зрительные компоненты, в частности N200, при работе в ИМК-Р300 связаны с объектами, на которые непосредственно направлен взор оператора (Brunner et al., 2010), а появление компоненты Р300 связано с привлечением внимания оператора к одному из элементов интерфейса. В силу различной природы компонент Р300 и N200 особенности визуальной среды ИМК-Р300 и выполняемой оператором задачи будут оказывать различное влияние на характеристики данных компонент (амплитуда, латентность). Поэтому достижение наилучших показателей эффективности данного ИМК требует условий, в которых обе компоненты обладают достаточной степенью выраженности. И если для когнитивной компоненты Р300 в целом известны условия, определяющие ее характеристики, то для N200 достоверно известны лишь условия ее появления - центральная область зрительного поля оператора должна совпадать с местонахождением целевого элемента. Взаимосвязи характеристик стимульной среды, особенностей процессов восприятия и деятельности оператора с параметрами компоненты N200 пока еще мало изучены (Басюл, Каплан, 2014). Тем не менее, результаты проведенных в этой области иссле
дований свидетельствуют о том, что при удалении положения взора от целевого элемента происходит снижение амплитуды некоторых ПСС (Domínguez-Martínez et al., 2015) и, кроме того, используемый в такого рода экспериментах метод видеорегистрации положения взора может способствовать прояснению взаимосвязей тех или иных изменений в ПСС с процессами восприятия.
Нами было проведено исследование взаимосвязи характеристик стимульной ситуации ИМК-Р300 с эффективностью работы оператора и параметрами его окуломоторной активности путем сопряженной регистрации ЭЭГ и окуломоторной активности испытуемых. Данное исследование объединяет психофизиологическую парадигму интерфейса «мозг- компьютер» и методику айтрекинга (Барабанщиков, Жегалло, 2013; 2014) как метода изучения процессов восприятия (Барабанщиков, 1997).
Методика
ИМК-Р300 реализовано на основе 8-канального элекгроэнцефалографа производства компании «МОВИКОМ» с частотой оцифровки сигнала 500 Гц. Регистрация положения взора выполнялась на установке SMI HiSpeed, позволяющей выполнять айтрекинг с частотой 500 кадров в секунду с пространственным разрешением 0,25°-0,5°. Для обеспечения высокоточного, особенно во временном плане, предъявления стимулов на экране монитора была использована программная платформа Python 2.5 с набором модулей расширения, позволяющих помимо предъявления элементов осуществлять скоростную онлайн-обработку ЭЭГ-данных для обеспечения высокой скорости работы ИМК. Сопряжение ИМК-Р300 с айтрекинговой системой было выполнено посредством Ethernet-соединения компьютеров, реализовывавших соответствующие процессы.
Тестовым объектом стала матрица символов, которая состояла из букв и служебных символов, символы могли быть в обрамлении и без него (рис. 1).
Строки и столбцы матрицы ритмично выделялись подсветками, в одних режимах подсветки были низкоинтенсивными, в других - высокоинтенсивными (рис. 2).
Длительность подсвечивания строки или столбца составляла 180 мс, интервал между окончанием одной подсветки и началом следующей - 100 мс. Подсветки объединялись в циклы таким образом, что в каждом цикле каждые столбец и строка были подсвечены по 5 раз в случайной последовательности.
Процедура. В начале эксперимента испытуемые проходили ознакомление с общим порядком работы. Записывалась тренировочная сессия, на основе которой для каждого испытуемого строился классификатор на основе линейного дискриминанта Фишера. Данный классификатор впоследствии использовался для детекции целевых элементов с целью вывода их на печать. При этом все испытуемые в этой сессии работали в режиме высокого контраста подсветок с элементами без обрамления. Далее начиналась основная сессия, где испытуемые должны были набрать слова исследование, университет, предприятие и библиотека. Порядок следования слов у всех испытуемых был одинаковым, а порядок следования режимов работы (1 - высокий контраст с элементами без обрамления, 2 - высокий контраст с элементами в обрамлении, 3 - низкий контраст с элементами без обрамления, 4 - низкий контраст с элементами в обрамлении) был случайным. Таким образом, сочетания «слово - режим работы» и сам порядок следования таких сочетаний были рандомизированы. Испытуемый набирал слова последовательно буква за буквой, при помощи клавишей мыши включались подсветки матрицы, испытуемый сосредоточивался на нужной букве и по завершении цикла подсветок производился вывод на печать буквы, выбранной при помощи ранее построенного классификатора.
Испытуемые. Участниками исследования стали 17 испытуемых от 18 до 25 лет - студенты московских вузов с нормальным или скорректированным до нормального зрением. В дальнейшем, при обработке полученных данных, первичные данные некоторых испытуемых не вошли в общий массив в связи со значительной долей артефактов в записях, итоговая обработка производилась по данным 12 испытуемых.
Обработка данных. Данные обрабатывались в свободно распространяемых программных средах Python 2.7.3 и R 3.1 (R Core Team, 2015), предназначенных для статистической обработки. Детекция фиксаций проводилась при помощи алгоритма I-DT (dispersion threshold identification), минимальная продолжительность фиксации - 50 мс, максимальная дисперсия - 40 точек (1° при расстоянии до экрана 60 см). Такие параметры детекции были выбраны для обеспечения преемственности между актуальным исследованием и ранее проведенными схожими айтрекерными исследованиями. Анализировались такие параметры окуломоторной активности, как продолжительность и дисперсия фиксаций. Проводилось сопоставление данных характеристик для четырех режимов работы испытуемых, а также сопоставление режимов с малым и большим числом ошибочных выборов букв. Достоверность различий оценивалась при помощи Т-критерия Вилкоксона. Перед статистическим анализом производилось усреднение продолжительности фиксаций и их дисперсий для каждой введенной буквы. Таким образом, каждая введенная в процессе работы в ИМК-Р300 буква характеризовалась средней продолжительностью фиксаций в мс и средней дисперсией фиксаций в пикселях экрана.
Результаты
Сравнительный анализ различных стимульных сред по окуломоторным характеристикам операторов свидетельствует о том, что: а) по дисперсии зрительных фиксаций достоверно различаются режимы «высокий контраст с обрамлением» и «высокий контраст без обрамления», 12,9 px и 14,3 px соответственно (р = 0,037); б) по длительности фиксаций достоверно различаются режимы «низкий контраст без обрамления» и «высокий контраст без обрамления» 526 мс и 579 мс соответственно (р = 0,048), «низкий контраст без обрамления» и «высокий контраст в обрамления» 526 мс и 641 мс соответственно (р = 0,001).
Для сопоставления наиболее и наименее эффективных режимов стимуляции для каждого испытуемого отбирались две записи - с минимальным (эффективный режим для данного испытуемого) и максимальным (неэффективный режим для данного испытуемого) числом ошибочных вводов букв. Результаты испытуемых, которые показали одинаковую эффективность работы во всех предложенных режимах, в данный анализ включены не были. Следует отметить, что режимы с наибольшей и наименьшей эффективностью существенно различались у разных испытуемых. В большинстве случаев к эффективному относился один из режимов с высокой контрастностью подсветок, а к неэффективному - один из вариантов с низкой контрастностью. Было выявлено, что работа в эффективных режимах характеризуется меньшей дисперсией фиксаций, чем работа в неэффективных режимах - 12,5 px и 15 px соответственно (р = 0,037). При этом достоверных различий в продолжительности фиксаций обнаружено не было.
В наших предыдущих работах были обнаружены достоверные количественные различия амплитуды компоненты N200, однако выявить взаимосвязь этой динамики с какими- либо другими показателями ЭЭГ или характеристиками работы испытуемых не удалось (Басюл, Каплан, 2014). Принято считать, что степень выраженности ранних компонент ПСС связана скорее с физическими параметрами среды, а не с особенностями работы оператора и величиной когнитивной нагрузки, как в случае с компонентой Р300. Однако в исследовании связи параметров компоненты N200 с физическими параметрами визуальной среды ИМК-Р300 (Shishkin et al., 2009) было показано, что характеристики N200 остаются практически без изменений в широком диапазоне физических параметров (размеры стимулов, яркость, направление перепада яркости при подсветке и т. д.) визуальной среды ИМК-Р300. Вместе с тем, на материале работы оператора с ИМК-300 и в схожих стимульных ситуациях были получены данные об отрицательной корреляции основных управляющих компонент (N200 и Р300) с рядом окуломоторных показателей (Басюл, 2016).
Результаты проведенных исследований свидетельствуют о том, что использование окуломоторных показателей является эффективным средством оптимизации стимульной среды ИМК-Р300. На первый взгляд более логичным кажется использование для этой цели не косвенных показателей работы зрительного внимания, а непосредственно амплитуд компонент Р300 и N200, однако, как было показано ранее (Басюл, Каплан, 2014), в случае работы в контуре ИМК-Р300 амплитуды данных компонент не достигают своих максимальных значений, а, следовательно, не могут служить надежным показателем оптимизации стимулов, в то время как окуломоторные показатели вполне могут являться индикаторами уровня оптимизации характеристик стимульной среды ИМК-Р300 для конкретного оператора. Можно предполагать, что подбор характеристик стимульной среды ИМК-Р300 на основе не только субъективных ощущений оператора (на начальных этапах такой показатель не может рассматриваться как информативный), но и по окуломоторным показателям позволит ускорить формирование стабильного навыка работы с ИМК-Р300, повысить общую эффективность работы, снизить утомляемость оператора. Кроме того, такая оптимизация работы оператора в стимульной среде позволит строить для каждого оператора более эффективные классификаторы, и, следовательно, будет способствовать повышению эффективности работы человека в контуре ИМК-Р300.
Выводы
1. Выявлены показатели окуломоторной активности оператора интерфейса «мозг- компьютер» на волне Р300, коррелирующие с эффективностью работы оператора.
2. Полученные данные позволяют применять ряд показателей окуломоторной активности оператора для оптимизации стимульной среды интерфейса «мозг-компьютер» на волне Р300 для построения более стабильных и точных классификаторов, а также для ускорения формирования навыка у оператора, уменьшения его утомляемости.
Финансирование
Исследование осуществляется при поддержке РГНФ, проект № 15-36-01386 «Закономерности организации окуломоторной активности в среде интерфейс мозг-компьютер».