Экспериментальная психология
2017. Том 10. № 1. С. 129–138
doi:10.17759/exppsy.2017100109
ISSN: 2072-7593 / 2311-7036 (online)
Характеристики окуломоторной активности оператора интерфейса мозг-компьютер на волне P300 в различных стимульных ситуациях*
Аннотация
Общая информация
* Исследование осуществляется при поддержке РГНФ, проект № 15-36-01386 «Закономерности организации окуломоторной активности в среде интерфейс мозг-компьютер».
Ключевые слова: интерфейс «человек—компьютер», айтрекинг (eyetracking), вызванные потенциалы, P300, зрительное внимание, N200
Рубрика издания: Инструментарий
Тип материала: научная статья
DOI: https://doi.org/10.17759/exppsy.2017100109
Для цитаты: Басюл И.А. Характеристики окуломоторной активности оператора интерфейса мозг-компьютер на волне P300 в различных стимульных ситуациях // Экспериментальная психология. 2017. Том 10. № 1. С. 129–138. DOI: 10.17759/exppsy.2017100109
Полный текст
Введение
Многими исследователями продемонстрирована возможность применения определенных параметров ЭЭГ для управления различными внешними устройствами: компьютерный курсор, виртуальная клавиатура, экзоскелетные и робототехнические устройства (Kaplan et al., 2005; 2013; Wolpaw et al., 2002). Области практического применения интерфейсов «мозг-компьютер» (ИМК) достаточно очевидны: помощь пациентам с глубокими нарушениями двигательных функций (Kleih et al., 2011; Sellers et al., 2010; Wolpaw et al., 2002), разработка компьютерных «тренажеров внимания» и контроля моторной деятельности (Blankertz et al., 2010), обеспечение дополнительного функционала у здорового человека и в случае ампутации конечностей (Blankertz et al., 2010; Nicolelis, 2003).
В плане точности и скорости работы одно из лидирующих мест занимает ИМК на «волне P300», или ИМК-Р300 (Farwell, Donchin, 1988). Работа ИМК-Р300 основана на детекции когнитивной компоненты вызванного потенциала мозга, волны P300, которая обнаруживается при предъявлении оператору ожидаемого стимула в ряду некоторого набора стимулов. Фокусируя свое внимание на требуем стимуле, оператор может выбрать тот или иной элемент в контуре ИМК-Р300. Для выбора элемента производится сопоставление амплитуд компоненты Р300 в ответ на предъявление различных стимулов: большая амплитуда волны P300 (Ганин и др., 2012; Каплан и др., 2013; Михайлова и др., 2008; Farwell, Donchin, 1988; Mak et al., 2011; Wolpaw et al., 2002) в ответ на предъявление какого-то стимула указывает, что именно он находится в фокусе внимания оператора и является командным в данный момент. Результаты последних исследований свидетельствуют о том, что существенный вклад в определение фокуса внимания оператора могут вносить и ряд других компонент потенциалов, связанных с событиями (ПСС), например, компонента N200 (Ганин и др., 2012; Каплан и др., 2013; Bianchi et al., 2010; Kaufmann et al., 2011; Krusienski et al., 2008; Shishkin et al., 2009). Использование данных компонент в алгоритмах детекции, а также оптимизация самого контура ИМК-Р300 с учетом эффективного участия этих дополнительных компонент позволит еще более повысить устойчивость и скорость работы ИМК-Р300.
Эргономичность интерфейса ИМК-Р300 является важным фактором работоспособности данного типа ИМК. Одна из возможностей ее повышения заключается в совмещении подсветок элементов на мониторе с их движением (Ганин, Каплан, 2014). Основная цель такой модификации - стабилизация непроизвольного внимания оператора при его работе с элементами ИМК-Р300. Для создания наиболее оптимальных условий привлечения автоматического внимания необходимо сформировать такую визуальную среду, которая создаст наиболее оптимальные условия для отслеживания и фиксирования стимульных элементов ИМК-Р300. Одним из вариантов решения такой задачи выступает сопряжение ИМК-Р300 и методики айтрекинга - регистрации направленности взора при помощи скоростной видеокамеры (Барабанщиков, 1997).
Одной из целей сопряжения ИМК-Р300 с айтрекингом является изучение внутренней структуры основных компонент ПСС, участвующих в работе данного ИМК, взаимосвязи особенностей этих компонент с характеристиками стимульной среды, с которой работает оператор, или с методом работы самого оператора. Показано, что ранние зрительные компоненты, в частности N200, при работе в ИМК-Р300 связаны с объектами, на которые непосредственно направлен взор оператора (Brunner et al., 2010), а появление компоненты Р300 связано с привлечением внимания оператора к одному из элементов интерфейса. В силу различной природы компонент Р300 и N200 особенности визуальной среды ИМК-Р300 и выполняемой оператором задачи будут оказывать различное влияние на характеристики данных компонент (амплитуда, латентность). Поэтому достижение наилучших показателей эффективности данного ИМК требует условий, в которых обе компоненты обладают достаточной степенью выраженности. И если для когнитивной компоненты Р300 в целом известны условия, определяющие ее характеристики, то для N200 достоверно известны лишь условия ее появления - центральная область зрительного поля оператора должна совпадать с местонахождением целевого элемента. Взаимосвязи характеристик стимульной среды, особенностей процессов восприятия и деятельности оператора с параметрами компоненты N200 пока еще мало изучены (Басюл, Каплан, 2014). Тем не менее, результаты проведенных в этой области иссле
дований свидетельствуют о том, что при удалении положения взора от целевого элемента происходит снижение амплитуды некоторых ПСС (Domínguez-Martínez et al., 2015) и, кроме того, используемый в такого рода экспериментах метод видеорегистрации положения взора может способствовать прояснению взаимосвязей тех или иных изменений в ПСС с процессами восприятия.
Нами было проведено исследование взаимосвязи характеристик стимульной ситуации ИМК-Р300 с эффективностью работы оператора и параметрами его окуломоторной активности путем сопряженной регистрации ЭЭГ и окуломоторной активности испытуемых. Данное исследование объединяет психофизиологическую парадигму интерфейса «мозг- компьютер» и методику айтрекинга (Барабанщиков, Жегалло, 2013; 2014) как метода изучения процессов восприятия (Барабанщиков, 1997).
Методика
ИМК-Р300 реализовано на основе 8-канального элекгроэнцефалографа производства компании «МОВИКОМ» с частотой оцифровки сигнала 500 Гц. Регистрация положения взора выполнялась на установке SMI HiSpeed, позволяющей выполнять айтрекинг с частотой 500 кадров в секунду с пространственным разрешением 0,25°-0,5°. Для обеспечения высокоточного, особенно во временном плане, предъявления стимулов на экране монитора была использована программная платформа Python 2.5 с набором модулей расширения, позволяющих помимо предъявления элементов осуществлять скоростную онлайн-обработку ЭЭГ-данных для обеспечения высокой скорости работы ИМК. Сопряжение ИМК-Р300 с айтрекинговой системой было выполнено посредством Ethernet-соединения компьютеров, реализовывавших соответствующие процессы.
Тестовым объектом стала матрица символов, которая состояла из букв и служебных символов, символы могли быть в обрамлении и без него (рис. 1).
Строки и столбцы матрицы ритмично выделялись подсветками, в одних режимах подсветки были низкоинтенсивными, в других - высокоинтенсивными (рис. 2).
Длительность подсвечивания строки или столбца составляла 180 мс, интервал между окончанием одной подсветки и началом следующей - 100 мс. Подсветки объединялись в циклы таким образом, что в каждом цикле каждые столбец и строка были подсвечены по 5 раз в случайной последовательности.
Процедура. В начале эксперимента испытуемые проходили ознакомление с общим порядком работы. Записывалась тренировочная сессия, на основе которой для каждого испытуемого строился классификатор на основе линейного дискриминанта Фишера. Данный классификатор впоследствии использовался для детекции целевых элементов с целью вывода их на печать. При этом все испытуемые в этой сессии работали в режиме высокого контраста подсветок с элементами без обрамления. Далее начиналась основная сессия, где испытуемые должны были набрать слова исследование, университет, предприятие и библиотека. Порядок следования слов у всех испытуемых был одинаковым, а порядок следования режимов работы (1 - высокий контраст с элементами без обрамления, 2 - высокий контраст с элементами в обрамлении, 3 - низкий контраст с элементами без обрамления, 4 - низкий контраст с элементами в обрамлении) был случайным. Таким образом, сочетания «слово - режим работы» и сам порядок следования таких сочетаний были рандомизированы. Испытуемый набирал слова последовательно буква за буквой, при помощи клавишей мыши включались подсветки матрицы, испытуемый сосредоточивался на нужной букве и по завершении цикла подсветок производился вывод на печать буквы, выбранной при помощи ранее построенного классификатора.
Испытуемые. Участниками исследования стали 17 испытуемых от 18 до 25 лет - студенты московских вузов с нормальным или скорректированным до нормального зрением. В дальнейшем, при обработке полученных данных, первичные данные некоторых испытуемых не вошли в общий массив в связи со значительной долей артефактов в записях, итоговая обработка производилась по данным 12 испытуемых.
Обработка данных. Данные обрабатывались в свободно распространяемых программных средах Python 2.7.3 и R 3.1 (R Core Team, 2015), предназначенных для статистической обработки. Детекция фиксаций проводилась при помощи алгоритма I-DT (dispersion threshold identification), минимальная продолжительность фиксации - 50 мс, максимальная дисперсия - 40 точек (1° при расстоянии до экрана 60 см). Такие параметры детекции были выбраны для обеспечения преемственности между актуальным исследованием и ранее проведенными схожими айтрекерными исследованиями. Анализировались такие параметры окуломоторной активности, как продолжительность и дисперсия фиксаций. Проводилось сопоставление данных характеристик для четырех режимов работы испытуемых, а также сопоставление режимов с малым и большим числом ошибочных выборов букв. Достоверность различий оценивалась при помощи Т-критерия Вилкоксона. Перед статистическим анализом производилось усреднение продолжительности фиксаций и их дисперсий для каждой введенной буквы. Таким образом, каждая введенная в процессе работы в ИМК-Р300 буква характеризовалась средней продолжительностью фиксаций в мс и средней дисперсией фиксаций в пикселях экрана.
Результаты
Сравнительный анализ различных стимульных сред по окуломоторным характеристикам операторов свидетельствует о том, что: а) по дисперсии зрительных фиксаций достоверно различаются режимы «высокий контраст с обрамлением» и «высокий контраст без обрамления», 12,9 px и 14,3 px соответственно (р = 0,037); б) по длительности фиксаций достоверно различаются режимы «низкий контраст без обрамления» и «высокий контраст без обрамления» 526 мс и 579 мс соответственно (р = 0,048), «низкий контраст без обрамления» и «высокий контраст в обрамления» 526 мс и 641 мс соответственно (р = 0,001).
Для сопоставления наиболее и наименее эффективных режимов стимуляции для каждого испытуемого отбирались две записи - с минимальным (эффективный режим для данного испытуемого) и максимальным (неэффективный режим для данного испытуемого) числом ошибочных вводов букв. Результаты испытуемых, которые показали одинаковую эффективность работы во всех предложенных режимах, в данный анализ включены не были. Следует отметить, что режимы с наибольшей и наименьшей эффективностью существенно различались у разных испытуемых. В большинстве случаев к эффективному относился один из режимов с высокой контрастностью подсветок, а к неэффективному - один из вариантов с низкой контрастностью. Было выявлено, что работа в эффективных режимах характеризуется меньшей дисперсией фиксаций, чем работа в неэффективных режимах - 12,5 px и 15 px соответственно (р = 0,037). При этом достоверных различий в продолжительности фиксаций обнаружено не было.
В наших предыдущих работах были обнаружены достоверные количественные различия амплитуды компоненты N200, однако выявить взаимосвязь этой динамики с какими- либо другими показателями ЭЭГ или характеристиками работы испытуемых не удалось (Басюл, Каплан, 2014). Принято считать, что степень выраженности ранних компонент ПСС связана скорее с физическими параметрами среды, а не с особенностями работы оператора и величиной когнитивной нагрузки, как в случае с компонентой Р300. Однако в исследовании связи параметров компоненты N200 с физическими параметрами визуальной среды ИМК-Р300 (Shishkin et al., 2009) было показано, что характеристики N200 остаются практически без изменений в широком диапазоне физических параметров (размеры стимулов, яркость, направление перепада яркости при подсветке и т. д.) визуальной среды ИМК-Р300. Вместе с тем, на материале работы оператора с ИМК-300 и в схожих стимульных ситуациях были получены данные об отрицательной корреляции основных управляющих компонент (N200 и Р300) с рядом окуломоторных показателей (Басюл, 2016).
Результаты проведенных исследований свидетельствуют о том, что использование окуломоторных показателей является эффективным средством оптимизации стимульной среды ИМК-Р300. На первый взгляд более логичным кажется использование для этой цели не косвенных показателей работы зрительного внимания, а непосредственно амплитуд компонент Р300 и N200, однако, как было показано ранее (Басюл, Каплан, 2014), в случае работы в контуре ИМК-Р300 амплитуды данных компонент не достигают своих максимальных значений, а, следовательно, не могут служить надежным показателем оптимизации стимулов, в то время как окуломоторные показатели вполне могут являться индикаторами уровня оптимизации характеристик стимульной среды ИМК-Р300 для конкретного оператора. Можно предполагать, что подбор характеристик стимульной среды ИМК-Р300 на основе не только субъективных ощущений оператора (на начальных этапах такой показатель не может рассматриваться как информативный), но и по окуломоторным показателям позволит ускорить формирование стабильного навыка работы с ИМК-Р300, повысить общую эффективность работы, снизить утомляемость оператора. Кроме того, такая оптимизация работы оператора в стимульной среде позволит строить для каждого оператора более эффективные классификаторы, и, следовательно, будет способствовать повышению эффективности работы человека в контуре ИМК-Р300.
Выводы
1. Выявлены показатели окуломоторной активности оператора интерфейса «мозг- компьютер» на волне Р300, коррелирующие с эффективностью работы оператора.
2. Полученные данные позволяют применять ряд показателей окуломоторной активности оператора для оптимизации стимульной среды интерфейса «мозг-компьютер» на волне Р300 для построения более стабильных и точных классификаторов, а также для ускорения формирования навыка у оператора, уменьшения его утомляемости.
Финансирование
Исследование осуществляется при поддержке РГНФ, проект № 15-36-01386 «Закономерности организации окуломоторной активности в среде интерфейс мозг-компьютер».
Литература
- Барабанщиков В.А. Окуломоторные структуры восприятия. М.: Институт психологии РАН, 1997. 383 c.
- Барабанщиков В.А., Жегалло А.В. Айтрекинг: методы регистрации движений глаз в психологиче- ских исследованиях и практике. М.: Когито-Центр, 2014 г. 128 с.
- Барабанщиков В.А., Жегалло А.В. Регистрация и анализ направленности взора человека. М.: Инсти- тут психологии РАН, 2013 г. 323 с.
- Басюл И.А. Электроэнцефалографические показатели и окуломоторная активность при работе в ин- терфейсе мозг–компьютер на волне Р300 // Процедуры и методы экспериментально-психологических исследований / Отв. ред. В. А. Барабанщиков. М.: Институт психологии РАН, 2016. С. 438–443.
- Басюл И.А., Каплан А.Я. Изменения N200 и P30 компонентов потенциалов, связанных с событиями, при варьировании условий внимания в системе Brain Computer Interface // Журнал высшей нервной деятельности имени И.П. Павлова. М.: Наука, 2014. № 2 (64). С. 159–166.
- Ганин И.П., Каплан А.Я. Интерфейс мозг-компьютер на основе волны P300: предъявление ком- плексных стимулов «подсветка + движение» // Журнал высшей нервной деятельности имени И.П. Павлова. М.: Наука, 2014. № 2(64). С. 32–40.
- Ганин И.П., Шишкин С.Л., Кочетова А.Г., Каплан А.Я. Интерфейс мозг-компьютер «на волне P300»: исследование эффекта номера стимулов в последовательности их предъявления // Физиология че- ловека. 2012. № 38(2). С. 5–13.
- Каплан А.Я., Кочетова А.Г., Шишкин С.Л., Басюл И.А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии интерфейс мозг-компьютер // Бюл. Сиб. медицины. 2013. № 12(2). С. 21–29.
- Михайлова Е.С., Чичеров В.А., Птушенко И.А., Шевелев И.А. Пространственный градиент волны P300 зрительного вызванного потенциала мозга человека в модели нейрокомпьютерного интерфейса // Журн. высш. нерв. деят. 2008. № 58(3). С. 302–308.
- Bianchi L., Sami S., Hikkerbrand A., Fawcett I.P., Quitadamo L.R, Seri S. Which physiological components are more suitable for visual ERP based brain-computer interface? A preliminary MEG/EEG study // Brain Topogr. 2010. № 23. P. 180–185. doi: 10.1007/s10548-010-0143-0
- Blankertz B., Tangermann M., Vidaurre C., Fazli S., Sannelli C., Haufe S., Maeder C., Ramsey L., Sturm I., Curio G., Müller K.R. The Berlin Brain-Computer Interface: Non-Medical Uses of BCI Technology // Front Neurosci. 2010. № 4. P. 198–210. doi: 10.3389/fnins.2010.00198
- Brunner P., Joshi S., Briskin S., Wolpaw J.R., Bischof H., and Schalk G. Does the “P300” Speller Depend on Eye Gaze? // J. Neural Eng. 2010. № 7(5). P. 056013. doi: 10.1088/1741-2560/7/5/056013
- Cipresso P., Meriggi P., Carelli L., Solca F., Meazzi D., Poletti B., Lule D., Ludolph A.C., Giuseppe R., Silani V. The combined use of Brain Computer Interface and Eye-Tracking technology for cognitive assessment in Amyotrophic Lateral Sclerosis // Pervasive Computing Technologies for Healthcare (PervasiveHealth). Dublin, Irland, 2011. P. 320–324.
- Domínguez-Martínez E., Parise E., Strandvall T., Reid V.M. The Fixation Distance to the Stimulus Influ- ences ERP Quality: An EEG and Eye Tracking N400 Study // PLoS ONE. 2015. Vol. 10(7): e0134339. doi:10.1371/journal.pone.0134339.
- Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event- related brain potentials // EEG a. Clin. Neurophysiol. 1988. № 70. P. 510–523.
- Frisoli A., Loconsole C., Leonardis D., Banno F., Barsotti M., Chisari C., Bergamasco M. A New Gaze-BCI- Driven Control of an Upper Limb Exoskeleton for Rehabilitation in Real-World Tasks // IEEE Transac- tions on Systems, Man, and Cybernetics, Part C (Applications and Reviews). 2012. Vol. 42. P. 1169–1179.
- Gneo M., Severini G., Conforto S., Schmid M., D’Alessio T. Towards a brain-activated and eye-controlled wheelchair // Inter. J. of Bioelectromagnetism, 2011. Vol. 13. № 1. P. 44–45. doi: 10.1186/1743-0003-11-7
- Kaplan A.Ya., Lim J.J., Jin K.S., Park B.W., Byeon J.G., Tarasova S.U. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception // Intern. J. Neurosci. 2005. № 115. P. 781–802.
- Kaplan A.Ya., Shishkin S.L., Ganin I.P., Basyul I.A., Zhigalov A.Y. Adapting the P300-based brain-comput- er interface for gaming: a review // IEEE Trans. on Comput. Intelligence and AI in Games. 2013. № 5(2). P. 141–149. doi: 10.1109/TCIAIG.2012.2237517
- Kaufmann T., Hammer E. M., Kubler A. ERPs Contributing to Classification in the “P300” BCI // Pro- ceedings of the Fifth International BCI Conference. Graz, Austria, 22–24 September. 2011. P. 136–139.
- Kim B.H., Kim M., Jo S. Quadcopter flight control using a low-cost hybrid interface with EEG-based clas- sification and eye tracking // Computers in Biology and Medicine. 2014. Vol. 51. P. 82–92. doi: 10.1016/j. compbiomed.2014.04.020
- Kleih S.C., Kaufmann T., Zickler C., Halder S., Leotta F., Cincotti F., Aloise F., Riccio A., Herbert C., Mattia D., Kübler A. Out of the frying pan into the fire-the P300-based BCI faces real-world challenges // Prog. Brain Res. 2011. № 194. P. 27–46. doi: 10.1016/B978-0-444-53815-4.00019-4
- Krusienski D.J., Sellers E.W., McFarland D.J., Vaughan T.M., Wolpaw J.R. Toward enhanced P300 speller performance // J. Neurosci. Methods. 2008. № 167. P. 15–21. doi: 10.1016/j.jneumeth.2007.07.017
- Lee E.C., Woo J.C., Kim J.H., Whang M., Park K.R. A brain-computer interface method combined with eye tracking for 3D interaction // J. Neurosci. Methods. 2010. № 190(2). P. 289––298. doi: 111000...111000111666///jjj...jjjnnneeeuuu-- meth.2010.05.008
- Mak J.N, Arbel Y., Minett J.W., McCane L.M., Yuksel B., Ryan D., Thompson D., Bianchi L., Erdogmus D. Optimizing the P300-based brain-computer interface: current status, limitations and future directions // J. Neural Eng. 2011. № 8. P. 025–033. doi: 10.1088/1741-2560/8/2/025003
- McCullagh P., Galway L., Lightbody G. Investigation into a Mixed Hybrid Using SSVEP and Eye Gaze for Optimising User Interaction within a Virtual Environment / Eds. C. Stephanidis and M. Antona. UAH- CI/HCII 2013. Part I. LNCS 8009. P. 530–539. doi: 10.1007/978-3-642-39188-0_57
- Nicolelis M.A. Brain-machine interfaces to restore motor function and probe neural circuits // Nat. Rev. Neurosci. 2003. № 4(5). P. 417–422.
- R Core Team. R: A language and environment for statistical computing [Электронный ресурс] // R Foundation for Statistical Computing, Vienna, Austria. 2015. URL: http://www.R-project.org/.
- Sellers E.W., Vaughan T.M., Wolpaw J.R. A brain-computer interface for long-term independent home use // Amyotroph. Lateral Scler. 2010. № 11. P. 449–455. doi: 10.3109/17482961003777470
- Shishkin S.L., Ganin I.P., Basyul I.A., Zhigalov A.Y., Kaplan A.Y. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli // J. Integr Neurosci. 2009. Vol. 8. № 4. P. 471–485.
- Vidal J.J. Real-time detection of brain events in EEG // IEEE Proc. 1977. № 65. P. 633–641. doi: 10.1109/PROC.1977.10542
- Wolpaw J.R., Birbaumer N., McFarland D.J., Pfurtscheller G., Vaughan T.M. Brain-computer interfaces for communication and control // Clin. Neurophysiol. 2002. № 113. P. 767–791.
- Wolpaw J.R., McFarland D.J., Neat G.W., Forneris C.A. An EEG–based brain–computer interface for cur- sor control // EEG a. Clin. Neurophysiol. 1991. № 78(3). P. 252–259.
- Zander T.O, Gaertner M., Kothe C., Vilimek R. Combining Eye Gaze Input with a Brain-Computer Inter- face for touchless Human-Computer Interaction // International journal of human-computer interaction. 2011. № 27(1). P. 38–51. doi: 10.1080/10447318.2011.535752
Информация об авторах
Метрики
Просмотров
Всего: 1911
В прошлом месяце: 5
В текущем месяце: 0
Скачиваний
Всего: 589
В прошлом месяце: 4
В текущем месяце: 0