Характеристики окуломоторной активности оператора интерфейса мозг-компьютер на волне P300 в различных стимульных ситуациях^*

Проверялась гипотеза о взаимосвязи характеристик стимульной ситуации в интерфейсе «мозг– компьютер» на волне P300 с окуломоторной активностью и эффективностью работы оператора. Были протестированы интенсивность подсветок экранных элементов (контраст между «подсвеченным» и «неподсвеченным» элементами), а также наличие либо отсутствие обрамления вокруг каждого экран- ного элемента. В итоге были протестированы следующие варианты стимульных сред: 1) низкий кон- траст, стимулы без обрамления; 2) низкий контраст, стимулы с обрамлением; 3) высокий контраст, стимулы без обрамления; 4) высокий контраст, стимулы с обрамлением. Результаты проведенного исследования указывают на то, что стимульные среды, обеспечивающие минимальное число ошибок оператора и, соответственно, способствующие максимальной эффективности работы, сопряжены с меньшей, чем в остальных случаях, дисперсией фиксаций и, одновременно, с большей их продолжительностью. Однако по причине различий в оптимальных для каждого испытуемого стимульных средах однозначно выявить наилучший тип не удалось. Тем не менее, применение айтрекинга для оптимизации характеристик стимульной среды интерфейса «мозг–компьютер» на волне Р300 позволит формировать оптимальные условия для работы оператора и проводить наиболее точную фиксацию показателей его деятельности.

Длительность подсвечивания строки или столбца составляла 180 мс, интервал между окончанием одной подсветки и началом следующей - 100 мс. Подсветки объединялись в циклы таким образом, что в каждом цикле каждые столбец и строка были подсвечены по 5 раз в случайной последовательности.

Процедура. В начале эксперимента испытуемые проходили ознакомление с общим порядком работы. Записывалась тренировочная сессия, на основе которой для каждого испытуемого строился классификатор на основе линейного дискриминанта Фишера. Данный классификатор впоследствии использовался для детекции целевых элементов с целью вывода их на печать. При этом все испытуемые в этой сессии работали в режиме высокого контраста подсветок с элементами без обрамления. Далее начиналась основная сессия, где испытуемые должны были набрать слова исследование, университет, предприятие и библиотека. Порядок следования слов у всех испытуемых был одинаковым, а порядок следования режимов работы (1 - высокий контраст с элементами без обрамления, 2 - высокий контраст с элементами в обрамлении, 3 - низкий контраст с элементами без обрамления, 4 - низкий контраст с элементами в обрамлении) был случайным. Таким образом, сочетания «слово - режим работы» и сам порядок следования таких сочетаний были рандомизи­рованы. Испытуемый набирал слова последовательно буква за буквой, при помощи клавишей мыши включались подсветки матрицы, испытуемый сосредоточивался на нужной букве и по завершении цикла подсветок производился вывод на печать буквы, выбранной при помощи ранее построенного классификатора.

Испытуемые. Участниками исследования стали 17 испытуемых от 18 до 25 лет - студенты московских вузов с нормальным или скорректированным до нормального зрением. В дальнейшем, при обработке полученных данных, первичные данные некоторых испытуемых не вошли в общий массив в связи со значительной долей артефактов в записях, итоговая обработка производилась по данным 12 испытуемых.

Обработка данных. Данные обрабатывались в свободно распространяемых программных средах Python 2.7.3 и R 3.1 (R Core Team, 2015), предназначенных для статистической обработки. Детекция фиксаций проводилась при помощи алгоритма I-DT (dispersion threshold identification), минимальная продолжительность фиксации - 50 мс, максимальная дисперсия - 40 точек (1° при расстоянии до экрана 60 см). Такие параметры детек­ции были выбраны для обеспечения преемственности между актуальным исследованием и ранее проведенными схожими айтрекерными исследованиями. Анализировались такие параметры окуломоторной активности, как продолжительность и дисперсия фиксаций. Проводилось сопоставление данных характеристик для четырех режимов работы испытуемых, а также сопоставление режимов с малым и большим числом ошибочных выборов букв. Достоверность различий оценивалась при помощи Т-критерия Вилкоксона. Перед статистическим анализом производилось усреднение продолжительности фиксаций и их дисперсий для каждой введенной буквы. Таким образом, каждая введенная в процессе работы в ИМК-Р300 буква характеризовалась средней продолжительностью фиксаций в мс и средней дисперсией фиксаций в пикселях экрана.

Результаты

Сравнительный анализ различных стимульных сред по окуломоторным характеристикам операторов свидетельствует о том, что: а) по дисперсии зрительных фиксаций достоверно различаются режимы «высокий контраст с обрамлением» и «высокий контраст без обрамления», 12,9 px и 14,3 px соответственно (р = 0,037); б) по длительности фиксаций достоверно различаются режимы «низкий контраст без обрамления» и «высокий контраст без обрамления» 526 мс и 579 мс соответственно (р = 0,048), «низкий контраст без обрамления» и «высокий контраст в обрамления» 526 мс и 641 мс соответственно (р = 0,001).

Для сопоставления наиболее и наименее эффективных режимов стимуляции для каждого испытуемого отбирались две записи - с минимальным (эффективный режим для данного испытуемого) и максимальным (неэффективный режим для данного испытуемого) числом ошибочных вводов букв. Результаты испытуемых, которые показали одинаковую эффективность работы во всех предложенных режимах, в данный анализ включены не были. Следует отметить, что режимы с наибольшей и наименьшей эффективностью существенно различались у разных испытуемых. В большинстве случаев к эффективному относился один из режимов с высокой контрастностью подсветок, а к неэффективному - один из вариантов с низкой контрастностью. Было выявлено, что работа в эффективных режимах характеризуется меньшей дисперсией фиксаций, чем работа в неэффективных режимах - 12,5 px и 15 px соответственно (р = 0,037). При этом достоверных различий в продолжительности фиксаций обнаружено не было.

В наших предыдущих работах были обнаружены достоверные количественные различия амплитуды компоненты N200, однако выявить взаимосвязь этой динамики с какими- либо другими показателями ЭЭГ или характеристиками работы испытуемых не удалось (Басюл, Каплан, 2014). Принято считать, что степень выраженности ранних компонент ПСС связана скорее с физическими параметрами среды, а не с особенностями работы оператора и величиной когнитивной нагрузки, как в случае с компонентой Р300. Однако в исследовании связи параметров компоненты N200 с физическими параметрами визуальной среды ИМК-Р300 (Shishkin et al., 2009) было показано, что характеристики N200 остаются практически без изменений в широком диапазоне физических параметров (размеры стимулов, яркость, направление перепада яркости при подсветке и т. д.) визуальной среды ИМК-Р300. Вместе с тем, на материале работы оператора с ИМК-300 и в схожих стимуль­ных ситуациях были получены данные об отрицательной корреляции основных управляющих компонент (N200 и Р300) с рядом окуломоторных показателей (Басюл, 2016).

Результаты проведенных исследований свидетельствуют о том, что использование окуломоторных показателей является эффективным средством оптимизации стимуль­ной среды ИМК-Р300. На первый взгляд более логичным кажется использование для этой цели не косвенных показателей работы зрительного внимания, а непосредственно амплитуд компонент Р300 и N200, однако, как было показано ранее (Басюл, Каплан, 2014), в случае работы в контуре ИМК-Р300 амплитуды данных компонент не достигают своих максимальных значений, а, следовательно, не могут служить надежным показателем оптимизации стимулов, в то время как окуломоторные показатели вполне могут являться индикаторами уровня оптимизации характеристик стимульной среды ИМК-Р300 для конкретного оператора. Можно предполагать, что подбор характеристик стимульной среды ИМК-Р300 на основе не только субъективных ощущений оператора (на начальных этапах такой показатель не может рассматриваться как информативный), но и по окуломоторным показателям позволит ускорить формирование стабильного навыка работы с ИМК-Р300, повысить общую эффективность работы, снизить утомляемость оператора. Кроме того, такая оптимизация работы оператора в стимульной среде позволит строить для каждого оператора более эффективные классификаторы, и, следовательно, будет способствовать повышению эффективности работы человека в контуре ИМК-Р300.

Выводы

1.  Выявлены показатели окуломоторной активности оператора интерфейса «мозг- компьютер» на волне Р300, коррелирующие с эффективностью работы оператора.

2.  Полученные данные позволяют применять ряд показателей окуломоторной активности оператора для оптимизации стимульной среды интерфейса «мозг-компьютер» на волне Р300 для построения более стабильных и точных классификаторов, а также для ускорения формирования навыка у оператора, уменьшения его утомляемости.

 

Финансирование

Исследование осуществляется при поддержке РГНФ, проект № 15-36-01386 «Закономерности организации оку­ломоторной активности в среде интерфейс мозг-компьютер».

1. Барабанщиков В.А. Окуломоторные структуры восприятия. М.: Институт психологии РАН, 1997. 383 c.
2. Барабанщиков В.А., Жегалло А.В. Айтрекинг: методы регистрации движений глаз в психологиче- ских исследованиях и практике. М.: Когито-Центр, 2014 г. 128 с.
3. Барабанщиков В.А., Жегалло А.В. Регистрация и анализ направленности взора человека. М.: Инсти- тут психологии РАН, 2013 г. 323 с.
4. Басюл И.А. Электроэнцефалографические показатели и окуломоторная активность при работе в ин- терфейсе мозг–компьютер на волне Р300 // Процедуры и методы экспериментально-психологических исследований / Отв. ред. В. А. Барабанщиков. М.: Институт психологии РАН, 2016. С. 438–443.
5. Басюл И.А., Каплан А.Я. Изменения N200 и P30 компонентов потенциалов, связанных с событиями, при варьировании условий внимания в системе Brain Computer Interface // Журнал высшей нервной деятельности имени И.П. Павлова. М.: Наука, 2014. № 2 (64). С. 159–166.
6. Ганин И.П., Каплан А.Я. Интерфейс мозг-компьютер на основе волны P300: предъявление ком- плексных стимулов «подсветка + движение» // Журнал высшей нервной деятельности имени И.П. Павлова. М.: Наука, 2014. № 2(64). С. 32–40.
7. Ганин И.П., Шишкин С.Л., Кочетова А.Г., Каплан А.Я. Интерфейс мозг-компьютер «на волне P300»: исследование эффекта номера стимулов в последовательности их предъявления // Физиология че- ловека. 2012. № 38(2). С. 5–13.
8. Каплан А.Я., Кочетова А.Г., Шишкин С.Л., Басюл И.А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии интерфейс мозг-компьютер // Бюл. Сиб. медицины. 2013. № 12(2). С. 21–29.
9. Михайлова Е.С., Чичеров В.А., Птушенко И.А., Шевелев И.А. Пространственный градиент волны P300 зрительного вызванного потенциала мозга человека в модели нейрокомпьютерного интерфейса // Журн. высш. нерв. деят. 2008. № 58(3). С. 302–308.
10. Bianchi L., Sami S., Hikkerbrand A., Fawcett I.P., Quitadamo L.R, Seri S. Which physiological components are more suitable for visual ERP based brain-computer interface? A preliminary MEG/EEG study // Brain Topogr. 2010. № 23. P. 180–185. doi: 10.1007/s10548-010-0143-0
11. Blankertz B., Tangermann M., Vidaurre C., Fazli S., Sannelli C., Haufe S., Maeder C., Ramsey L., Sturm I., Curio G., Müller K.R. The Berlin Brain-Computer Interface: Non-Medical Uses of BCI Technology // Front Neurosci. 2010. № 4. P. 198–210. doi: 10.3389/fnins.2010.00198
12. Brunner P., Joshi S., Briskin S., Wolpaw J.R., Bischof H., and Schalk G. Does the “P300” Speller Depend on Eye Gaze? // J. Neural Eng. 2010. № 7(5). P. 056013. doi: 10.1088/1741-2560/7/5/056013
13. Cipresso P., Meriggi P., Carelli L., Solca F., Meazzi D., Poletti B., Lule D., Ludolph A.C., Giuseppe R., Silani V. The combined use of Brain Computer Interface and Eye-Tracking technology for cognitive assessment in Amyotrophic Lateral Sclerosis // Pervasive Computing Technologies for Healthcare (PervasiveHealth). Dublin, Irland, 2011. P. 320–324.
14. Domínguez-Martínez E., Parise E., Strandvall T., Reid V.M. The Fixation Distance to the Stimulus Influ- ences ERP Quality: An EEG and Eye Tracking N400 Study // PLoS ONE. 2015. Vol. 10(7): e0134339. doi:10.1371/journal.pone.0134339.
15. Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event- related brain potentials // EEG a. Clin. Neurophysiol. 1988. № 70. P. 510–523.
16. Frisoli A., Loconsole C., Leonardis D., Banno F., Barsotti M., Chisari C., Bergamasco M. A New Gaze-BCI- Driven Control of an Upper Limb Exoskeleton for Rehabilitation in Real-World Tasks // IEEE Transac- tions on Systems, Man, and Cybernetics, Part C (Applications and Reviews). 2012. Vol. 42. P. 1169–1179.
17. Gneo M., Severini G., Conforto S., Schmid M., D’Alessio T. Towards a brain-activated and eye-controlled wheelchair // Inter. J. of Bioelectromagnetism, 2011. Vol. 13. № 1. P. 44–45. doi: 10.1186/1743-0003-11-7
18. Kaplan A.Ya., Lim J.J., Jin K.S., Park B.W., Byeon J.G., Tarasova S.U. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception // Intern. J. Neurosci. 2005. № 115. P.  781–802.
19. Kaplan A.Ya., Shishkin S.L., Ganin I.P., Basyul I.A., Zhigalov A.Y. Adapting the P300-based brain-comput- er interface for gaming: a review // IEEE Trans. on Comput. Intelligence and AI in Games. 2013. № 5(2). P. 141–149. doi: 10.1109/TCIAIG.2012.2237517
20. Kaufmann T., Hammer E. M., Kubler A. ERPs Contributing to Classification in the “P300” BCI // Pro- ceedings of the Fifth International BCI Conference. Graz, Austria, 22–24 September. 2011. P. 136–139.
21. Kim B.H., Kim M., Jo S. Quadcopter flight control using a low-cost hybrid interface with EEG-based clas- sification and eye tracking // Computers in Biology and Medicine. 2014. Vol. 51. P. 82–92. doi: 10.1016/j. compbiomed.2014.04.020
22. Kleih S.C., Kaufmann T., Zickler C., Halder S., Leotta F., Cincotti F., Aloise F., Riccio A., Herbert C., Mattia D., Kübler A. Out of the frying pan into the fire-the P300-based BCI faces real-world challenges // Prog. Brain Res. 2011. № 194. P. 27–46. doi: 10.1016/B978-0-444-53815-4.00019-4
23. Krusienski D.J., Sellers E.W., McFarland D.J., Vaughan T.M., Wolpaw J.R. Toward enhanced P300 speller performance // J. Neurosci. Methods. 2008. № 167. P. 15–21. doi: 10.1016/j.jneumeth.2007.07.017
24. Lee E.C., Woo J.C., Kim J.H., Whang M., Park K.R. A brain-computer interface method combined with eye tracking for 3D interaction // J. Neurosci. Methods. 2010. № 190(2). P. 289––298. doi: 111000...111000111666///jjj...jjjnnneeeuuu-- meth.2010.05.008
25. Mak J.N, Arbel Y., Minett J.W., McCane L.M., Yuksel B., Ryan D., Thompson D., Bianchi L., Erdogmus D. Optimizing the P300-based brain-computer interface: current status, limitations and future directions // J. Neural Eng. 2011. № 8. P. 025–033. doi: 10.1088/1741-2560/8/2/025003
26. McCullagh P., Galway L., Lightbody G. Investigation into a Mixed Hybrid Using SSVEP and Eye Gaze for Optimising User Interaction within a Virtual Environment / Eds. C. Stephanidis and M. Antona. UAH- CI/HCII 2013. Part I. LNCS 8009. P. 530–539. doi: 10.1007/978-3-642-39188-0_57
27. Nicolelis M.A. Brain-machine interfaces to restore motor function and probe neural circuits // Nat. Rev. Neurosci. 2003. № 4(5). P. 417–422.
28. R Core Team. R: A language and environment for statistical computing [Электронный ресурс] // R Foundation for Statistical Computing, Vienna, Austria. 2015. URL: http://www.R-project.org/.
29. Sellers E.W., Vaughan T.M., Wolpaw J.R. A brain-computer interface for long-term independent home use // Amyotroph. Lateral Scler. 2010. № 11. P. 449–455. doi: 10.3109/17482961003777470
30. Shishkin S.L., Ganin I.P., Basyul I.A., Zhigalov A.Y., Kaplan A.Y. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli // J. Integr Neurosci. 2009. Vol. 8. № 4. P. 471–485.
31. Vidal  J.J.  Real-time  detection  of  brain  events  in  EEG  //  IEEE  Proc.  1977.  №  65.  P.  633–641. doi: 10.1109/PROC.1977.10542
32. Wolpaw J.R., Birbaumer N., McFarland D.J., Pfurtscheller G., Vaughan T.M. Brain-computer interfaces for communication and control // Clin. Neurophysiol. 2002. № 113. P. 767–791.
33. Wolpaw J.R., McFarland D.J., Neat G.W., Forneris C.A. An EEG–based brain–computer interface for cur- sor control // EEG a. Clin. Neurophysiol. 1991. № 78(3). P. 252–259.
34. Zander T.O, Gaertner M., Kothe C., Vilimek R. Combining Eye Gaze Input with a Brain-Computer Inter- face for touchless Human-Computer Interaction // International journal of human-computer interaction. 2011. № 27(1). P. 38–51. doi: 10.1080/10447318.2011.535752

PlumX

Метрики публикации