Параметры окуломоторной активности оператора в интерфейсе «мозг–компьютер» на волне P300 и в аналогичных стимульных ситуациях ^{* 659}

Проверялась гипотеза о взаимосвязи изменений процессов зрительного восприятия, отражающихся в характеристиках окуломоторной активности, с вариациями выполняемой задачи в идентичной стимульной среде. Были протестированы следующие варианты задач: 1) простое наблюдение за подсветками целевого символа; 2) наблюдение с подсчетом числа этих подсветок и контролем успешности этой работы; 3) наблюдение за подсветками целевого символа с выводом его на экран в каждом случае успешной детекции внимания испытуемого к этому символу по ЭЭГ в контуре интерфейса «мозг-компьютер». На группе из 14 человек показано, что наибольшая средняя продолжительность зрительных фиксаций и наименьшая дисперсия этих фиксаций наблюдаются для второго типа задачи. Статистически достоверные различия уровня дисперсии зрительных фиксаций обнаружены между режимами 1–2 и 1–3; различия между этими же режимами по длительности фиксаций находятся на уровне тенденций. Значимых отличий по количеству зрительных фиксаций на целевых элементах обнаружено не было. По итогам проведенной работы делается вывод о перспективности методики сопряжения интерфейса мозг-компьютер на волне Р300 с айтрекингом для оптимизации характеристик стимульной среды ИМК с целью формирования наиболее оптимальных условий привлечения зрительного внимания к элементам ИМК. Показаны различия в параметрах окуломоторной активности между работой испытуемых в контуре ИМК и аналогичных задачах, но без контура обратной связи по компонентам ЭЭГ, отражающим уровень концентрации внимания на целевых элементах ИМК.

Ключевые слова: интерфейс мозг-компьютер, вызванные потенциалы, P300, зрительное внимание, человек-оператор, N200, айтрекинг

Рубрика: Методы исследования

Тип: научная статья

* Исследование осуществляется при поддержке РГНФ, проект № 15-36-01386 «Закономерности организации окуломоторной активности в среде интерфейс «мозг-компьютер».

DOI: https://doi.org/10.17759/exppsy.2015080410

1. Барабанщиков В А. Окуломоторные структуры восприятия. М.: Издательство «Институт психоло­гии РАН», 1997. 383 с.
2. Барабанщиков В А., Жегалло А.В. Айтрекинг: методы регистрации движений глаз в психологиче­ских исследованиях и практике. М.: Когито-Центр, 2014.128 с.
3.  Барабанщиков ВА., Жегалло А.В. Регистрация и анализ направленности взора человека. М.: Институт психологии РАН, 2013.323 с.
4. Басюл И А., Каплан АЛ. Изменения N200 и Р300 компонентов потенциалов, связанных с события­ми, при варьировании условий внимания в системе Brain Computer Interface // Журнал высшей нерв­ной деятельности имени И.П. Павлова. 2014. № 2 (64). С. 159-166.
5. Ганин ИЛ., Каплан АЛ. Интерфейс мозг-компьютер на основе волны Р300: предъявление ком­плексных стимулов «подсветка + движение». Журнал высшей нервной деятельности имени И.П. Пав­лова. 2014. № 2(64). С. 32-40.
6. Ганин И.П., Шишкин СЛ., Кочетова А.Г., Каплан АЛ. Интерфейс мозг-компьютер «на волне Р300»: исследование эффекта номера стимулов в последовательности их предъявления // Физиология че­ловека. 2012. № 38 (2). С. 5-13.
7. Каплан АЛ., Кочетова А.Г., Шишкин СЛ., Басюл И А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии интерфейс мозг-компьютер // Бюл. сиб. медицины. 2013. № 12 (2). С. 21-29.
8. Михайлова Е.С., Чичеров В А., Птушенко И А., Шевелев И А. Пространственный градиент волны Р300 зрительного вызванного потенциала мозга человека в модели нейрокомпьютерного интерфейса // Журн. высш. нерв. деят. 2008. № 58 (3). С. 302-308.
9. Aloise F., Schettini F., Arico P., Salinari S., Babiloni F., Cincotti F. A comparison of classification techniques for a gaze-independent РЗОО-based brain-computer interface //J. Neural Eng. 2006. Vol. 3. P. 299-305. doi: 10.1088/1741-2560/9/4/045012
10. Bianchi L., Sami S., Hikkerbrand A., Fawcett I.P., Quitadamo L.R, Seri S. Which physiological components are more suitable for visual ERP based brain-computer interface? A preliminary MEG/EEG study // Brain Topogr. 2010. № 23. P. 180-185. doi: 10.1007/sl0548-010-0143-0
11. Blankertz B., Tangermann М., Vidaurre C., Fazli S., Sannelli C., Haufe S., Maeder C., Ramsey L., Sturm I., Curio G., Muller K.R. The Berlin Brain-Computer Interface: Non-Medical Uses of BCI Technology // Front. Neurosci. 2010. № 4. P. 198-210. doi: 10.3389/fnins.2010.00198
12. Brunner P., Joshi S., Briskin S., WolpawJ.R., BischofH., and Schalk G. Does the “P300” Speller Depend on Eye Gaze? //J. Neural Eng. 2010. Vol. 7. № 5. P. 056013. doi: 10.1088/1741-2560/7/5/056013
13. Cipresso P., Meriggi P., Corelli L., Solca F., Meazzi D., Poletti B., Lule D., Ludolph A.C., Giuseppe R., Silani V. The combined use of Brain Computer Interface and Eye-Tracking technology for cognitive assessment in Amyotrophic Lateral Sclerosis // Pervasive Computing Technologies for Healthcare (PervasiveHealth). Dublin, Irland, 2011. P. 320-324.
14. Do A.H., WangP.T., King C.E., Schombs A., Cramer S.C., Nenadic Z. Brain-computer interface controlled functional electrical stimulation device for foot drop due to stroke // Conf. Proc. IEEE Eng. Med. Biol. Soc. 2012. P. 6414-6417. doi: 10.1109/EMBC.2012.6347462
15. Dominguez-Martinez E., Parise E., Strandvall Т., Reid V.M. The Fixation Distance to the Stimulus Influences ERP Quality: An EEG and Eye Tracking N400 Study // PLoS ONE, 2015, Vol. 10. № 7. P. e0134339. doi:10.1371/joumal.pone.0134339
16. Farwell LA., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event- related brain potentials // EEG a. Clin. Neurophysiol. 1988. № 70. P. 510-523.
17. Frisoli A., Loconsole C., Leonardis D., Banno F., Barsotti М., Chisari C., Bergamasco M. A New Gaze-BCI- Driven Control of an Upper Limb Exoskeleton for Rehabilitation in Real-World Tasks // Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions on. 2012. Vol. 42. P. 1169-1179.
18. Gneo М., Severini G., Conforto S., Schmid М., DAlessio T. Towards a brain-activated and eye-controlled wheelchair // Inter. J. of Bioelectromagnetism. 2011. Vol. 13. № 1. P. 44-45. doi: 10.1186/1743-0003-11-7
19. Kaplan A.Ya., Lim JJ.,Jin K.S., Park B.W., ByeonJ.G., Tarasova S.U. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception // Intern. J. Neurosci. 2005. № 115. P. 781-802.
20. Kaplan A.Ya., Shishkin S.L., Ganin I.P., Basyul I A., Zhigalov A.Y. Adapting the РЗОО-based brain- computer interface for gaming: a review // IEEE Trans, on Comput. Intelligence and Al in Games. 2013. Vol. 5. № 2. P. 141-149. doi: 10.1371/journal.pone.0077755
21. Kaufmann Т., Hammer E. М., Kubler A. ERPs Contributing to Classification in the “P300” BCI // Proceedings of the Fifth International BCI Conference. Graz, Austria, 22-24 September. 2011. P. 136-139.
22. Kim B.H., Kim М., Jo S. Quadcopter flight control using a low-cost hybrid interface with EEG-based classification and eye tracking// Computers in Biology and Medicine. 2014. Vol. 51. P. 82-92. doi: 10.1016/j. compbiomed.2014.04.020
23. Kleih S.C., Kaufmann Т., Zickler C., Haider S., Leotta F., Cincotti F., Aloise F., Riccio A., Herbert C., Mattia D., Kubler A. Out of the frying pan into the fire - the РЗОО-based BCI faces real-world challenges // Prog. Brain Res. 2011. № 194. P. 27-46. doi: 10.1016/B978-0-444-53815-4.00019-4
24. Krusienski DJ., Sellers E.W., McFarland DJ., Vaughan T.M., WolpawJ.R. Toward enhanced P300 speller performance //J. Neurosci. Methods. 2008. № 167. P. 15-21. doi: 10.1016/j.jneumeth.2007.07.017
25. Lee E.C., Woo J.C., Kim J.H., Whang М., Park K.R. A brain-computer interface method combined with eye tracking for 3D interaction //J Neurosci Methods. 2010. Vol. 190. № 2. P. 289-298. doi: 10.1016/j. jneumeth.2010.05.008
26. MakJ.N, Arbel Y., MinettJ.W., McCane LM., Yuksel B., Ryan D., Thompson D., Bianchi L., Erdogmus D. Optimizing the РЗОО-based brain-computer interface: current status, limitations and future directions // J. Neural Eng. 2011. № 8. P. 025-033. doi: 10.1088/1741-2560/8/2/025003
27. McCullagh P., Galway L., Lightbody G. Investigation into a Mixed Hybrid Using SSVEP and Eye Gaze for Optimising User Interaction within a Virtual Environment / Eds. C. Stephanidis, M. Antona. UAHCI/ HCII2013. Part I. LNCS 8009. P. 530-539. doi: 10.1007/978-3-642-39188-0_57
28. Nicolelis MA. Brain-machine interfaces to restore motor function and probe neural circuits // Nat. Rev. Neurosci. 2003. Vol. 4. № 5. P. 417-422
29. PlocMM., OssandmJ.P., KonigP. Combining EEG and eye tracking: identification, characterization, and correction of eye movement artifacts in electroencephalographic data // Front. Hum. Neurosci. 2012. № 6. Art. 278. doi: 10.3389/fnhum.2012.00278
30. R Core Team. R: A language and environment for statistical computing R Foundation for Statistical Computing [Электронный ресурс] // Vienna, Austria, 2015. URL http://www.R-project.org/ (дата об­ращения: 15.01.2016).
31. Sellers E. W., Vaughan T.M., Wolpaw J.R. A brain-computer interface for long-term independent home use //Amyotroph. Lateral Scler. 2010. № 11. P. 449-455. doi: 10.3109/17482961003777470
32. Shishkin S.L., Ganin I.P., Basyul I A., Zhigalov A. Y., Kaplan А. У. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli //J. Integr. Neurosci. 2009. Vol. 8. № 4. P. 471-485.
33. Vidal J.J. Real-time detection of brain events in EEG // IEEE Proc. 1977. № 65. P. 633-641. doi: 10.1109/PROC. 1977.10542
34. WolpawJ.R., BirbaumerN., McFarland D.J., Pfurtscheller G., Vaughan T.M. Brain-computer interfaces for communication and control // Clin. Neurophysiol. 2002. № 113. P. 767-791.
35. WolpawJ.R., McFarland DJ., Neat G.W., Fomeris С A. An eeg-based brain-computer interface for cursor control // EEG a. Clin. Neurophysiol. 1991. Vol. 78. № 3. P. 252-259.
36. Zander T. O, GaertnerM., Kothe C., Vilimek R. Combining Eye Gaze Input with a Brain-Computer Interface for touchless Human-Computer Interaction // International journal of human-computer interaction. 2011. Vol. 27. № 1. P. 38-51. doi: 10.1080/10447318.2011.535752