Проблемы и решения в методологии изучения психофизиологических эффектов виртуальной реальности

В статье рассмотрен комплексный подход к оценке психофизиологических эффектов, возникающих при восприятии виртуальной реальности, основанный на известном принципе S → R («стимул — реакция»). Использованные методики позволяют оценивать сенсомоторные (связанные с развитием «эффекта погружения»), психоэмоциональные, когнитивные и физиологические (связанные с двигательной активностью и сном) эффекты виртуальной реальности на основе как субъективных, так и объективных показателей. Приведенный комплекс методик использовался в экспериментах, моделирующих воздействие неблагоприятных факторов космического полета при апробации специальных технологий виртуальной реальности, применяемых для психологической релаксации (психологической коррекции). Авторы полагают, что описанный в статье методологический подход к оценке психофизиологических эффектов виртуальной реальности будет полезен при изучении виртуальных сред, применяемых в образовании и психологии, при разработке тренажеров различной направленности и в других сферах применения ВР.

Введение

В настоящее время технологии виртуальной реальности (ВР) нашли самое широкое применение в образовании, медицине, психологии, высокотехнологичном производстве и космонавтике. Однако остается актуальной проблема накопления и систематизации данных о психофизиологических эффектах, возникающих у человека при взаимодействии с виртуальной реальностью. Целью нашего исследования является рассмотрение методологии оценки эффектов восприятия ВР. В настоящей работе будут изложены методологические подходы для изучения психофизиологических эффектов ВР, использованные нами в экспериментах ГНЦ РФ — ИМБП РАН [1; 2; 3], опыт оценки этих эффектов в других исследованиях других авторских коллективов, проблемы и перспективы дальнейших работ по данному направлению.

Материалы и методы исследования

1. Ретроспективный анализ научных данных, полученных в экспериментах с моделированием неблагоприятных психологических факторов космического полета при апробации в этих условиях средств виртуальной реальности для психологической коррекции (психологической поддержки).
2. Системный анализ психологической и медицинской литературы, посвященной проблемам виртуальной реальности, психологии восприятия, психофизиологии сенсорных систем.

Результаты исследования и их обсуждение

Эффекты, возникающие у человека при взаимодействии со средами виртуальной реальности, имеют отношение к медицине и к безопасности применения, так как одним из них является укачивание [4], и к психофизиологии, поскольку психофизиологические эффекты опосредованы реакциями человека на эти среды при интерактивном или пассивном восприятии контента [5].

Безусловно, применение ВР в медицинских и психологических целях требует решения вопросов, связанных с психофизиологическими основами безопасности. В литературе упоминаются случаи негативного влияния ВР на вестибулярный аппарат человека, проявляющегося в виде укачивания [6]. Однако выраженность вестибулярных нарушений от ВР и количество жалоб пользователей снижались по мере совершенствования технологий ВР [7]. Поэтому «бытовые», серийно выпускаемые шлемы ВР для игровой индустрии можно считать в целом физиологически безопасными устройствами.

В наших экспериментах в ГНЦ РФ — ИМБП РАН применялась виртуальная реальность высшего типа (если классифицировать по В.В. Селиванову), серийные шлемы семейства Pico Neo (автономные и не требующие подключения к компьютеру), а также шлемы Xiomi (в первой серии экспериментов на шести обследуемых). Применялись и шлемы HTC Vive (не являющиеся автономными — они применялись при симуляции в виртуальной среде высадки на поверхность Луны обследуемых добровольцев в изоляционном гермокамерном эксперименте SIRIUS). При этом использовались как пассивные среды (объемные видео с природой и космосом), так и интерактивные (специализированное программное обеспечение «Виртуальное личное пространство», служащее целью психопрофилактики изоляции и дефицита приватности, и виртуальные сцены Луны для отработки внекорабельной деятельности на поверхности естественного спутника Земли). В наших исследованиях и в этой статье, таким образом, речь идет о виртуальной реальности, порожденной техническими средствами, а именно носимыми шлемами (гарнитурами) виртуальной реальности.

Для оценки влияния виртуальной реальности на состояние вестибулярного аппарата у участников наших исследований были проведены медицинские (неврологические) осмотры [8], включающие проверку глазодвигательного рефлекса, оценку устойчивости обследуемых в позе Ромберга, выявление нистагма [9], тремора, оценку состояния кожных покровов до и после сеансов ВР [10]. Медицинские осмотры группы из 48 человек в одном из наших исследований показали наличие вестибулярных нарушений после сеансов ВР только у 2% обследованных [1]. Мы полагаем, что для более детальной оценки воздействия ВР-технологий на состояние ЦНС и зрительной системы могут быть использованы методы количественного исследования характеристик управления позой (стабилометрия) и технология отслеживания положения глаз (айтрекинг). Отметим, что технические средства айтрекинга интегрируются в некоторые модели современных ВР-шлемов и могут применяться в режиме реального времени во время нахождения человека в виртуальном пространстве.

Описанные в литературе и наблюдаемые нами в ходе экспериментальных исследований психофизиологические эффекты виртуальной реальности можно разделить на: 1) сенсомоторные, 2) психоэмоциональные, 3) когнитивные, 4) физиологические.

Мы считаем целесообразным проводить комплексное изучение психофизиологических эффектов восприятия человеком виртуальных сред с применением соответствующих исследовательских методик. Понятно, что сопоставление психофизиологических показателей состояния реципиента до и после сеанса ВР осуществляется в соответствии с принципом «стимул—реакция» (S→R) [11]. Изменения, происходящие в психоэмоциональном состоянии человека в ходе сеанса виртуальной реальности, в виду их комплексности, динамичности и индивидуальности, можно рассматривать как процессы, происходящие в кибернетическом «черном ящике» [12], на вход которого поступает информация в виде ВР-стимулов, а на выходе проявляются способы реагирования и взаимодействия с ними.

Сенсомоторные эффекты восприятия виртуальной реальности проявляются в реакциях, связанных с развитием эффекта присутствия (эффект погружения, иммерсивность) [13]. Суть этого эффекта заключается в переключении внимания человека с объективной действительности на ВР и в его субъективном восприятии своего физического присутствия в нефизическом, виртуальном мире [2; 14]. Этот эффект создается зрительными образами, звуками или другими стимулами, которые воспроизводятся техническими средствами ВР — динамически, в ходе интерактивного взаимодействия пользователя с этими средствами. Проведенные нами посредством анкетирования исследования ВР в модельных экспериментах и в контрольных группах показывают наличие эффекта «погружения» во всех 103 сеансах ВР [1; 2; 3].

Анкета «Иммерсивность» была разработана нами для оценки выраженности субъективного, возникающего у обследуемых в ходе сеансов виртуальной реальности эффекта «присутствия» (синонимы — эффект «погружения», иммерсивность). Суть этого эффекта заключается в переключении внимания реципиента с объективной действительности на виртуальную реальность, в субъективном восприятии реципиентом своего физического присутствия в нефизическом, виртуальном мире [14]. Этот эффект создается зрительными образами, звуками или другими стимулами, которые воспроизводятся техническими средствами ВР — динамически, в ходе интерактивного взаимодействия пользователя с этими средствами. Специалисты по гейм-дизайну (представители игровой индустрии, разработчики компьютерных игр) эмпирически выделили три категории эффектов, возникающих в психической сфере человека при «погружении» в виртуальную среду: 1) сенсомоторные; 2) эмоциональные; 3) когнитивные [15]. Данная классификация не подкреплена объективными данными, однако выделенные группы эффектов весьма сходны с группами симптомов деперсонализации/дереализации — естественно, без психопатологической составляющей. Известны как сенсомоторные (например, изменения ощущения чувства времени, болевой чувствительности), так и когнитивные (изменение количества и качества мыслей, невозможность воссоздания образа, и т. п.), а также эмоциональные (отношение к другим людям, восприятие окружающей действительности и искусства, выраженность чувств и др.) проявления дереализации [16]. Исходя из предпосылки об отдаленном подобии проявлений эффекта «погружения» свойствам деперсонализации/дереализации, в ряде исследований для оценки степени выраженности субъективно воспринимаемого «погружения» в виртуальную среду мы применили адаптированную анкету Нуллера [17; 18].

По данным исследований активности различных областей мозга, таких как фМРТ, ЭЭГ, были установлены нейрофизиологические корреляты восприятия психологических иммерсивных сред виртуальной реальности, в частности связь активности префронтальной коры с регуляцией поведения в виртуальном пространстве [19]. Актуальность вопроса регистрации мозговой активности в ВР обусловливает инженерную активность в разработке устройств, совмещающих функционал ЭЭГ-гарнитуры и ВР-шлема. Использование таких шлемов позволяет не только изучать нейрофизиологические показатели, но и управлять виртуальными средами в режиме обратной связи по показателям ЭЭГ. Психоэмоциональные эффекты виртуальной реальности проявляются в изменении выраженности эмоциональных реакций человека на предъявляемую в виртуальной среде стимуляцию. Оценка этих эффектов осуществлялась на основании данных компьютеризированного анализа мимики по видеозаписям (ПО Noldus FaceReader [20]) и полуструктурированных самоотчетов обследуемых. Полученные данные свидетельствуют о «гармонизации» психоэмоционального состояния обследуемых при воздействии на них в виртуальной реальности стимулов релаксационной направленности — в мимических проявлениях отмечено увеличение доли нейтральной компоненты и снижение уровня возбуждения [1; 2; 3]. Сведения о релаксирующем, расслабляющем, гармонизирующем воздействии ВР на психоэмоциональную сферу реципиентов наблюдалось в ряде других работ. Так, исследование влияния виртуальных сред релаксационной направленности с использованием опросников Спилбергера—Ханина и шкалы тревожности Бека свидетельствует о снижении уровня тревожности под воздействием ВР [21]. Интеграция средств анализа мимики и ВР в едином формфакторе позволит в режиме реального времени получать качественно новые данные об изменении эмоционального состояния человека в виртуальной среде.

Влияние виртуальной реальности на когнитивную сферу проявляется в повышении концентрации внимания, активизации оперативной памяти и интеллектуального потенциала реципиентов с одновременным переключением внимания с объективной реальности на виртуальную. Для изучения данной группы эффектов мы применили контент-анализ и дискурсивный анализ речи реципиентов, фиксируемых до и после сеансов ВР в форме полуструктурированных самоотчетов. В двух модельных экспериментах в самоотчетах обследуемых обнаружено достоверное снижение удельного веса речевых ошибок и слов-паразитов, что является одним из проявлений развития состояния, связанного с релаксацией, уменьшением общей напряженности в отношении стрессогенной внешней среды [1; 2; 3].

Это согласуется с данными независимых исследований о положительных микроизменениях психических состояний под влиянием ВР [22]. Заслуживает отдельного внимания показанное в этих исследованиях достоверное повышение креативности при применении ВР дидактической направленности (по данным опросника Джонсона, тестов Торренса, Роршаха) [там же]. Мы предполагаем дальнейшее развитие исследований в этом направлении и расширение практики применения в них инструментария нейропсихологии, психолингвистики и семантики.

Резонно предположить, что нахождение в виртуальной реальности, оказывающей мультимодальное воздействие на сенсорные системы человека, приводит не только к развитию у него эффекта присутствия, но и формированию сложной системы психических образов [13]. Формирование психического образа включает в себя три уровня психического отражения (досознательный, или сенсорно-перцептивный; сознательный, или уровень представлений; послесознательный, или вербально-логический) [23]. В соответствии с этим при взаимодействии со средами ВР у реципиента сначала формируется тактическое «погружение», связанное с ориентировочными реакциями в иммерсивной среде, затем — «стратегическое» погружение, обусловленное интерактивным взаимодействием со средой. И, наконец, формируется повествовательное «погружение», связанное с восприятием среды ВР как нарратива, имеющего начало, сюжет и цель. По этой аналогии, восприятие ВР может быть подобно восприятию текстовых конструкций различного уровня сложности; повествовательное «погружение» с точки зрения семантики текста может быть описано (и воспринято реципиентом) как последовательность предложений, являющихся завершенным текстом, имеющим начало и конец, «завязку» и «развязку», сюжет. Такой подход позволяет осуществлять семантический, семиотический анализ и интерпретацию явлений, связанных с иммерсивностью.

Согласно данным, полученными нами с помощью метода актиграфии, физиологические эффекты виртуальной реальности проявляются в изменении характера двигательной активности реципиента, повышении или понижении ее объема в зависимости от типа предъявляемых стимулов, а также в изменении качества сна. Дальнейшие исследования этого направления предполагают использование таких методов, как полисомнография, многоканальная ЭЭГ, проведение анализа биохимических показателей (например, определение уровней глюкозы в крови и кортизола в слюне). В наших исследованиях эти методы пока не применялись, так как они трудно совместимы с сеансами релаксационной направленности, используемыми нами в целях психокоррекции. Однако эти методы могут быть с успехом использованы при изучении других виртуальных сред в других условиях. Отдельный интерес представляют работы по изучению работы сердечно-сосудистой системы, с регистрацией кардиограммы, пульса, вариабельности сердечного ритма до, во время и после сеанса ВР. Появляются заслуживающие внимания данные о динамике вариабельности сердечного ритма, например, у учащихся во время занятий в виртуальной реальности [24].

Предложенный нами комплексный подход к изучению психофизиологических эффектов, возникающих у человека под воздействием виртуальной реальности, по нашему мнению, может включать:

- оценку вестибулярной устойчивости и наличия индивидуальной непереносимости виртуальной реальности у каждого респондента перед началом проведения исследования;

- видео и/или аудиозапись самоотчета обследуемого о его состоянии перед и после каждого экспериментального сеанса ВР;

- использование анкеты «Иммерсивность»;

- опциональная актиграфия и запись ЧСС в процессе всей продолжительности эксперимента (для сопоставления фрагментов до и после сеанса ВР, равных по длине продолжительности самого сеанса).

Таким образом, общая схема комплекса мер оценки психофизиологических эффектов, возникающих у человека при восприятии виртуальных сред, сводится к следующему:

- для оценки вестибулярных эффектов целесообразно применить оценку глазодвигательных реакций, краткие неврологические осмотры, стабилометрию;

- для оценки сенсомоторных эффектов (связанных с эффектом «присутствия») следует применить анкету «Иммерсивность» и анализ данных электрической активности мозга (полученной с помощью интегрированного в шлем ВР электроэнцефалографа);

- для изучения психоэмоциональных эффектов восприятия ВР лучшим образом подходит компьютеризированный анализ мимики обследуемых до и после сеанса ВР;

- для изучения когнитивных эффектов следует применить дискурсивный, семантический анализ речи обследуемых до и после сеансов виртуальной реальности и/или проективные методики (тесты Джонсона, Торренса, Роршаха);

- для оценки физиологических эффектов виртуальной реальности подходят неинвазивные методы актиграфии, окулографии, кардиоинтервалограммы, методы анализа вариабельности сердечного ритма, применяемые до, после и вовремя сеанса погружения человека в виртуальный «мир». 

Заключение

Расширение арсенала исследовательских методик, применяемых в практике оценки психофизиологических эффектов ВР, позволит укрупнить базу знаний о воздействии виртуальной реальности высшего порядка на психическую сферу человека и позволит прийти к более глубокому пониманию механизмов ее восприятия. Многомерный анализ данных, полученных в экспериментах с различными видами виртуальной реальности, с применением современного математического аппарата, позволит в дальнейшем разработать единый критерий иммерсивности — количественно измеримую степень выраженности эффекта погружения. Кроме того, мы полагаем, что перспективным является применение психолингвистических, семантических, семиотических подходов к интерпретации явления иммерсивности. Современные технологии позволяют осуществить интеграцию исследовательского инструментария с гарнитурами, шлемами и программным обеспечением ВР. Мы выражаем надежду, что более детальное изучение психофизиологических эффектов ВР будет способствовать оптимизации самих виртуальных сред, сделав их более иммерсивными и интуитивными, и, с другой стороны, способствовать накоплению новых знаний об особенностях восприятия этих сред. А накопление массива данных о психологических и психофизиологических изменениях, связанных с использованием ВР и современных технологий машинного обучения и искусственного интеллекта, может способствовать существенному прогрессу в развитии технологических факторов иммерсивности и разработке средств индивидуализиции ВР на основе объективных показателей.

1. Розанов И.А., Иванов А.В., Рюмин О.О., Бубеев Ю.А. Опыт применения виртуальной реальности для психологической коррекции в экспериментах с моделированием стрессоров космического полета // Методология современной психологии. Вып. 16 / Под ред. В.В. Козлова, А.В. Карпова, В.А. Мазилова, В.Ф. Петренко. М.; Ярославль: ЯрГУ, ЛКИИСИ РАН, МАПН, 2022. C. 333—344.
2. Розанов И.А., Кузнецова П.Г., Савинкина А.О., Швед Д.М., Рюмин О.О., Томиловская Е.С., Гущин В.И. Психологическая поддержка на основе виртуальной реальности в эксперименте с трехсуточной «сухой» иммерсией // Авиакосмическая и экологическая медицина. 2022. Том № 1. С. 55—61. DOI:10.21687/0233-528X-2022-56-1-55-61
3. Rozanov I., Ryumin O., Karpova O., Shved D., Savinkina A., Kuznetsova P., Diaz Rey N., Shishenina K., Gushin V. Applications of methods of psychological support developed for astronauts for use in medical settings // Front. Physiol. 2022. 14 september. DOI:10.3389/fphys.2022.926597
4. Merhi O., Faugloire E., Flanagan M., Stoffregen T.A. Motion sickness, video games, and head-mounted displays // Human Factors. 2007. Vol. 49. № 5. P. 920—934. DOI:10.1518/001872007X230262
5. Baños R.M., Botella C., Garcia-Palacios A., et al. Presence and reality judgment in virtual environments: a unitary construct // Cyberpsychol Behav. 2000. Vol. 3. № 3. P. 327—335. DOI:10.1089/10949310050078760
6. Bertolini G., Straumann D. Moving in a Moving Word: A Review on a Vestibular Motion Sickness // Front. Neurol. 2016. Vol. 50. P. 17—14. DOI:10.3389/fneur.2016.00014
7. Smith A. They Create Worlds: The Story of the People and Companies That Shaped the Video Game Industry. CRC Press, 2019. DOI:10.1201/9780429423642
8. Болезни нервной системы: руководство для врачей: в 2 т. / Под ред. акад. РАН, проф. Яхно Н.Н. 5-е изд., репринт. М.: МЕДпресс-информ, 2021.
9. Gupta V.K. Motion sickness is linked to nystagmus-related trigerminal brain stem input: a new hypothesis // Med. Hypothesis. 2005. Vol. 64(6). P. 1177—1181. DOI:10.1016/j.mehy.2004.11.031
10. Treisman M. Motion sickness adaptation: a neural mismatch model // J. R. Soc. Med. 1978. Vol. 71(11). P. 819—829. DOI:10.1177/014107687807101109
11. Araiba S. Current Diversification of Behaviorism // Perspect Behav Sci. 2019. № 43(1). P. 157—175. DOI:10.1007/s40614-019-00207-0
12. Ashby W.R. An introduction to cybernetics. London: Chapman & Hall, 1956. P. 86—117.
13. Demer J., Alpers G.W., Peperkorn H.M., Shiban Y., Mühlberger A. The impact of perception and presence on emotional reactions: a review of research in virtual reality // Frontiers in psychology. 2015. Vol. 6. № 26. DOI:10.3389/fpsyg.2015.00026
14. Lanier J. Dawn of the New Everything: Encounters with Reality and Virtual Reality. New York: Henry Holt and Co., 2017.
15. Adams E. Postmodernism and the Three Types of Immersion [Электронный ресурс] // Gamasutra. July 9, 2004. URL: http://designersnotebook.com/Columns/063_Postmodernism/063_postmodernism.htm (дата обращения: 26.03.2022).
16. Sierra M., Lopera F., Lambert M.V., Phillips M.L., David A.S. Separating depersonalisation and derealisation: the relevance of the "lesion method" // J. Neurol. Neurosurg. Psychiatry. 2002. Vol. 72. № 4. P. 530—532. DOI:10.1136/jnnp.72.4.530
17. Нуллер Ю.Л. Депрессия и деперсонализация. Л.: Медицина, 1981. 207 с.
18. Розанов И.А. Психофизиологические эффекты психологической поддержки при моделировании факторов космического полёта: дисс… канд. мед. наук. М.: 2022. 141 с.
19. Меньшикова Г.Я. Зрительные иллюзии: психологические механизмы и модели: дисс. ... д-ра психол. наук: 19.00.02. М., 2014. 301 с.
20. Skiendziel T., Rösch A.G., Schultheiss O.C. Assessing the convergent validity between the automated emotion recognition software Noldus Facereader 7 and facial action coding system scoring // PLoS ONE. 2019. Vol. 14. DOI:10.1371/journal.pone.0223905
21. Маринова М.М. Влияние VR-среды на уровень тревожности // Экспериментальная психология. 2022. Том 15. № 2. С. 49—58.
22. Барабанщиков В.А., Селиванов В.В. Психические состояния и креативность субъекта в дидактической VR-среде различной иммерсивности // Экспериментальная психология. 2022. Том 15. № 2. С. 4—19.
23. Завалова Н.Д., Пономаренко В.А. Специфика психического образа, регулирующего действия человека в условиях искажений афферентации // Вопр. психологии. 1984. № 2. С. 26—35.
24. Бахчина А.В., Стрижова И.В. Динамика вариабельности сердечного ритма у учащихся во время занятия в виртуальной реальности // Экспериментальная психология. 2022. Том № 2. С. 59—69.