Введение
В настоящее время технологии виртуальной реальности (ВР) нашли самое широкое применение в образовании, медицине, психологии, высокотехнологичном производстве и космонавтике. Однако остается актуальной проблема накопления и систематизации данных о психофизиологических эффектах, возникающих у человека при взаимодействии с виртуальной реальностью. Целью нашего исследования является рассмотрение методологии оценки эффектов восприятия ВР. В настоящей работе будут изложены методологические подходы для изучения психофизиологических эффектов ВР, использованные нами в экспериментах ГНЦ РФ — ИМБП РАН [Розанов, 2022; Розанов, 2022а; Rozanov, 2022], опыт оценки этих эффектов в других исследованиях других авторских коллективов, проблемы и перспективы дальнейших работ по данному направлению.
Материалы и методы исследования
- Ретроспективный анализ научных данных, полученных в экспериментах с моделированием неблагоприятных психологических факторов космического полета при апробации в этих условиях средств виртуальной реальности для психологической коррекции (психологической поддержки).
- Системный анализ психологической и медицинской литературы, посвященной проблемам виртуальной реальности, психологии восприятия, психофизиологии сенсорных систем.
Результаты исследования и их обсуждение
Эффекты, возникающие у человека при взаимодействии со средами виртуальной реальности, имеют отношение к медицине и к безопасности применения, так как одним из них является укачивание [Merhi, 2007], и к психофизиологии, поскольку психофизиологические эффекты опосредованы реакциями человека на эти среды при интерактивном или пассивном восприятии контента [Baños, 2000].
Безусловно, применение ВР в медицинских и психологических целях требует решения вопросов, связанных с психофизиологическими основами безопасности. В литературе упоминаются случаи негативного влияния ВР на вестибулярный аппарат человека, проявляющегося в виде укачивания [Bertolini, 2016]. Однако выраженность вестибулярных нарушений от ВР и количество жалоб пользователей снижались по мере совершенствования технологий ВР [Smith, 2019]. Поэтому «бытовые», серийно выпускаемые шлемы ВР для игровой индустрии можно считать в целом физиологически безопасными устройствами.
В наших экспериментах в ГНЦ РФ — ИМБП РАН применялась виртуальная реальность высшего типа (если классифицировать по В.В. Селиванову), серийные шлемы семейства Pico Neo (автономные и не требующие подключения к компьютеру), а также шлемы Xiomi (в первой серии экспериментов на шести обследуемых). Применялись и шлемы HTC Vive (не являющиеся автономными — они применялись при симуляции в виртуальной среде высадки на поверхность Луны обследуемых добровольцев в изоляционном гермокамерном эксперименте SIRIUS). При этом использовались как пассивные среды (объемные видео с природой и космосом), так и интерактивные (специализированное программное обеспечение «Виртуальное личное пространство», служащее целью психопрофилактики изоляции и дефицита приватности, и виртуальные сцены Луны для отработки внекорабельной деятельности на поверхности естественного спутника Земли). В наших исследованиях и в этой статье, таким образом, речь идет о виртуальной реальности, порожденной техническими средствами, а именно носимыми шлемами (гарнитурами) виртуальной реальности.
Для оценки влияния виртуальной реальности на состояние вестибулярного аппарата у участников наших исследований были проведены медицинские (неврологические) осмотры [Болезни нервной системы, 2021], включающие проверку глазодвигательного рефлекса, оценку устойчивости обследуемых в позе Ромберга, выявление нистагма [Gupta, 2005], тремора, оценку состояния кожных покровов до и после сеансов ВР [Treisman, 1978]. Медицинские осмотры группы из 48 человек в одном из наших исследований показали наличие вестибулярных нарушений после сеансов ВР только у 2% обследованных [Розанов, 2022]. Мы полагаем, что для более детальной оценки воздействия ВР-технологий на состояние ЦНС и зрительной системы могут быть использованы методы количественного исследования характеристик управления позой (стабилометрия) и технология отслеживания положения глаз (айтрекинг). Отметим, что технические средства айтрекинга интегрируются в некоторые модели современных ВР-шлемов и могут применяться в режиме реального времени во время нахождения человека в виртуальном пространстве.
Описанные в литературе и наблюдаемые нами в ходе экспериментальных исследований психофизиологические эффекты виртуальной реальности можно разделить на: 1) сенсомоторные, 2) психоэмоциональные, 3) когнитивные, 4) физиологические.
Мы считаем целесообразным проводить комплексное изучение психофизиологических эффектов восприятия человеком виртуальных сред с применением соответствующих исследовательских методик. Понятно, что сопоставление психофизиологических показателей состояния реципиента до и после сеанса ВР осуществляется в соответствии с принципом «стимул—реакция» (S→R) [Araiba, 2019]. Изменения, происходящие в психоэмоциональном состоянии человека в ходе сеанса виртуальной реальности, в виду их комплексности, динамичности и индивидуальности, можно рассматривать как процессы, происходящие в кибернетическом «черном ящике» [Ashby, 1956], на вход которого поступает информация в виде ВР-стимулов, а на выходе проявляются способы реагирования и взаимодействия с ними.
Сенсомоторные эффекты восприятия виртуальной реальности проявляются в реакциях, связанных с развитием эффекта присутствия (эффект погружения, иммерсивность) [Demer, 2015]. Суть этого эффекта заключается в переключении внимания человека с объективной действительности на ВР и в его субъективном восприятии своего физического присутствия в нефизическом, виртуальном мире [Розанов, 2022а; Lanier, 2017]. Этот эффект создается зрительными образами, звуками или другими стимулами, которые воспроизводятся техническими средствами ВР — динамически, в ходе интерактивного взаимодействия пользователя с этими средствами. Проведенные нами посредством анкетирования исследования ВР в модельных экспериментах и в контрольных группах показывают наличие эффекта «погружения» во всех 103 сеансах ВР [Розанов, 2022; Розанов, 2022а; Rozanov, 2022].
Анкета «Иммерсивность» была разработана нами для оценки выраженности субъективного, возникающего у обследуемых в ходе сеансов виртуальной реальности эффекта «присутствия» (синонимы — эффект «погружения», иммерсивность). Суть этого эффекта заключается в переключении внимания реципиента с объективной действительности на виртуальную реальность, в субъективном восприятии реципиентом своего физического присутствия в нефизическом, виртуальном мире [Lanier, 2017]. Этот эффект создается зрительными образами, звуками или другими стимулами, которые воспроизводятся техническими средствами ВР — динамически, в ходе интерактивного взаимодействия пользователя с этими средствами. Специалисты по гейм-дизайну (представители игровой индустрии, разработчики компьютерных игр) эмпирически выделили три категории эффектов, возникающих в психической сфере человека при «погружении» в виртуальную среду: 1) сенсомоторные; 2) эмоциональные; 3) когнитивные [Adams, 2004]. Данная классификация не подкреплена объективными данными, однако выделенные группы эффектов весьма сходны с группами симптомов деперсонализации/дереализации — естественно, без психопатологической составляющей. Известны как сенсомоторные (например, изменения ощущения чувства времени, болевой чувствительности), так и когнитивные (изменение количества и качества мыслей, невозможность воссоздания образа, и т. п.), а также эмоциональные (отношение к другим людям, восприятие окружающей действительности и искусства, выраженность чувств и др.) проявления дереализации [Sierra, 2002]. Исходя из предпосылки об отдаленном подобии проявлений эффекта «погружения» свойствам деперсонализации/дереализации, в ряде исследований для оценки степени выраженности субъективно воспринимаемого «погружения» в виртуальную среду мы применили адаптированную анкету Нуллера [Нуллер, 1981; Розанов, 2022б].
По данным исследований активности различных областей мозга, таких как фМРТ, ЭЭГ, были установлены нейрофизиологические корреляты восприятия психологических иммерсивных сред виртуальной реальности, в частности связь активности префронтальной коры с регуляцией поведения в виртуальном пространстве [Меньшикова, 2014]. Актуальность вопроса регистрации мозговой активности в ВР обусловливает инженерную активность в разработке устройств, совмещающих функционал ЭЭГ-гарнитуры и ВР-шлема. Использование таких шлемов позволяет не только изучать нейрофизиологические показатели, но и управлять виртуальными средами в режиме обратной связи по показателям ЭЭГ. Психоэмоциональные эффекты виртуальной реальности проявляются в изменении выраженности эмоциональных реакций человека на предъявляемую в виртуальной среде стимуляцию. Оценка этих эффектов осуществлялась на основании данных компьютеризированного анализа мимики по видеозаписям (ПО Noldus FaceReader [Skiendziel, 2019]) и полуструктурированных самоотчетов обследуемых. Полученные данные свидетельствуют о «гармонизации» психоэмоционального состояния обследуемых при воздействии на них в виртуальной реальности стимулов релаксационной направленности — в мимических проявлениях отмечено увеличение доли нейтральной компоненты и снижение уровня возбуждения [Розанов, 2022; Розанов, 2022а; Rozanov, 2022]. Сведения о релаксирующем, расслабляющем, гармонизирующем воздействии ВР на психоэмоциональную сферу реципиентов наблюдалось в ряде других работ. Так, исследование влияния виртуальных сред релаксационной направленности с использованием опросников Спилбергера—Ханина и шкалы тревожности Бека свидетельствует о снижении уровня тревожности под воздействием ВР [Маринова, 2022]. Интеграция средств анализа мимики и ВР в едином формфакторе позволит в режиме реального времени получать качественно новые данные об изменении эмоционального состояния человека в виртуальной среде.
Влияние виртуальной реальности на когнитивную сферу проявляется в повышении концентрации внимания, активизации оперативной памяти и интеллектуального потенциала реципиентов с одновременным переключением внимания с объективной реальности на виртуальную. Для изучения данной группы эффектов мы применили контент-анализ и дискурсивный анализ речи реципиентов, фиксируемых до и после сеансов ВР в форме полуструктурированных самоотчетов. В двух модельных экспериментах в самоотчетах обследуемых обнаружено достоверное снижение удельного веса речевых ошибок и слов-паразитов, что является одним из проявлений развития состояния, связанного с релаксацией, уменьшением общей напряженности в отношении стрессогенной внешней среды [Розанов, 2022; Розанов, 2022а; Rozanov, 2022].
Это согласуется с данными независимых исследований о положительных микроизменениях психических состояний под влиянием ВР [Барабанщиков, 2022]. Заслуживает отдельного внимания показанное в этих исследованиях достоверное повышение креативности при применении ВР дидактической направленности (по данным опросника Джонсона, тестов Торренса, Роршаха) [там же]. Мы предполагаем дальнейшее развитие исследований в этом направлении и расширение практики применения в них инструментария нейропсихологии, психолингвистики и семантики.
Резонно предположить, что нахождение в виртуальной реальности, оказывающей мультимодальное воздействие на сенсорные системы человека, приводит не только к развитию у него эффекта присутствия, но и формированию сложной системы психических образов [Demer, 2015]. Формирование психического образа включает в себя три уровня психического отражения (досознательный, или сенсорно-перцептивный; сознательный, или уровень представлений; послесознательный, или вербально-логический) [Завалова, 1984]. В соответствии с этим при взаимодействии со средами ВР у реципиента сначала формируется тактическое «погружение», связанное с ориентировочными реакциями в иммерсивной среде, затем — «стратегическое» погружение, обусловленное интерактивным взаимодействием со средой. И, наконец, формируется повествовательное «погружение», связанное с восприятием среды ВР как нарратива, имеющего начало, сюжет и цель. По этой аналогии, восприятие ВР может быть подобно восприятию текстовых конструкций различного уровня сложности; повествовательное «погружение» с точки зрения семантики текста может быть описано (и воспринято реципиентом) как последовательность предложений, являющихся завершенным текстом, имеющим начало и конец, «завязку» и «развязку», сюжет. Такой подход позволяет осуществлять семантический, семиотический анализ и интерпретацию явлений, связанных с иммерсивностью.
Согласно данным, полученными нами с помощью метода актиграфии, физиологические эффекты виртуальной реальности проявляются в изменении характера двигательной активности реципиента, повышении или понижении ее объема в зависимости от типа предъявляемых стимулов, а также в изменении качества сна. Дальнейшие исследования этого направления предполагают использование таких методов, как полисомнография, многоканальная ЭЭГ, проведение анализа биохимических показателей (например, определение уровней глюкозы в крови и кортизола в слюне). В наших исследованиях эти методы пока не применялись, так как они трудно совместимы с сеансами релаксационной направленности, используемыми нами в целях психокоррекции. Однако эти методы могут быть с успехом использованы при изучении других виртуальных сред в других условиях. Отдельный интерес представляют работы по изучению работы сердечно-сосудистой системы, с регистрацией кардиограммы, пульса, вариабельности сердечного ритма до, во время и после сеанса ВР. Появляются заслуживающие внимания данные о динамике вариабельности сердечного ритма, например, у учащихся во время занятий в виртуальной реальности [Бахчина, 2022].
Предложенный нами комплексный подход к изучению психофизиологических эффектов, возникающих у человека под воздействием виртуальной реальности, по нашему мнению, может включать:
- оценку вестибулярной устойчивости и наличия индивидуальной непереносимости виртуальной реальности у каждого респондента перед началом проведения исследования;
- видео и/или аудиозапись самоотчета обследуемого о его состоянии перед и после каждого экспериментального сеанса ВР;
- использование анкеты «Иммерсивность»;
- опциональная актиграфия и запись ЧСС в процессе всей продолжительности эксперимента (для сопоставления фрагментов до и после сеанса ВР, равных по длине продолжительности самого сеанса).
Таким образом, общая схема комплекса мер оценки психофизиологических эффектов, возникающих у человека при восприятии виртуальных сред, сводится к следующему:
- для оценки вестибулярных эффектов целесообразно применить оценку глазодвигательных реакций, краткие неврологические осмотры, стабилометрию;
- для оценки сенсомоторных эффектов (связанных с эффектом «присутствия») следует применить анкету «Иммерсивность» и анализ данных электрической активности мозга (полученной с помощью интегрированного в шлем ВР электроэнцефалографа);
- для изучения психоэмоциональных эффектов восприятия ВР лучшим образом подходит компьютеризированный анализ мимики обследуемых до и после сеанса ВР;
- для изучения когнитивных эффектов следует применить дискурсивный, семантический анализ речи обследуемых до и после сеансов виртуальной реальности и/или проективные методики (тесты Джонсона, Торренса, Роршаха);
- для оценки физиологических эффектов виртуальной реальности подходят неинвазивные методы актиграфии, окулографии, кардиоинтервалограммы, методы анализа вариабельности сердечного ритма, применяемые до, после и вовремя сеанса погружения человека в виртуальный «мир».
Заключение
Расширение арсенала исследовательских методик, применяемых в практике оценки психофизиологических эффектов ВР, позволит укрупнить базу знаний о воздействии виртуальной реальности высшего порядка на психическую сферу человека и позволит прийти к более глубокому пониманию механизмов ее восприятия. Многомерный анализ данных, полученных в экспериментах с различными видами виртуальной реальности, с применением современного математического аппарата, позволит в дальнейшем разработать единый критерий иммерсивности — количественно измеримую степень выраженности эффекта погружения. Кроме того, мы полагаем, что перспективным является применение психолингвистических, семантических, семиотических подходов к интерпретации явления иммерсивности. Современные технологии позволяют осуществить интеграцию исследовательского инструментария с гарнитурами, шлемами и программным обеспечением ВР. Мы выражаем надежду, что более детальное изучение психофизиологических эффектов ВР будет способствовать оптимизации самих виртуальных сред, сделав их более иммерсивными и интуитивными, и, с другой стороны, способствовать накоплению новых знаний об особенностях восприятия этих сред. А накопление массива данных о психологических и психофизиологических изменениях, связанных с использованием ВР и современных технологий машинного обучения и искусственного интеллекта, может способствовать существенному прогрессу в развитии технологических факторов иммерсивности и разработке средств индивидуализиции ВР на основе объективных показателей.