Успешность выполнения компьютеризированной задачи с разными типами слуховых интерфейсов

Контекст и актуальность. Слуховые интерфейсы часто исследуются как способ снизить когнитивную нагрузку на оператора системы в условиях, когда опора на зрительный интерфейс слишком затратна по времени и когнитивным ресурсам. Однако, несмотря на данные об эффективности слуховых интерфейсов по сравнению со зрительными, разные типы слуховых интерфейсов — например, параметрический, в котором данным ставятся в соответствие характеристики звука, и пространственный, моделирующий пространственное положение звука, — не сравниваются между собой. Новизна данной работы заключается в том, что пространственный и непространственный параметрический интерфейс сравниваются в двух условиях: когда информация, которую они передают, соответствует типу интерфейса — и когда не соответствует. Цель: проверить, как использование пространственного и непространственного параметрического интерфейса влияет на точность и скорость выполнения задачи с информацией, соответствующей и не соответствующей типу звука. Гипотезы. Предполагалось более точное и быстрое выполнение задачи в условии конгруэнтности слухового интерфейса и задания, а также наличие положительного вклада со стороны характеристик, связанных с обработкой слуховой информации. Методы и материалы. Выборку составили 52 студента и преподавателя московских вузов (39 женщин, средний возраст — 23,41 ± 8,05 года; 13 мужчин, средний возраст — 35,08 ± 17,68 года). В исследовании использовалась компьютеризированная задача об управлении «космической станцией», опросник на полимодальность восприятия (Бандурка, 2004) и Плимутский опросник сенсорных образов (Andrade et al., 2014; Разваляева, 2024). Результаты. Тип слухового интерфейса и тип задания вносили совместный вклад в точность ответа. В неконгруэнтных условиях точность снижалась. Скорость реакции также значимо ухудшалась в неконгруэнтных блоках. Выявлялись эффекты последовательности (улучшение показателей точности в течение эксперимента) и экспериментальной серии, когда блоки, связанные с непространственной информацией, выполнялись хуже, если шли первыми в эксперименте. Вклад конкретных звуков в разных типах задания различался: пространственные звуки лучше различались в пространственной задаче. Яркость слуховых образов вносила вклад в точность ответа при непространственном слуховом интерфейсе. Выводы. Характеристики слухового интерфейса и соответствие звуковой шкалы типу информации вносят значимый вклад в эффективность выполнения задачи.

Введение

Возрастающая сложность различных систем приводит к необходимости предоставлять информацию от них в удобной и понятной для пользователя или оператора форме. Ограничения традиционных зрительных интерфейсов были выявлены в авиации, медицине, вождении; и в качестве альтернативы были предложены интерфейсы в других модальностях — в частности, в слуховой (Носуленко, 2020; Baldwin, 2012).

Под слуховыми человеко-машинными интерфейсами понимают такие системы, которые обеспечивают взаимную коммуникацию между компьютеризированной системой и пользователем и осуществляют ее за счет синтеза речи и неречевых звуков (Peres et al., 2008). С областью слуховых интерфейсов в значительной мере пересекается сонификация, которая определяется как «трансформация отношений в данных в воспринимаемые отношения в акустическом сигнале для облегчения коммуникации или интерпретации» (Kramer et al., 1999, цит. по Walker, 2023, p. 728).

В широком смысле слуховые интерфейсы включают:

• человеческую и синтезированную речь, в том числе спирконы (spercons) — сжатые во времени речевые сообщения;
• невербальные оповещения и предупреждения, которые могут быть реализованы за счет слуховых иконок и ирконов (earcons) — конкретные и абстрактные звуки, привязывающиеся к определенным событиям;
• постоянные звуки, изменяющиеся по мере изменений в данных (Peres et al., 2008; Walker, 2023).

Систематические обзоры в области слуховых интерфейсов и сонификации указывают на большой разброс результатов, вызванный разными подходами и областями применения устройств, для которых разрабатываются такие интерфейсы. Однако в среднем деятельность в условиях слуховых интерфейсов может выполняться эффективно. Так, слуховые интерфейсы и сонификация двигательной активности успешно используются в реабилитации пациентов после инсульта, где они приводят к значимым улучшениям контроля над сложными движениями (Guerra et al., 2020). А в области управления сложными устройствами было показано, что слуховые интерфейсы в среднем связаны с более точной ориентировкой в пространстве (например, локализация целей, следование за траекторией, детекция отклонений от траектории) и более быстрыми реакциями, по сравнению с условиями без интерфейса, и, как правило, так же или более эффективны, чем визуальные интерфейсы (Разваляева, 2024б).

Однако в данной области продолжают оставаться неразрешенными некоторые проблемы. Во-первых, большая часть слуховых интерфейсов относительно слабо обоснована теоретически. Так, к самым используемым типам слуховых интерфейсов можно отнести параметрические и пространственные интерфейсы (Parseihian et al., 2016); и хотя постулируется превосходство вторых над первыми в экологически-валидных ситуациях (например, связанных с локализацией звука), интерфейсы, созданные с помощью этих подходов, крайне редко сравниваются между собой (Разваляева, 2024б). Более того, неясно, какую информацию более эффективно передавать с помощью двух этих способов и есть ли связь типа информации или задачи, стоящей перед пользователем, и типа интерфейса. Также в исследованиях слуховых интерфейсов, как правило, не измеряются индивидуальные особенности испытуемых, которые могут приводить к разбросу в восприятии звуков и выполнении соответствующих заданий (Разваляева, 2024б).

Таким образом, данное исследование было направлено на создание искусственной задачи с двумя подзадачами — пространственной и непространственной, и двумя слуховыми интерфейсами — пространственным и параметрическим (использующим непространственные свойства звука). В качестве индивидуальных характеристик, которые могли быть связаны с успешностью работы со слуховым интерфейсом, были взяты предпочтение модальности восприятия и яркость образов-представлений в разных модальностях. Исследования показали связь первой характеристики с эффективностью обучения (Бандурка, 2004). Образная же сфера и, в частности, ее яркость может быть связана с различными когнитивными функциями и успешностью решения задач в целом (Andrade, 2014).

Цель исследования — проверить, как использование слуховых интерфейсов разного типа влияет на точность и скорость выполнения задачи с их помощью.

Гипотезы:

1. Тип слухового интерфейса (пространственный или непространственный) вносит вклад в эффективность выполнения задачи (в правильность ответов и их скорость).
2. Более быстрые и точные ответы даются в условии, когда тип слухового интерфейса конгруэнтен типу информации, для которой он создается.
3. Предпочтение слуховой модальности и яркость образной сферы связаны с показателями эффективности выполнения задачи в условии слухового интерфейса.

Материалы и методы

Выборка включала 52 человека (39 женщин, средний возраст — 23,41 ± 8,05 года; 13 мужчин, средний возраст — 35,08 ± 17,68 года). Это были студенты московских вузов и работающие взрослые (преподаватели и научные работники). В выборку включались лица без заболеваний органов слуха. Большая часть респондентов были правшами (n = 44) и не имели музыкального образования (n = 33; 16 человек сообщили, что закончили музыкальную школу, а 3 человека занимались самообразованием в области музыки).

Методики

Опросники. Для измерения характеристик, связанных со способностью воспринимать информацию и формировать образы в разных модальностях, использовался опросник на полимодальность восприятия (Бандурка, 2004) и Плимутский опросник сенсорных образов (Andrade et al., 2014; Разваляева, 2024а).

Опросник на полимодальность восприятия представляет собой традиционный опросник самоотчета, в котором респонденты отмечают степень своего согласия с 70 утверждениями по 4-балльной шкале. Опросник измеряет предпочитаемую модальность восприятия и имеет 8 шкал: кинестетическую (α Кронбаха в данном исследовании — 0,72); гаптическую (α = 0,62), висцеральную (α = 0,77), вкусовую (α = 0,64), обонятельную (α = 0,63), слуховую (α = 0,68), зрительную (α = 0,64), «мощность» восприятия (α = 0,70).

В Плимутском опроснике респонденту дается задача представлять себе предметы или ситуации в разных модальностях (7 модальностей, 33 пункта в русскоязычной адаптации) и измерять их яркость по 11-балльной шкале. Шкалы опросника: зрение (α = 0,82), слух (α = 0,84), обоняние (α = 0,83), вкус (α = 0,78), прикосновение (α = 0,86), телесные ощущения (α = 0,80), эмоции (α = 0,78), общая яркость образов (α = 0,95).

Экспериментальная задача. Экспериментальная компьютеризированная задача была написана на языке Python 3.10 (с помощью пакета Psychopy). Задача включала 4 блока, объединенных общей темой управления «космической станцией», с разными комбинациями типа слухового интерфейса и типа задания:

• Блок A: пространственное задание, пространственный слуховой интерфейс (конгруэнтное условие);
• Блок B: непространственное задание, пространственный слуховой интерфейс (неконгруэнтное условие);
• Блок C: пространственное задание, непространственный слуховой интерфейс (неконгруэнтное условие);
• Блок D: непространственное задание, непространственный слуховой интерфейс (конгруэнтное условие).

Давалась следующая общая инструкция:

«В этом исследовании Вы будете управлять космической станцией с помощью информации, получаемой в звуковой форме.

У Вас будет 2 задания:

1) активировать ракету, чтобы сбить астероид, движущийся к станции;

2) активировать аккумулятор или вентилятор, если получена соответствующая инструкция.

В каждом блоке будет только одно из этих заданий, но способ, которым Вы будете получать информацию, будет меняться.

В начале каждого нового блока Вы будете получать 5 демонстрационных заданий с визуальными подсказками. Потом — 25 заданий только со звуковыми подсказками».

Таким образом, в блоках с пространственной задачей было задание «сбить астероид», а в блоках с непространственной — «активировать аккумулятор или вентилятор», что отражалось в характере графического интерфейса, с помощью которого давался ответ, и содержании тренировки в начале блока (где демонстрировалось, что происходит, и показывался правильный ответ, см. рис).

В блоках с пространственной задачей ответ осуществлялся с помощью 5 стрелок, указывающих разное направление «астероида» (слева-направо: 0°, 45°, 90°, 135°, 180°). Чтобы нивелировать ориентировку на пространственное положение кнопок, в блоках с непространственной задачей давалось только 3 кнопки с разными значениями. Кнопкам с предметными значениями («включение аккумулятора» и «включение вентилятора») соответствовал только 1 звук, третья кнопка означала, что не нужно ничего делать, и ей соответствовали 3 остальных звука. Это было сделано для уравнивания количества звуков для разных условий задачи — таким образом, в каждом блоке всегда было 5 звуков.

Звуки генерировались с помощью программы Audacity 3.7.1. Для пространственного условия генерировался розовый шум, с 5 разными настройками панорамирования (громкостью в левом/правом наушнике) – 100% в левом канале и 0% в правом, 75% и 25%, 50% и 50%, 25% и 75%, 0% и 100% соответственно. Для непространственного условия использовались сгенерированные треугольные волны с 5 разными частотами: 110, 220, 440, 880 и 1760 Гц. Все звуки генерировались с амплитудой 1, продолжительность 30 сек. Выбор типа звуков обусловлен следующими результатами исследований:

• Систематический обзор 60 проектов сонификации показал, что стереопанорамирование чаще всего используется для передачи информации о положении объекта; частота тона была на втором месте, а диапазон тонов — на третьем (Dubus, Brezin, 2013).
• Способность к локализации звука в пространстве обусловлена спектральным составом этого звука, что постулируется в дуплексной теории локализации звуков Дж. Стретта (Разваляева, Носуленко, 2023). Поэтому для пространственной локализации рекомендуется использовать звуки с широким спектром частот, например белый и розовый шум (Bălan et al., 2017). Чтобы пространственное и непространственное условие не отличались по спектру слишком сильно, были сгенерированы волны треугольной формы — т. е. волны с бесконечным числом нечетных гармоник, снижающихся по громкости. В отличие от синусоидальной волны, треугольная содержит весь спектр частот.

Процедура исследования. Перед проведением исследования участникам предъявлялось информированное согласие. После они заполняли демографическую анкету и опросники. Опросники предъявлялись через браузер и были запрограммированы с помощью библиотеки JsPsych ver. 7 (de Leeuw et al., 2022).

Экспериментальная задача была запрограммирована на языке Python 3.10 и предъявлялась с помощью PsychoPy 2024.2.4 для Windows (Pierce, Hirst, MacAskill, 2022). Звуки проигрывались через внешнюю звуковую карту Focusrite Scarlett Solo 2nd gen. и наушники Scarlett Studio HP60 MkII.

В начале эксперимента участники подстраивали громкость стимулов так, чтобы она воспринималась одинаково для всех звуков, использующихся в экспериментальной задаче. Затем предъявлялась общая инструкция, после которой следовали 4 блока. Каждый блок включал инструкцию, объясняющую специфику задачи, демонстрацию соответствия звуков элементам визуального интерфейса и 25 проб. Каждый звук во время блока предъявлялся по 5 раз в случайном порядке. Звук ограничивался 30 секундами, во время его проигрывания нужно было нажать левой кнопкой мыши на соответствующую кнопку на визуальном интерфейсе. Между пробами был 1-секундный интервал.

Исследование проводилось по интраиндивидуальному дизайну; экспериментальные условия предъявлялись по схеме сбалансированного латинского квадрата. Одна из 4 серий, согласно которой устанавливался порядок предъявления блоков, приписывалась в начале эксперимента в зависимости от порядкового номера респондента. Респонденты также получали задачу сравнить 2 блока по ряду показателей (Разваляева, 2025).

Анализ данных проводился в среде R 4.4.2 (R Core Team, 2024), с применением функций из пакетов rjson (Couture-Beil, 2024), lme4 (Bates et al., 2015), effectsize (Ben-Shachar, Lüdecke, Makowski, 2020), psych (Revelle, 2024). Для анализа соответствия распределения нормальному применялся критерий Колмогорова-Смирнова. С учетом того, что сумма ответов и время реакции в разных условиях не были нормально распределены, вместо дисперсионного анализа использовались непараметрические критерии — Краскела-Уоллиса для независимых выборок и Фридмана для повторных измерений — и модели смешанных эффектов (с линейной и логистической регрессией). Для всех типов анализа применялась поправка Бенджамини-Хохберга на множественную проверку гипотез; уровни значимости приведены уже с учетом этой поправки.

Результаты

Точность выполнения задачи и время реакции: групповые различия. Общая точность ответов (сумма правильных ответов) в экспериментальной задаче и среднее время реакции представлены в табл. 1 (для выборки в целом) и 2 (для групп, выполнявших разные экспериментальные серии). Значимых различий для 4 блоков в общей выборке получено не было.

Таблица 1 / Table 1

Описательные статистики и результаты групповых сравнений точности и времени ответов в разных блоках экспериментальной задачи

Descriptive statistics and results of group comparisons for task accuracy and reaction times in different blocks of the experimental task

Примечание: Min — минимум, Max — максимум, M — среднее значение, Med — медиана, SD — стандартное отклонение, df — степени свободы.

Note: Min — minimum, Max — maximum, M — mean, Med — median, SD — standard deviation, df — degrees of freedom.

Таблица 2 / Table 2

Описательные статистики и результаты сравнений точности и времени ответов у разных групп респондентов

Descriptive statistics and comparisons of accuracy and reaction times between different experimental series

Примечание: Min — минимум, Max — максимум, M — среднее значение, Med — медиана, SD — стандартное отклонение.

Note: Min — minimum, Max — maximum, M — mean, Med — median, SD — standard deviation, df — degrees of freedom.

Связь точности выполнения задачи в разных условиях с модальностями восприятия и яркостью образной сферы. Корреляционный анализ выявил значимые связи между яркостью слуховых образов и суммарной точностью ответов в непространственном звуковом условии (r = 0,30, p = 0,03) и в условии D (r = 0,34, p = 0,01); между яркостью эмоциональных образов и точностью ответов в условии D (r = -0,30, p = 0,03); между предпочтением зрительной информации и скоростью ответов в пространственной задаче (r = 0,30, p = 0,03). Однако после применения поправки на множественную проверку гипотез все эти связи стали незначимыми.

Вклад типа слухового интерфейса и типа задания в точность и время ответа в пробе. Для определения вклада типа слухового интерфейса и типа задания в точность и время ответа в каждой пробе были построены модели смешанных эффектов, учитывающие фиксированные и случайные эффекты. В качестве фиксированных эффектов в обе модели вводились:

• тип слухового интерфейса, тип задания и взаимодействие между ними;
• порядковый номер блока в эксперименте и пробы в блоке (для контроля эффектов последовательности, на которые указал анализ различий между разными экспериментальными сериями);
• дополнительные переменные: коэффициент громкости звука и яркость слуховых образов.

В качестве случайного эффекта указывался идентификационный номер респондента. Из модели времени реакции были исключены данные, представлявшие выбросы из распределения (время реакции больше 3 секунд).

Результаты проверки моделей представлены в табл. 3. Тип звука и номер блока вносили значимый вклад в оба показателя. Тип задания, номер пробы и громкость звука — только во время реакции, а взаимодействие типа звука и задания оказалось значимым предиктором только точности ответа.

Таким образом, ответ давался более точно в блоках, следующих за первым (b = 0,37), и при использовании «конгруэнтной» стратегии сонификации, когда пространственные звуки сочетались с пространственным заданием (b = 0,36). Пространственная сонификация в непространственном задании ухудшала точность ответа (b = -0,32).

В «неконгруэнтных» пробах (пространственный звук и непространственное задание и наоборот) ответ давался медленнее (b = 0,14 для пространственного условия, b = 0,19 для непространственного). Взаимодействие условий здесь было незначимо и близко к нулю, т. е. сочетание пространственной сонификации и задания не отличалось значимо от непространственной сонификации и задания. При этом отчет давался быстрее в более поздних пробах в блоке (b = -0,12), в более поздних блоках в эксперименте (b = -0,14) и при большей громкости звука (b = -0,07).

Таблица 3 / Table 3

Результаты моделей смешанных эффектов для точности ответа и времени реакции в пробах

Mixed effects models for accuracy and time reaction in experiment trials

Примечание: b — стандартизированные регрессионные коэффициенты, 95% CI — доверительный интервал, SE — стандартная ошибка; для логистической модели приводятся значения z, для линейной — значения t.

Note: b — standardized regression coefficients, 95% CI — confidence interval, SE — standard error; z statistics are displayed for the logistic model, and t statistics for the linear model.

Вклад конкретных звуков в точность и время ответа в пробе. Для более подробного анализа причин затруднений в блоках разного типа мы рассмотрели вклад типа звука в показатель правильных ответов. Были построены две модели — отдельно для каждого типа слухового интерфейса (табл. 4). В них использовались те же случайные и фиксированные эффекты, что и в предыдущих моделях, но переменная «тип сонификации» заменялась на «тип звука».

Для пространственных звуков было показано, что в непространственном задании все шумы, кроме того, который подавался на левое ухо (в условном положении 0°), снижали вероятность правильного ответа. В пространственном задании вероятность правильного ответа снижалась для шума, подающегося на левое ухо (точка пересечения с шкалой ординат — 2,29; значимый эффект типа задания — b = -0,71; т. е., эффект для шума в позиции 0° — 1,58), по сравнению с непространственным заданием, но не менялась для шума, подающегося в позиции 135°, и повышалась для остальных шумов (подающегося в позиции 180°, 90 и 45°). Таким образом, в непространственном задании лучше всего распознавался звук, связанный с кнопкой «запуска аккумулятора», а в пространственном — звуки, связанные с крайними стрелками влево, вправо и прямо.

Для непространственных звуков в непространственной задаче вероятность правильного ответа для тона 440 Гц не отличалась значимо от тона 110 Гц. В пространственной задаче она не изменялась для тона 110 и 220 Гц (нет значимого эффекта у переменной «тип задания» и у взаимодействия типа задания и тона 220), повышалась для тона 1760 Гц и снижалась для остальных тонов — 440 и 880 Гц. Так же, как и в случае с пространственными звуками, в непространственном задании лучше всего связывалась с соответствующим звуком (самый низкий, 220 Гц) кнопка «запуска аккумулятора», а в пространственном лучше всего различались звуки, соответствующие стрелкам влево и вправо.

Эффект последовательности блоков был значимым в обеих моделях. В модели с непространственными звуками был также значим эффект яркости слуховых образов, вносившей положительный вклад в вероятность правильного ответа.

Таблица 4 / Table 4

Результаты смешанных моделей для вклада конкретных звуков в точность ответа

Mixed effects models for the input of specific sounds in response accuracy

Примечание: b — стандартизированные регрессионные коэффициенты, 95% CI — доверительный интервал, SE — стандартная ошибка.

Note: b — standardized regression coefficients, 95% CI — confidence interval, SE — standard error.

Обсуждение результатов

Тип слухового интерфейса и точность решения задачи. Хотя при сравнении сумм правильных ответов в блоках и среднего времени реакции значимых различий не было выявлено, на уровне отдельных проб был обнаружен вклад типа слухового интерфейса и его взаимодействия с типом задания в вероятность правильного ответа. При этом была показана большая вероятность правильного ответа в конгруэнтных условиях, когда пространственная задача сопровождается звуками с пространственной информацией (с разным балансом в левом и правом наушнике), а непространственная — звуками без пространственной информации (разной частоты).

Этот результат согласуется с исследованиями, где пространственная информация передавалась с помощью пространственных звуков. Так, Д. Блэк с соавторами передавали информацию о положении объекта (медицинской иглы) по оси x с помощью панорамирования, а по оси y — с помощью динамической частоты тона, и обнаружили, что точность ввода иглы в муляж не отличается от использования визуального интерфейса (Black et al., 2017). В другом исследовании (в области управления автомобилем) предупреждения о стороне, с которой едет другой автомобиль, подавались на соответствующее ухо; задание выполнялось более эффективно в условии слухового интерфейса (Houtenbos et al., 2017).

Эффекты последовательности. В экспериментальной задаче выявлялось несколько эффектов, связанных с последовательностью: внутри блоков по мере прохождения задания возрастала скорость реакции, а между блоками — и скорость, и вероятность правильного ответа. Этот эффект согласуется с предыдущими исследованиями эффекта научения при использовании слухового интерфейса для профессионально-специфичных целей, где было показано, что ассистенты с меньшим профессиональным опытом более медленно обучались выполнять задачу со слуховым интерфейсом по сравнению с визуальным (Matinfar et al., 2023).

Также непространственный тип задачи (с непространственным расположением кнопок на графическом интерфейсе) вызывал значимо большие затруднения, если этот блок шел первым в эксперименте. Учитывая, что пространственное положение кнопок в этом блоке намеренно не соответствовало «шкале», по которой выстраивались звуки (слева-направо для шумов, «снизу-вверх» для тонов), оно могло вызывать большие затруднения в понимании. Возможно, этот эффект можно будет нивелировать более длительной тренировкой с обратной связью в будущих исследованиях.

Вклад звука в точность ответов в разных типах задачи. Звуки, использующиеся в задании, по-разному связывались с различными элементами интерфейса в зависимости от условия задания — пространственного или непространственного. Так, в непространственном задании было больше ошибок для кнопок «вентилятора» и «пропуска» вне зависимости от используемых звуков; шум в левом ухе и самый низкий тон одинаково хорошо связывались с кнопкой «запуска аккумулятора» (тоже самой левой). Таким образом, можно предположить, что часть ошибок в непространственной задаче была связана с попыткой участников исследования применить стратегию ориентировки на пространственное положение кнопок и их соотнесение со звуковыми шкалами.

В пространственной задаче лучше всего различались «крайние» звуки на шкале, связанные со стрелками влево и вправо. Звуки, связанные с позицией 45° и 135°, вне зависимости от используемого типа слухового интерфейса, различались хуже. Однако звук, соответствующий стрелке «прямо», распознавался по-разному, и лучше распознавался именно в случае пространственного интерфейса.

Связи с индивидуальными особенностями восприятия звука. Хотя связи между яркостью слуховых образов и показателями эффективности выполнения задания не были значимыми после поправки на множественную проверку гипотез, этот показатель вносил значимый вклад в точность ответов в непространственном задании. Можно предположить, что для лучшего запоминания тонов участникам исследования нужно было мысленно их представлять. Предыдущие исследования, в которых участникам давалось задание представить себе единичный тон или последовательность тонов и их мысленный образ сравнивался с эталонным звуком, показывают, что яркость образов может как помогать, так и мешать правильному воспроизведению высоты тона (Gelding, Thompson, Johnson, 2015; Hubbard, 2010). Интересно, что со звуками шума яркость слуховых образов связана не была, что может указывать на то, что их сложнее запомнить и представить себе.

Ограничения исследования и дальнейшие направления. Основное ограничение исследования заключается в том, что в нем была представлена ситуация, не являющаяся экологически валидной или связанной с конкретной предметной областью (т.е. задание не имитировало в достаточной степени близости существующие сложные системы — например, автомобиль или самолет). Также не контролировалось, был ли у респондентов абсолютный слух, что могло бы позволить им лучше различать и запоминать звуки в непространственном интерфейсе. Не измерялись когнитивные способности респондентов, связанные со слуховым восприятием (например, слуховая рабочая память).

Однако в исследовании были получены новые результаты, сравнивающие разные типы интерфейсов (пространственный и параметрический). Несмотря на большую распространенность этих типов интерфейсов, особенно в случае параметрической сонификации с помощью изменяющейся частоты звука, их сравнение еще не проводилось. Было показано, что, при высокой средней точности ответов для всех типов задач, в вероятность конкретного правильного ответа вносило вклад соотношение между типом слухового интерфейса и той информацией, для которой он строился; преимущество было у конгруэнтных задач. Также были получены новые результаты, показывающие, что индивидуальная вариативность в обработке слуховой информации может вносить вклад в поведение пользователей слуховых интерфейсов.

В дальнейшем предполагается провести исследование с использованием других типов звуков и контролем когнитивных способностей респондентов и их способности к различению разных характеристик звука. Большая экологическая валидность может быть достигнута за счет создания звуков с определенным предметным содержанием (в отличие от непредметных синтезированных звуков, с которыми большинство людей имеет мало опыта работы) и их пространственной обработки для задействования способности к локализации звука в пространстве (Носуленко, 2020). Перспективным направлением является создание экологически валидных интерфейсов и их тестирование в условиях, более приближенных к реальной деятельности, в том числе в разных профессиональных группах.

Выводы

1. Характеристики слухового интерфейса и типа задачи вносят значимый вклад в эффективность выполнения задачи: взаимодействие типа слухового интерфейса и типа задачи вносит вклад в точность ответа, тип слухового интерфейса и тип задания вносят независимый вклад во время реакции.
2. В задании наблюдаются эффекты последовательности: по мере выполнения задания улучшается точность ответов и время реакции.
3. Яркость слуховых образов вносит вклад в эффективность выполнения задания в условии непространственного слухового интерфейса.

1. Бандурка, Т.Н. (2005). Полимодальность восприятия в обучении. Как раздвинуть границы познания. Иркутск: Оттиск.
   Bandurka, T.N. (2005). Multimodality of perception in education. How to broaden the horizons of learning. Irkutsk: Ottisk. (In Russ.).
2. Носуленко, В.Н. (2020). Звук в интерфейсах взаимодействия человека и техники. В: В.И. Панов (Ред.), Экопсихологические исследования — 6: экология детства и психология устойчивого развития (с. 155—159). М.: ФГБНУ «Психологический институт РАО»; Курск: Университетская книга, 2020. https://doi.org/10.24411/9999-044A-2020-00035
   Nosulenko, V.N. (2020). Sound in human-machine interfaces. In: V.I. Panov (Ed.), Eco-psychological studies — 6: ecology of childhood and psychology of stable development (pp. 155—159). Moscow: FGBNU “Psikhologicheskii institut RAO”; Kursk: Universitetskaya kniga, 2020. https://doi.org/10.24411/9999-044A-2020-00035
3. Разваляева, А.Ю. (2024а). Адаптация Плимутского опросника сенсорных образов на российской выборке. Экспериментальная психология, 17(3), 144—157. https://doi.org/10.17759/exppsy.2024170310
   Razvaliaeva, A.Yu. (2024a). Validating the Plymouth Sensory Imagery Questionnaire in the Russian Sample. Experimental Psychology (Russia), 17(3), 144—157. (In Russ.). https://doi.org/10.17759/exppsy.2024170310
4. Разваляева, А.Ю. (2024б). Сонификация для управления пространственным положением объекта: систематический обзор. Познание и переживание, 5(2), 86—109. https://doi.org/10.51217/cogexp_2024_05_02_04
   Razvaliaeva, A.Yu. (2024b). Systematic review of sonification for controlling an object’s position in space. Cognition and Experience, 5(2), 86—109. (In Russ.). https://doi.org/10.51217/cogexp_2024_05_02_04
5. Разваляева, А.Ю. (2025). Субъективные оценки, роль музыкального обучения и воспринимаемое качество слуховых интерфейсов в экспериментальной задаче. Экспериментальная психология, 18(4), 122—135. https://doi.org/10.17759/exppsy.2025180407
   Razvaliaeva, A.Yu. (2025). Subjective ratings, musical training and the perceived quality of auditory interfaces in an experimental task. Experimental Psychology (Russia), 18(4), 122—135. (In Russ.). https://doi.org/10.17759/exppsy.2025180407
6. Разваляева, А.Ю., Носуленко, В.Н. (2023). Пространственная локализация цифрового звука в научном эксперименте и практике. Экспериментальная психология, 16(2), 20—35. https://doi.org/10.17759/exppsy.2023160202
   Razvaliaeva, A.Yu., Nosulenko, V.N. (2023). Spatial Localization of Digital Sound in Scientific Experiment and Practice. Experimental Psychology (Russia), 16(2), 20—35. (In Russ.). https://doi.org/10.17759/exppsy.2023160202
7. Andrade, J., May, J., Deeprose, C., Baugh, S.J., Ganis, G. (2014). Assessing vividness of mental imagery: the Plymouth Sensory Imagery Questionnaire. British Journal of Psychology, 105(4), 547—563. https://doi.org/10.1111/bjop.12050
8. Bălan, O., Moldoveanu, A., Moldoveanu, F., Morar, A., Ivaşcu, S. (2017). Perceptual feedback training for improving spatial acuity and resolving front-back confusion errors in virtual auditory environments. In: 40th International Conference on Telecommunications and Signal Processing (TSP) (Barcelona, Spain, 5—7 July 2017) (pp. 334—337). Brno: Brno University of Technology. https://doi.org/10.1109/TSP.2017.8075999
9. Baldwin, C.L. (2012). Auditory Cognition and Human Performance: Research and Applications. Boca Raton, FL: CRC Press.
10. Bates, D., Maechler, M., Bolker, B., Walker, S. (2015). Fitting Linear Mixed-Effects Models Using lme4. Journal of Statistical Software, 67(1), 1—48. https://doi.org/10.18637/jss.v067.i01
11. Ben-Shachar, M., Lüdecke, D., Makowski, D. (2020). effectsize: Estimation of Effect Size Indices and Standardized Parameters. Journal of Open Source Software, 5(56), 2815. https://doi.org/10.21105/joss.02815
12. Black, D., Hettig, J., Luz, M., Hansen, C., Kikinis, R., Hahn, H. (2017). Auditory feedback to support image-guided medical needle placement. International Journal of Computer Assisted Radiology and Surgery, 12(9), 1655—1663. https://doi.org/10.1007/s11548-017-1537-1
13. Couture-Beil, A. (2024). rjson: JSON for R. R package version 0.2.23. URL: https://CRAN.R-project.org/package=rjson (viewed: 01.02.2025).
14. de Leeuw, J.R., Gilbert, R.A., Luchterhandt, B. (2023). jsPsych: Enabling an open-source collaborative ecosystem of behavioral experiments. Journal of Open Source Software, 8(85), 5351. https://doi.org/10.21105/joss.05351
15. Dubus, G., Bresin, R. (2013). A systematic review of mapping strategies for the sonification of physical quantities. PloS One, 8(12), e82491. https://doi.org/10.1371/journal.pone.0082491
16. Gelding, R.W., Thompson, W.F., Johnson, B.W. (2015). The Pitch Imagery Arrow Task: Effects of Musical Training, Vividness, and Mental Control. PLoS One, 10(3), e0121809. https://doi.org/10.1371/journal.pone.0121809
17. Guerra, J., Smith, L., Vicinanza, D., Stubbs, B., Veronese, N., Williams, G. (2020). The use of sonification for physiotherapy in human movement tasks: A scoping review. Science & Sports, 35(3), 119—129. https://doi.org/10.1016/j.scispo.2019.12.004
18. Houtenbos, M., de Winter, J.C., Hale, A.R., Wieringa, P.A., Hagenzieker, M.P. (2017). Concurrent audio-visual feedback for supporting drivers at intersections: A study using two linked driving simulators. Applied Ergonomics, 60, 30—42.
19. Hubbard, T.L. (2010). Auditory imagery: Empirical findings. Psychological Bulletin, 136(2), 302—329. https://doi.org/10.1037/a0018436
20. Matinfar, S., Salehi, M., Suter, D., Seibold, M., Dehghani, S., Navab, N., Wanivenhaus F., Fürnstahl P., Farshad M., Navab, N. (2023). Sonification as a reliable alternative to conventional visual surgical navigation. Scientific Reports, 13(1), 5930.
21. Parseihian, G., Gondre, C., Aramaki, M., Ystad, S., Kronland-Martinet, R. (2016). Comparison and evaluation of sonification strategies for guidance tasks. IEEE Transactions on Multimedia, 18(4), 674—686.
22. Peirce, J.W., Hirst, R.J. MacAskill, M.R. (2022). Building Experiments in PsychoPy. 2nd Ed. London: Sage.
23. Peres, S.C., Best, V., Brock, D., Frauenberger, C., Hermann, T., Neuhoff, J.G., Nickerson, L.V., Shinn-Cunningham, B., Stockman, T. (2008). Auditory interfaces. In: P. Kortum (Ed.), HCI beyond the GUI: design for haptic, speech, olfactory, and other nontraditional interfaces (pp. 147—196). Amsterdam: Elsevier/Morgan Kaufmann. https://doi.org/10.1016/B978-0-12-374017-5.00005-5
24. R Core Team (2024). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria. URL: https://www.R-project.org/ (viewed: 01.02.2025).
25. Revelle, W. (2024). psych: Procedures for Psychological, Psychometric, and Personality Research. Northwestern University, Evanston, Illinois. URL: https://CRAN.R-project.org/package=psych (viewed: 01.02.2025).
26. Walker, B.N. (2023). The past, present, and promise of sonification. Arbor, 199(810), a728. https://doi.org/10.3989/arbor.2023.810008