Зрительные и слуховые влияния на определение изменения временной частоты

Предыдущие исследования свидетельствуют о превалировании слуховой модальности над зрительной при определении временных изменений частоты в случаях рассогласования между слуховой и зрительной модальностью. Крайне мало изученным остается вопрос о механизмах согласования, взаимодействия зрительной и слуховой модальности в тех случаях, когда временная частота воспринимается параллельно в этих двух сенсорных модальностях, чему посвящена экспериментальная часть настоящего исследования и эксперимента II в частности. Сравнительный анализ результатов свидетельствует в большей степени в пользу гипотезы о дифференцированной обработке временной информации и мультимодальной сенсорной интеграции, нежели предположения о доминировании слуха при восприятии времени.

Введение

В ходе изучения процессов обработки временной информации с использованием слуховых (Schubotz et al., 2000), зрительных (Moutoussis, 1997) и даже тактильных стимулов (Macar et al., 2002) было разработано большое количество экспериментальных алгоритмов. Предметом пристального внимания исследователей являются вопросы о том, как один перцепт может влиять на другой перцепт при мультимодальной обработке (Welch, DuttonHurt, 1986; Gebhard, Mowbray, 1959), и о том, каким образом разные аспекты одного перцепта воспринимаются в различных временных промежутках (Moutoussis, 1997). Основная часть исследований, касающихся мультимодальной обработки времени, сосредоточена вокруг концепции «соревнующихся модальностей» и ставит своей целью описание сенсорной модальности, доминирующей при восприятии времени. В данной же работе проводится исследование мультимодальных временных сигналов, поступающих при зрительной и слуховой стимуляции, которые воспринимаются таковыми, когда стимулы предъявляются согласованно и параллельно (эксперимент II), в сравнении с обработкой информации по каждой из двух модальностей в отдельности (эксперимент I). При таком подходе сенсорные модальности не «конфликтуют» из-за различающихся временных репрезентаций, а, наоборот, могут взаимодействовать или предоставлять одной модальности возможность доминировать в интерпретации временных стимулов.

Деление времени

Термин «восприятие времени», по сути, вводит в заблуждение. Не существует рецепторов, которые собирают данные о времени из окружающей среды и создают ощущение времени. Даже если бы и были, не существует определенных частиц или волн, представляющих наблюдаемые временные изменения, которые бы питали эти рецепторы. И все же люди обладают способностью подстраиваться к временным паттернам и воспроизводить их, достаточно точно предсказывая некоторые интервалы времени (Rao et al., 2001). Еще большей загадкой является тот факт, что восприятие времени согласуется между наблюдателями. Эксперименты в этой работе сосредоточены на временных интервалах, длящихся около 500 мс. Однако начнем с рассмотрения социально сформированных и ставших уже привычными временных делений, к которым мы прибегаем изо дня в день. Наиболее аутентичной и независимой от социальных факторов мерой времени на земле является «день». Используя двенадцатеричную систему счисления, египтяне делили и день, и ночь на двенадцать сегментов. Минуты и секунды не были изобретены вплоть до более позднего времени, когда древнегреческие астрономы создали раннюю географическую систему широты и долготы. Разработанная далее шестидесятеричная система счисления позволила создать географическую систему координат и осуществить деление времени на 60 сегментов и 60 субсегментов, названных partes minutae primae, или ‘первая минута’, и partes minutae secundae, или ‘вторая минута’ (Lombardi, 2007). Эти деления не являлись общепринятыми вплоть до XVI века, когда появились первые механические часы, которые показывали деление времени на минуты. Интересно, что в 1967 году секунда получила новое определение. Секундой стал считаться единичный интервал времени, равный 9 192 631 770 периодам колебаний цезиевого эталона частоты (The International System…, 2008). Дальнейшее развитие науки и совершенствование научного инструментария способствовали разработке десятичной системы счисления, позволившей осуществить дробление секунды на 1000 частей, называемых миллисекундами, и выйти далеко за пределы разрешающей способности человека к субъективному различению времени.

Хотя время является всеобщей, единой и неделимой величиной, мы используем различные временные шкалы для его измерения. Например, возраст Вселенной колеблется между

13.5 и 14 биллионами лет (Hinshaw et al., 2009), тогда как время, требуемое для преодоления фотоном расстояния в один километр, равняется 3.336 x 10^-6 секундам. Для того чтобы задокументировать полный возраст Вселенной с использованием тех же единиц, что используются для обозначения времени, требуемого для преодоления фотоном одного километра, потребуется 328 биллионов листов бумаги. Если некоторые временные протяженности являются слишком короткими, чтобы быть ощутимыми людьми, то другие являются слишком длительными, чтобы быть субъективной мерой, и скорее «задействуют» память при своем кодировании.

Во многих исследованиях выдвигается предположение о временной частоте обновления, с которой мы испытываем чувство текущего момента, равняющейся примерно трем секундам (Fraisse, 1978; Pöppel, 1997).

Влияние сенсорных характеристик на обработку временной информации. «Абсолютное, истинное, математическое время само по себе и по самой своей сущности протекает равномерно и без всякого отношения к чему-либо внешнему» (Newton, 1934), и все же люди без усилий взаимодействуют с ним и создают временные ожидания внешних длительностей, и, что самое удивительное, ощущение времени отличается высокой степенью согласованности между наблюдателями.

Так как сенсорные органы человека обладают ограничениями, обработка внешних временных событий подвержена различным влияниям и так же, как и каждое сенсорное ощущение, не обязательно отражает актуальную среду.

Когда два или более события возникают вне видимой последовательности, говорят, что они были предъявлены симультанно, или «в одно и то же время». Воспринятая симультанность не соответствует физической симультанности. Для того чтобы определить лимиты восприятия симультанности, было использовано много экспериментальных парадигм, что привело к множеству различных заключений.

Хирш и Шерриг (Hirsh, Sherrig, 1961) исследовали порог ощущения последовательности–симультанности различных сенсорных модальностей, в том числе зрения, слуха и тактильного восприятия по отдельности. Результаты показали, что последовательные стимулы, следующие с интервалом меньше, чем примерно 20 мс, воспринимаются как одновременные во всех модальностях, в то время как стимулы, следующие с интервалом больше 20 мс, воспринимаются как последовательные. Вместо последовательности стимулов в одной модальности Хирш и Фрайс (Hirsh, Fraisse, 1964) предъявляли последовательность в разных модальностях, используя щелчки в качестве слуховой стимуляции и краткие вспышки света в качестве зрительной. Когда звук предшествовал свету, порог восприятия стимулов как последовательных, а не симультанно предъявленных равнялся приблизительно 60 мс, свет, предшествующий звуку, приводил к порогам от 90 до 120 мс. Различия этих результатов показывают чувствительность восприятия времени по отношению к фактору сенсорной модальности. Однако подобные несоответствия были показаны и внутри одной модальности простым изменением сложности раздражителей (см.: Moutoussis, 1997). Например, при предъявлении случайной последовательности из шести букв наблюдатель воспринимает их как одновременно предъявленные до тех пор, пока общая продолжительность предъявления не превысит 90 мс (Hylan, 1903). В экспериментальном исследовании с использованием зрительной стимуляции четыре светодиода в форме ромба загорались по порядку, однако если временной интервал между первой и последней вспышкой света не превышал 125 мс, последовательность воспринималась как симультанно предъявленная (Lichtenstein, 1961).

При такой изменчивости измерения порога симультанности неудивительно, что в исследованиях восприятия интервалов времени получаются различные результаты. Экспериментальные исследования с предъявлением интервалов времени требуют от участников либо оценки этих интервалов уже после их завершения, либо работы с теми временными интервалами, которые воспринимаются в настоящий момент. Для стимулов, использованных в задачах на дискриминацию временных интервалов, участники обрабатывают информацию не только о длительности стимула во времени, как в исследованиях симультанности, но и обрабатывают семантические аспекты стимулов. «Парадокс субъективной продолжительности» (Pöppel, 1997) заключается в том, что при ретроспективной оценке временных интервалов высокая нагрузка на память, в силу трудности задачи, сложность стимулов или и то, и другое приведут к снижению внимания к фактической продолжительности и, следовательно, переоценке интервала времени. Вместе с тем, при оценке временной продолжительности в случае сложности задачи и стимульного материала время, кажется, проходит быстрее, чем в состоянии монотонии и рутины (Pöppel, 1997; Fraisse, 1979).

Сенсорные модальности, выбранные для исследования восприятия времени, типы стимулов, их особенности, степень сложности сигналов и выполняемой задачи – все влияет на показатели обработки времени. Поскольку ограничения, связанные с побочными сенсорными эффектами, неизбежны, исследователи должны отдавать себе в этом отчет при разработке экспериментальных исследований и интерпретации результатов.

Интеграция мультимодальных сенсорных данных

«Гипотеза модальной целесообразности» гласит, что вклад различных сенсорных модальностей в мультимодальное восприятие связан с воспринимаемыми стимулами. Уэлч и ДаттонХарт (Welch, DuttonHurt, 1986) продемонстрировали этот эффект в исследовании восприятия времени с использованием бимодальных временных стимулов, в результате чего было обнаружено преобладание слуховой модальности над зрительной при решении задачи различения временных частот. В их эксперименте с использованием расхождения между временной частотой в зрительной и слуховой модальности был продемонстрирован факт преобладания слуха над зрением, свидетельствующий о том, что в случае «конфликта» зрительных и слуховых временных частот восприятие отдает предпочтение слуховой информации.

В то время как зрение специализируется на пространственном восприятии, слух, видимо, доминирует при восприятии времени, что подтверждается данными многочисленных исследований. Порог временного различия между вспышками света у зрения значительно выше, чем порог слуховой модальности при дискриминации между последовательными звуковыми сигналами, показывая тем самым, что острота различения времени значительно выше при прослушивании, чем при зрительном наблюдении. Хорошо известно такое явление, как «слуховое вождение», которое заключается в том, что при постепенном увеличении или уменьшении слуховой частоты (в то время как зрительная частота остается неизменной) наблюдателю начинает казаться, что частота зрительных колебаний тоже увеличивается или уменьшается вместе со звуковыми стимулами, хотя зрительные стимулы остаются постоянными и неизменными (Gebhard, Mowbray, 1959). Однако зрительная система, судя по всему, не оказывает такого же эффекта на слуховое восприятие.

Процессы преобразования сенсорных сигналов в электрохимические импульсы проходят с разной скоростью: в частности, слуховая информация кодируется быстрее, чем визуальная, и, если бимодальные временные стимулы должны быть восприняты одновременно, мозг должен либо оценивать временные показатели одной модальности, либо интегрировать входящие сенсорные данные (доказательства интеграции слуховых и зрительных стимулов можно найти в работах: Bushara et al., 2001; Calvert et al., 2001). Динамическая интеграция воспринятых данных о временной продолжительности преодолевает сенсорные ограничения. Используя метод прямой гальванической стимуляции вестибулярного аппарата, Трейнор и другие (Trainor et al., 2009) получили возможность таким образом манипулировать восприятием участников исследования, чтобы те предлагали конкретные интерпретации неоднозначно воспринимаемых ритмов. При помощи гальванической стимуляции воспроизводили привычное движение кивания головой под музыку за исключением того, что движения тела при этом не происходило. Вестибулярная система посылает большую часть своей информации в мозжечок, который, как было показано, играет роль в тайминге интервалов (Ivry, 1996).

Восприятие ритма в музыке

Хотя связь между восприятием частоты в когнитивных исследованиях и темпа в исследованиях музыки кажется очевидной, наблюдается коммуникативный разрыв между исследователями, занимающимися теорией музыки, и представителями когнитивной науки, которые в настоящее время используют различные терминологические словари для определения одних и тех же феноменов. В то время как частота измеряется в герцах (Гц), а продолжительность в миллисекундах (мс), темп измеряется в ударах в минуту (bpm), т. е. в единицах, которые в большей степени соответствуют евклидовой системе отсчета, поскольку «удар» представляет собой точку или маркер, не обладающий длительностью. В то время как единицы измерения в психофизике касаются порогов одновременности и последовательности, музыкальная теория изучает диапазон темпов. Темпы выше ~ 300 bpm (5 Гц, интервал 200 мс) являются трудноразличимыми на слух, согласно теории музыки (Van Noorden, Moelants, 1999), в то время как темпы ~ 40 bpm (0.67 Гц, интервал 1500 мс) приводят к перцептивной изоляции каждой доли музыкального такта и выходят за пределы возможностей рабочей памяти, необходимой для обработки двух последовательных ударов и создания музыкального темпа (Van Noorden, Moelants, 1999). Моелантс (Moelants, 2002) предполагает, что должна существовать нулевая точка между этими областями, где восприятие темпа является оптимальным. Исследователи установили оптимальный темп около 120 ударов в минуту (2 Гц, интервал 500 мс), который также должен воспроизводиться в зрительной модальности (Luck, Sloboda, 2007).

Модели восприятия времени

Несмотря на то, что существует высокая вариативность восприятия временных интервалов, их кодирования и воспроизведения, многие модели восприятия времени продолжают использовать понятие центральных внутренних часов, производящих и сохраняющих неизменные импульсы.

Осцилляторные или циркадные модели обработки информации о времени обычно описывают три этапа: этап часов, этап памяти и этап решения (Treisman, 1963). Этап часов может быть разбит дальше на две составные части: пейсмейкер, постоянно излучающий импульс на неизменной частоте, и аккумулятор, который считывает импульсы, производимые во время кодирования интервала времени. Аккумулятор затем посылает информацию рабочей памяти или навсегда сохраняет ее в соответствующей системе памяти. На стадии решения происходит сравнение текущего интервала времени с хранящимися в памяти интервалами с целью воссоздания или оценки схожих интервалов времени в будущем.

Эти модели, однако, не являются психологически правдоподобными, поскольку не берут в расчет требования задачи и разнообразие стимулов. Они признают наличие максимальный глубины рабочей памяти и оставляют мало места для ошибок в тех случаях, когда люди, как ожидается, должны эти ошибки допускать. Привычное стремление когнитивной науки к локализации функций в головном мозге приводит к тому, что такого рода модели ограничиваются рассмотрением унитарных, подобных часам, механизмов, в то время как экспериментальные данные говорят о наличии множества смешанных переменных и результатов, предполагая существование факторов, влияющих на распределение процессов восприятия и оценки. Разработка моделей временных интервалов совершила шаг вперед, приняв во внимание фактор трудности задачи и фактор внимания. Хотя сама модель по-прежнему полагается на пейсмейкер или колебательный процесс, излучающий импульсы, которые направляются на аккумулятор, теперь считается, что импульсы проходят через некое пропускное устройство, фильтрующее компоненты включения/выключения продолжительности (Meck, 1996). Аккумулятор не просто считывает эти импульсы, но объединяет их линейно с течением времени и посылает код в пул памяти для использования в дальнейшем при сравнени схожих интервалов времени. В процессе сопоставления импульсы генерируются, интегрируются и отправляются в устройство сравнения, происходящего в реальном времени, когда интервал времени еще продолжается. Закодированные длительности, хранящиеся в памяти, декодируются и отправляются в сравнивающее устройство, где они могут быть соотнесены с показателями длительностей на входе. Когда два значения (хранящейся в памяти длительности и длительности на входе) достигают нормы эквивалентности, осуществляется применение правил принятия решения, соответствующих задаче, и выдается ответ. Если ответ правильный, значение в аккумуляторе передается в память для сравнения с будущими длительностями.

Хотя модели интервалов времени берут в расчет глубину стимулов, а также компоненты оперативной памяти, описания этих компонентов остаются расплывчатыми и не учитывают «механизмов часов, отвечающих за широкий спектр различных сфер опыта, связанного со временем, – от модальностей до двигательных действий».

Методика

Эксперимент I. Отдельные модальности

Участники. В исследовании приняли участие 20 человек (7 мужчин, 13 женщин) в возрасте 19–35 лет (m=26.44; SD=4.4). Участники с дефектами зрения использовали корректирующие линзы или очки. Ни у кого из участников не наблюдалось понижения слуха. Все участники имели минимальный музыкальный опыт или вообще его не имели, что исключает попадание в выборку экспертов по различению ритма.

Стимульный материал и дизайн эксперимента. Слуховой импульс состоял из тона квадратной волны 440 Гц, длительность которого составляла 125 мс, и предъявлялся бинаурально с использованием полностью закрывающих наушников, которые производили один звук «бип». После каждых 125 мс импульса следовал пустой интервал, состоявший из одного цикла. Циклы повторялись от 15 до 22 раз, являясь одним стимулом. 1500-миллисекундный временной промежуток между пробами представлял собой интервал тишины. Базовый ритм состоял из звука длительностью 125 мс, за которым следовал 375-миллисекундный период тишины, предваряющий следующий звук. Объединенная в 500-миллисекундный цикл базовая линия представляла собой предпочитаемый ритм в 120 bpm (2 Гц). Во время слухового эксперимента монитор компьютера оставался серым, так же как и во время зрительного эксперимента, однако инструкции смотреть на монитор участникам исследования дано не было.

Зрительный стимул представлял собой черный круг диаметром 1.25 см, расположенный в центре экрана на светло-сером фоне для снижения контрастности и, таким образом, для снижения эффекта послеобраза. Так же как и в случае слуховых стимулов, точка возникала на 125 мс, после чего следовало 375-миллисекундное предъявление светло-серого фона. Вместе они составляли 500-миллисекундную (120 bpm, 2 Гц) базовую линию частоты для зрительного импульса.

Были использованы два экспериментально манипулируемых условия, два условия с маской, один набор проб-ловушек и контрольных проб, повторявшихся в двух модальностях. Неизмененная частота, или пробы-ловушки, были включены в эксперимент для того, чтобы участники не указывали на обнаружение изменений частоты стимула в каждой пробе, таким образом снижая привычку к догадке. Все экспериментально манипулируемые условия начинались на частоте базовой линии 500-миллисекундных интервалов (120 bpm, 2 Гц) и после как минимум семи 500-миллисекундных интервалов (но не более 14 циклов) происходило неожиданное 5-процентное увеличение или уменьшение частоты. Маскировочные пробы состояли из 20 % снижения или 30 % повышения частоты. Пробыловушки продолжались на базовой частоте без изменений. Таким образом, дизайн эксперимента был разработан по внутрисубъектному плану – 2 (модальность: зрение или слух) х 2 (направленность: снижение или повышение).

Было использовано 8 вариантов изменений частоты стимула, которые повторялись по три раза для каждого случая, что в результате равнялось 24 пробам на каждое условие для каждой модальности. Всего было проведено 24 пробы-ловушки и 50 маскировочных проб (24 повышения, 24 понижения) для каждой модальности. Изменения в частоте достигались путем сокращения или увеличения интервала тишины, или «пустых» интервалов между импульсами, в результате чего уменьшение интервала приводило к повышению частоты, и наоборот. Пятипроцентные повышения частоты соответствовали пустым интервалам в 351 мс, а 5-процентные снижения соответствовали 410 мс тишины между импульсами. Изменения происходили только один раз во время стимула. Циклы продолжались точно по 8 импульсов после конечной смены изменения частоты интервалом тишины. По этой причине промежуток времени, необходимый для обнаружения изменений, был различным для каждого из экспериментальных условий, колеблясь от 3 до 5 секунд.

В то время как каждая модальность тестировалась по отдельности, все пробы, включая маскировочные пробы и пробы-ловушки, были псевдорандомизированы.

Процедура. Участники проходили тестирование в индивидуальном порядке с помощью специального программного обеспечения E-prime (Schneider et al., 2002), использовали закрытые наушники с внешним контролем громкости во время слуховой части эксперимента, работая в звукоизолированном помещении без прерывания в течение всего эксперимента. В начале тренировочной сессии испытуемые получали инструкцию отрегулировать громкость по своему усмотрению. Половина участников начинала работу со слуховой части эксперимента, в то время как другая половина начинала со зрительной. Испытуемые получали письменную инструкцию о необходимости нажатия кнопки мыши, как только они заметят изменения в частоте стимулов. Их информировали о том, что одни пробы будут более очевидными, чем другие, в то время как некоторые пробы не будут изменяться совсем. После инструкций начиналась тренировочная сессия, в процессе которой предъявлялись одна или две пробы из каждого условия, включая маскировочные и пробы-ловушки. Каждая часть эксперимента длилась около 30 минут, и участники имели возможность сделать паузу между слуховой и зрительной частью эксперимента, так же как и после каждых 40 проб внутри каждой модальности. После завершения 120 проб участники тестировались в другой модальности. Программное обеспечение E-prime, использованное для реализации экспериментальной процедуры, обеспечивало порядок предъявления стимулов, отслеживание временных параметров, запись ответов и времени реакции (Schneider et al., 2002).

Эксперимент II. Сочетание модальностей

Участники. 21 испытуемый (3 мужчины, 18 женщин) в возрасте 20–36 лет (m= 25.3; SD= 4.7) приняли участие в исследовании. Участники со сниженным зрением надевали корректирующие линзы или очки. Один из испытуемых имел визуально заметную амблиопию, но работал успешнее, чем любой средний участник эксперимента. Никаких других пороков зрения и слуха у участников не наблюдалось. Все участники обладали небольшим музыкальным опытом или его не было как такового, что исключало попадание экспертов в группы испытуемых, решавших задачу по различению темпа. Три человека принимали участие в эксперименте I как минимум за три недели до участия в эксперименте II.

Стимульный материал и дизайн эксперимента. Единственное различие между стимулами II и I исследования заключалось в том, что зрительные и слуховые сигналы комбинировались для создания зрительно-слухового импульса, состоящего из 1.25-сантиметрового черного круга и 440 Гц тона квадратной волны контролируемой синхронности на 125 мс. Использовались те же условия (снижение/повышение), что и в эксперименте I. Никаких других изменений стимулов между экспериментами не наблюдалось. Программное обеспечение E-prime обеспечивало достижение физической симультанности и параллельное соответствие между слуховыми и зрительными стимулами каждый раз в начале пробы и при ее окончании.

Процедура. Процедура была аналогична процедуре эксперимента I, однако занимала в два раза меньше времени, около 30 минут, в связи с комбинированием модальностей. Участники получали инструкцию нажимать кнопку мыши, когда они замечали изменения частоты стимулов, при этом игнорируя те пробы (пробы-ловушки), в которых не было изменений. Экспериментатор не оказывал на испытуемых никакого влияния, т.е. не требовал обратить дополнительное внимание на стимульный материал – визуальный или аудиальный, оставляя на их усмотрение оценку изменений в частоте стимулов. Важно заметить, что такого рода инструкции и условия эксперимента обеспечивают экологический подход к проведению исследования, нивелируя искусственный характер выделения той или иной модальности и позволяя приблизить экспериментальную ситуацию к естественным обстоятельствам обычной жизни, происходящей вне лаборатории.

Результаты

Эксперимент I. Отдельные модальности

Данные по четырем участникам были исключены из рассмотрения после того, как анализ точности показал, что двое выполняли задание на уровне случайного попадания (в результате d-прайм анализа (d’) были получены показатели меньшие, чем 1.1, при всех условиях для обеих модальностей); данные других двух испытуемых были исключены из анализа в связи с тем, что последние не заметили никаких изменений ни в одном из экспериментальных условий. Следующие результаты представлены по оставшимся 16 участникам. Зависимые переменные – время реакции (ВР), количество импульсов, при которых было замечено изменение (NoP), и точность определений изменений (измеренная в процентах и d’).

Анализ ВР. Анализ времени реакции основывался только на оценке правильных ответов: для того чтобы ответ был засчитан как правильный, обнаружение изменений в частоте должно было произойти после их появления. Это позволило устранить пробы, в которых не было изменений частоты, а также пробы, где участники указывали на обнаруженные изменения сигнала преждевременно, до запрограммированного изменения частоты. ВР измерялось от момента изменения частоты каждого стимула до момента обнаружения изменения испытуемым. При повышении частоты начальный импульс предъявлялся раньше, чем в исходных циклах, что позволяло отличить повышение частоты от ее базового уровня. При уменьшении частоты, однако, начальный импульс следовал позже, чем при базовой частоте. По этой причине все значения ВР при уменьшении частоты рассчитывали путем вычитания значения величины интервалов базовых частот (375 мс) из окончательного значения ВР, поскольку невозможно обнаружить такое изменение частоты до тех пор, пока этот начальный период времени не прошел. И только после начального интервала в 375 мс частота на самом деле изменяется в сторону уменьшения, так как пустой интервал становится больше по продолжительности, и механизмы тайминга могут запустить процесс обнаружения изменения частоты. В приведенной далее табл. 1 представлены средние значения ВР и стандартное отклонение (SD) для каждого условия в обеих сенсорных модальностях.

Данные однофакторного дисперсионного анализа (ANOVA) с повторными измерениями 2 (модальность: зрительная/слуховая) х 2 (направление: уменьшение/ увеличение) среднего значения времени ВР по результатам испытуемых и стимулам согласуются с результами исследования предпочитаемого темпа (Moelants, 2002), не изменяя главного эффекта повышения или понижения, начиная со 120 bpm (2 Гц, интервал 500 мс) базовой частоты (F_i (1, 7)=0.84; p>0.7; F_s (1, 15)=0.23; p>0.8). Более того, общее обнаружение изменения частоты на слух отличалось от обнаружения в зрительной модальности (F_i (1, 7)=2.98; p>0.1; F_s (1, 15)=4.26; p>0.056). Было выявлено взаимодействие между модальностью (слуховая/зрительная) и направлением (повышение/понижение) (F_i (1, 7)=14.26; p<0.006; F _s (1, 15)=14.29; p<0.001), во-первых, показывая, что условия повышения не отличались между модальностями и, во-вторых, ВР было больше примерно на 540 мс для условия снижения в слуховой модальности, чем ВР при снижении в зрительной модальности, которое находилось по времени возле более быстрого обнаружения в условии повышения (p<0.005; тест Бонферони был использован для каждого post-hoc анализа в обоих экспериментах).

Анализ импульсов. Хотя анализ значений ВР показывает достоверные результаты, измерение числа импульсов, предъявленных между началом изменения частоты и его регистрациями, является дополнительным способом измерения ВР, проливающим свет на многие механизмы восприятия времени и в особенности на характеристики процессов познания и природу музыкального процесса. ВР само по себе не может описать, как много стимулов-циклов должно понадобиться для обнаружения изменения в частоте. Кроме того, анализ импульсов является более подходящим для разработки когнитивных моделей различения длительностей, поскольку именно они являются моделями измерения накопленных импульсов. Кроме того, тот факт, что изменение частоты происходило только один раз в пробе во время наблюдения, а также то обстоятельство, что среднее значение ВР значительно превышало значения времени одного или двух циклов каждой частоты, служат доказательством того, что регистрация изменения частоты представляет собой целостное явление, а не только прямое сравнение каждого цикла. Таким образом, можно говорить, что NоP является более универсальной единицей анализа данных по обработке временных параметров для подобного рода экспериментов с циклическим дизайном, поскольку эксплицитно выявлено, что необходимо некоторое число циклов, прежде чем будет достигнута уверенность и будет послан сигнал об обнаружении изменения частоты. Хотя результаты измерения ВР и NоP должны совпадать, между ними остается некоторая разница, связанная со способом измерения каждой из переменных. Подсчет количества циклов между сигналом и обнаружением изменения дает целое число, тогда как ВР измеряется с точностью до миллисекунды. Например, если испытуемые обнаруживали изменение после шестого цикла, то наблюдалась дисперсия ВР до 400 мс в зависимости от того, когда произошло обнаружение в пустом интервале. Далее, в условиях уменьшения частоты будет происходить меньшее количество циклов в определенный промежуток времени, чем в условиях увеличения частоты, а также по сравнению с базовой частотой. Эти различия должны учитываться при сравнении с литературными данными, где используются другие системы измерения. Будущие исследования выиграют от использования обоих способов измерения.

Количество импульсов, необходимых для обнаружения изменения частоты, было проанализировано для случаев, когда давались правильные ответы только с использованием того же набора проб, что и при анализе ВР. Импульсы считали после первого изменения в пустом интервале. В табл. 1 представлены средние значения NoP и SD при каждом условии для обеих сенсорных модальностей. Однофакторный дисперсионный анализ (ANOVA) 2 (модальность: зрительная/слуховая) х 2 (направление: понижение/повышение) для средних NoP по стимулам и испытуемым согласуется с результатами по ВР, свидетельствуя об отсутствии главного эффекта для направления изменения частоты (повышение/понижение) (F_i (1, 7)=0.90; p> 0.3; F_s (1, 15)=1.78; p>0.2) и модальности (слуховая/зрительная) (F_i (1, 7)=2.27; p>0.1; F_s (1, 15)=3.11; p>0.09). Что же касается дальнейшего соотнесения результатов с показателями ВР, то в данном случае взаимодействие между модальностью (слуховая/зрительная) и направленностью изменений частоты (увеличение/ уменьшение) (F_i (1, 7)=14.95; p<0.006; F_s (1, 15)=16.324; p<0.001) привело к большему значению NоP для условия уменьшения частоты при использовании слуховой модальности по сравнению с другими условиями, хотя различия в тех же показателях, но при условии использования зрительной модальности, не были значимыми. Это небольшое расхождение скорее всего произошло из-за особенностей измерения NоP, в результате которого было получено больше импульсов для условия увеличения частоты по сравнению с условием ее уменьшения.

Таблица 1. Средние и стандартные отклонения

Точность. Процент правильных обнаружений, а также d-прайм (d’) оценки учитывались при анализе точности, в то время как сами измерения анализировались отдельно. Здесь процент правильных ответов определяется как процент экспериментальных проб, где участники обнаруживали изменение после изменения частоты. В теории обнаружения сигналов они известны как проценты правильных ответов («попаданий»). Для того чтобы ответ считался правильным, обнаружение должно было произойти после экспериментально манипулируемого изменения частоты и до окончания предъявления стимула, а именно в течение 8 циклов после изменения частоты. Так как d-показатели соответствуют измерениям точности, они не представлены в этой статье. Из-за дизайна обоих экспериментов процент правильных ответов является более подходящим измерением, чем d’.

Шестнадцать участников выполняли по 240 проб каждый, что в сумме дало 3840 проб. Контрольные условия или пробы-ловушки составили 768 из этих проб, в то время как маскировочные условия составили 1536 проб. Остальные 1536 проб были пробами независимых переменных. Из контрольных условий без изменения частоты 78 % случаев (598 проб) были правильно отклонены. От проб с изменением частоты в 43 % случаев (660 проб) изменения были обнаружены, 48 % (731 проба) были пропущены участниками и в 9 % случаев (145 проб) ответ об обнаружении давался до экспериментально манипулируемого изменения частоты. Хотя эти цифры, казалось бы, могут быть описаны лишь на уровне вероятности случайного события, следует отметить, что в подобных исследованиях (Jongsma, 2007) 5-процентные изменения от аналогичной базовой частоты были зарегистрированы. Пятипроцентное изменение частоты не так легко регистрируется даже профессиональными музыкантами (Danz, Janyan, 2009). Для сравнения с гораздо более простыми маскировочными пробами лишь добавим, что 30 % увеличения были обнаружены с 84-процентной точностью, а 20 % уменьшения – с 85-процентной точностью.

Однофакторный дисперсионный анализ (ANOVA) 2 (модальность: зрительная/слуховая) х 2 (направление: уменьшение/увеличение) с повторными измерениями средней точности по участникам и условиям показал главный эффект направления (увеличение/ уменьшение), в результате чего большая точность наблюдалась при условии повышения частоты (F_i (1, 7)=427.25; p=0.000; F_s (1, 15)=50.83; p=0.000). Главный эффект модальности был также обнаружен (слух/зрение), в результате чего большая точность наблюдалась для слуховой модальности (F_i (1, 7)=14.96; p<0.006; F_s (1, 15)=19.23; p<0.005). Взаимодействия между модальностями и направлением тоже объясняют эти главные эффекты (F_i (1, 7)=427.25; p=0.000; F_s (1, 15)=63.67; p=0.000), так как точность обнаружения увеличений в слуховой модальности намного превосходит другие условия. Прослушивание с обнаружением 5-процентного увеличения в среднем выполнялось с 75-процентным успехом (p=0.000), в то время как во всех остальных условиях различение выполнялось на уровне случайной вероятности (24–38 %). Среди этих условий снижение в слуховой модальности приводило к самой низкой точности в 24 % (p<0.03).

Эксперимент II. Сочетание модальностей

Данные по трем участникам были исключены из анализа после того, как расчеты точности показали эффективность распознавания ниже уровня случайной вероятности, по крайней мере, в одном из условий; кроме того, данные двух участников были также исключены из анализа для согласования показателей с экспериментом I. Нижепредставленные результаты получены по оставшимся 16 участникам.

Однофакторный дисперсионный анализ с повторными измерениями (ANOVA) среднего ВР по участникам и условиям (F_i (1, 7)=7.63; p<0.002; F_s (1, 15)=6.47; p<0.002) показал главный эффект направленности (увеличение/уменьшение), что привело к более быстрому обнаружению уменьшения в среднем примерно на 250 мс. Анализ NoP показал отсутствие эффекта (F_i (1, 7)=2.27; p>0.1; F_s (1, 15)=1.46; p>0.2), так как также не было обнаружено эффекта при анализе точности с помощью ANOVA (F_i (1, 7)=0.01; p>0.9; F_s (1,15)=0.002; p>0.9).

Обсуждение

Большинство исследований мультимодальной обработки интервалов времени ставят сенсорные репрезентации в конкурентную позицию по отношению друг к другу для того, чтобы определить, какой именно способ восприятия и обработки информации о времени более предпочтителен. Один глаз может видеть лучше, чем другой, но при этом оба глаза вносят существенный вклад в восприятие. Кроме того, время воспринимается динамически разными органами чувств, более того, могут быть задейстовананы даже телесные ощущения, формируемые вестибулярной системой (Trainor et al., 2009), походка и паттерны движений, ритм сердца, циклы дыхания и сна в целях получения сознательного опыта касательно того, что, как утверждает Ньютон, «протекает равномерно и без всякого отношения к чему-либо внешнему».

В нашем исследовании факторы различения временной частоты с применением мультимодальной обработки, напротив, изучались в условиях параллельного и согласованного предъявления стимульного материала и в то же время их показатели сравнивались с успешностью выполнения задачи в разных сенсорных модальностях изолированно. Условия 5-процентного изменения частоты от базовой частоты в 2 Гц считаются довольно трудно обнаружимыми, однако это условие было использовано и в других исследованиях (Jongsma, 2007). В отдельных модальностях данные в этом исследовании находятся в противоречии с выводами теории «предпочтительного темпа» (Moelants, 2002) в том, что обнаружения частоты в слуховой модальности при увеличении по сравнению с базовой частотой 120 bpm выявились гораздо более точно, чем при уменьшении, хотя ВР между этими условиями отличается несущественно, за исключением немного более быстрого обнаружения уменьшения в зрительной модальности (см. табл. 1). Благодаря силе слухового обнаружения 5-процентного увеличения слуховая модальность превосходит зрительную в точности обнаружения сложных условий, что соответствует выводам большой части исследований, результаты которых указывают на превосходство слуховой системы при восприятии времени перед зрительной. Однако, когда эти модальности были представлены параллельно без конкуренции, доминирование слуховой системы прекращалось, что привело к точности обнаружения между условиями увеличения и уменьшения, которое варьировалось менее 1 % и находилось на уровне случайной вероятности. Хотя явление «слухового вождения» продемонстрировало способность слуховой системы преодолевать несовместимость частот зрительной модальности, когда эти бимодальные восприятия представлены параллельно, слуховая система теряет свою главенствующую позицию. Кроме того, условие снижения для слуховых и зрительных модальностей привело в среднем к очень низкой точности (24 и 34 % соответственно) в эксперименте I. Однако в эксперименте II, с сочетанием прослушивания и зрения, эти средние показатели почти удвоились до 53 % в обоих условиях. Это не может быть объяснено с помощью «слухового вождения», так как только прослушивание привело к значительно меньшей точности, чем прослушивание в сочетании со зрительным предъявлением. Это может указывать на интегративные эффекты мультимодального восприятия и вести к опровержению модально специфичных гипотез. Кроме того, это является поддержкой гипотезы «распределенной временной системы», ответственной за баланс внимания между модальностями.

Что касается ВР, зрительная модальность регистрировала сокращение в частоте примерно на 300 мс быстрее, чем ее увеличение, в то время как слуховое обнаружение существенно не отличается между этими двумя условиями, но зарегистрированные обнаружения снижения происходили более чем на 500 мс позже, чем при зрительном предъявлении. При совмещении модальностей визуальный артефакт сохранялся, так как уменьшения обнаруживались примерно на 250 мс в среднем быстрее, чем увеличения (см. табл. 1). Еще раз отметим: слуховая интеграция со зрительной системой улучшала определение временных изменений частоты по сравнению с изолированным прослушиванием.

Хотя слух, видимо, доминирует в восприятии частоты в условиях изоляции или в ситуации сенсорного конфликта, параллельные и конгруэнтные мультимодальные взаимодействия обеспечивают более комплексную и динамическую репрезентацию времени. Многие модели оценки воспроизведения и обнаружения времени используют понятие внутреннего пейсмейкера и счетчика, однако результаты нашего исследования ослабляют достоверность этих моделей. Даже тогда, когда компоненты модели учитывают сложность стимулов, результаты модели не соответствуют человеческой деятельности. Поскольку не было никакой конкуренции между слухом и зрением, бимодальные стимулы лишь добавляли информацию, при этом ослабляя слуховое обнаружение увеличения частоты. На сегодняшний день время еще не было локализовано в физическом мире, однако многие ученые стремятся локализовать время в головном мозге. Возможно, существует так же много механизмов времени, как и различий стимулов, что приводит к развитию опыта, связанного с оценкой времени.

1. Bushara K. O., Grafman J., Hallett M. Neural correlates of auditory-visual onset asynchrony detection // The Journal of Neuroscience. 2001. V. 21. № 1. P. 300–304.
2. Calvert G. A., Hansen P. C., Iverson S. D., Brammer M. J. Detection of audio-visual integration sites in humans by application of electrophysiological criteria to the BOLD effect // NeuroImage. 2001. № 14. P. 427–438.
3. Danz A., Janyan A. Detecting audio-video tempo discrepancies between conductor and orchestra // Proceedings of the 31th Annual Conference of the Cognitive Science Society / Eds. N. A. Taatgen, H. van Rijn. Austin, TX: Cognitive Science Society. 2009. P. 3064–3069.
4. Fraisse P. Timing and rhythm perception // Handbook of Perception / Eds. E. C. Carterette, M. P. Friedman. New York: Academic. 1978. P. 8:203–254.
5. Fraisse P. Influence de la duree du traitement de I’information sur I’estimation du’une duree d’une secondc [Influence of the duration of course of information on estimation of seconds] // Annee Psychol. 1979. № 79. P. 495–504.
6. Gebhard J. W., Mowbray G. H. On discriminating the rate of visual flicker and auditory flutter // American Journal of Psychology. 1959. № 71. P. 521–528.
7. Hinshaw G. et al. Five-year Wilkinson microwave anisotropy probe observations: data processing, sky maps, and basic results // The Astrophysical Journal Supplement Series. 2009. V. 180. № 2. P. 225–245.
8. Hirsh I. J., Fraisse P. Simultanéité et succession de stimuli hétérogènes [Simultaneity and succession of heterogeneous stimuli] // L’Année Psychologique. 1964. № 64. P. 1–19.
9. Hirsh I. J., Sherrig C. E. Perceived order in different sense modalities // Journal of Experimental Psychology. 1961. № 62. P. 23–432.
10. Hylan J. P. The distribution of attention // Psychological Review. 1903. V. 10.№ 4. P. 373–403.
11. Ivry R. B. The representation of temporal information in perception and motor control // Current Opinion in Neurobiology. 1996. № 6. P. 851–857.
12. Jongsma M. L. A., Meeuwissen E., Vos P. G., Maes R. Rhythm perception: Speeding up or slowing down affects different subcomponents of the ERP P3 complex // Biological Psychology. 2007. V. 75. № 3. P. 219–228.
13. Lichtenstein M. Phenomenal simultaneity with irregular timing of components of the visual stimuli // Perceptual and Motor Skills. 1961. № 12. P. 47–60.
14. Lombardi M. A. Why is a minute divided into 60 seconds, an hour into 60 minutes, yet there are only 24 hours in a day? March, 2007. Retrieved from the World Wide Web: http://www.scientificamerican.com.
15. Luck G., Sloboda J. Synchronizing with complex biological motion: An investigation of musicians’ synchronization with traditional conducting beat patterns // Music Performance Research. 2007. V. 1. № 1. P. 26–46.
16. Macar F., Lejenne H., Bonnet M., Ferrara A., Pouthas V., Videl F., Maquet P. Activation of the supplementary motor area and attentional networks during temporal processing // Experimental Brain Research. 2002. № 142. P. 475–485.
17. Meck W. Neuropharmacology of timing and time perception // Cognitive Brain Research, 1996. № 3. P. 227–242.
18. Moelants D. Preferred tempo reconsidered. Proceedings of the 7th International Conference on Music Perception and Cognition, Sydney. 2002.
19. Moutoussis K. Z., A direct demonstration of perceptual asynchrony in vision // Proceedings of the Royal Society of London, Biology. 1997. № 264. P. 393–399.
20. Newton I. Scholium to the definitions in philosophiae naturalis principia mathematica, BK 1; trans. Andrew Motte (1729), rev. Florian Cajori, Berkeley: University of California Press, 1934.
21. Pöppel E. A hierarchical model of temporal perception // Trends in Cognitive Sciences. 1997. V. 1. № 2. P. 56–61.
22. Rao S. M., Mayer A. R., Harrington D. L. The evolution of brain activation during temporal processing // Nature Neuroscience. 2001. V. 4. № 3. P. 317–323.
23. Schneider W., Eschman A., Zuccolotto A. E-Prime user’s guide. Pittsburgh: Psychology Software Tools Inc. 2002.
24. Schubotz R., Friederici A., von Cramon Y. Time Perception and motor timing: a common cortical and subcortical basis revealed by fMRI // NeuroImage. 2000. № 11. P. 1–12.
25. The International System of Units (SI) / Eds. A. Thompson, B. N. Taylor. National Institute of Standards and Technology Special Publication. 2008. 330 2008 edition. Section 2.1.1.3.
26. Trainor L. J., Gao X., Lei. J., Lehtovaara K., Harris L. R. The primal role of the vestibular system in determining musical rhythm // Cortex. 2009. № 45. P. 35–43.
27. Treisman M. Temporal discrimination and the indifference interval. Implication for a model of the ‘internal clock // Psychological Monographs. 1963. V. 77. № 13.
28. Van Noorden L., Moelants D. Resonance in the perception of musical pulse // Journal of New Music Research. 1999. V. 28. № 1. P. 43–66.
29. Welch R. B., DuttonHurt L. D. Contribution of audition and vision to temporal rate perception // Perception and Psychophysics. 1986. V. 39. № 4. P. 294–300.