Восприятие речи зависит не только от их звуковой составляющей, но и от других сигналов

Выражение лица, с которым вы слушаете собеседника, влияет на то, как и что вы слышите. Демонстрация «обратной» связи между мимикой и звуком свидетельствует в пользу теории, согласно которой при восприятии речи мы беззвучно повторяем всё, что слышим.

На первый взгляд, само понятие «улыбка» относится к зрительным образам. Подумаешь об улыбке, и перед глазами становятся поднятые уголки губ и сборка довольных мелких морщинок, собирающихся у глаз улыбающегося. Однако каждому из нас удавалось и слышать улыбку, и почти все могут со стопроцентной уверенностью почувствовать, улыбнулся ли телефонный собеседник, завершая разговор традиционным «Пока!».

Конфигурация лицевых мускулов, безусловно, влияет на произносимый звук и даже определяет отличия между некоторыми близкими звуками в разговоре. Однако выражение на лице меняет лишь очень и очень тонкие детали в амплитудно-частотной характеристике того или иного звука. И всё-таки благодаря тому, что с самого рождения мы постоянно находимся в мире речи и непрерывно сравниваем звучание наших собственных слов с ощущением выражения нашего собственного лица, со временем появляется умение практически безошибочно распознать и часто перенять эмоции по одному лишь звучанию слов – даже ничего не значащих.

Как выяснили американские и канадские психофизиологии под руководством профессора Давида Острого из Университета имени Макгилла в Монреале, этот процесс работает и в обратном направлении – выражение лица слушателя влияет на распознание звуков, которые он слышит.

Так что когда в следующий раз разъярённый шеф вызовет вас на ковёр, постарайтесь смотреть ему в глаза и тупо улыбаться, выслушивая обрушивающуюся на вас критику. И может быть, в вашем сознании она превратится в похвалу, а шеф для вас будет излучать благодушие.

Острый и его коллеги изучили влияние соматосенсорных сигналов от кожи и мускулов лица на различение слов 75 носителями американского английского при насильственной манипуляции выражением их физиономий. Результаты этой работы опубликованы в последнем номере Proceedings of the National Academy of Sciences.

В качестве пары слов, которую требовалось различить, выступали head («голова») и had (форма прошедшего времени глагола «иметь»). Между ним учёные при помощи программы компьютерного синтеза звуков построили целую лесенку из десяти ступенек, постепенно меняя звучание от несомненного head к несомненному had через слова, которые даже носители языка могли услышать и так, и эдак. От подопытных, собственно, требовалось указать, какое слово они услышали через наушники. Слова эти проигрывали в случайном порядке, а результаты по всем участникам эксперимента перед анализом слили воедино.

«Машина ужимок» Давида Острого и его коллег. На лицо испытуемого (A) прикрепляются тонкие пластиковые полоски (B), к которым присоединены тросики, соединённые через перемещаемые неподвижные блоки (C) со станком (D), контролирующим натяжение нитей. // National Academy of Sciences.

Для насильственной манипуляции выражением лица участников эксперимента Острый и его коллеги построили специальный аппарат, чем-то напоминающий гибрид токарного станка с программным управлением, бормашины из зубного кабинета и творений безумных учёных в стиле кубриковского «Заводного апельсина». К уголкам губ испытуемых исследователи приклеили по пластиковой полоске размерами 2 см на 3 см, а уже к этим полоскам прицепили небольшие тросики, натяжением которых управлял компьютер. Направление натяжения настраивалось отдельно – перемещением неподвижных блоков, через которые были перекинуты тросы. Такое нехитрое приспособление и 4 Н силы натяжения (примерно 400 грамм-сил) позволяло за доли секунды оттягивать кожу на 10–15 мм в нужном направлении – вверх, вниз или к затылку.

На шкале head – had, которую Острый и его коллеги называют равномерной (не уточняя, впрочем, в какой метрике), самыми интересными оказались градации с 4-й по 7-ю. Первые три и последние три звука в 100% случаев все испытуемые определили как head и had соответственно. А вот промежуточные звуки участники эксперимента определяли неуверенно, нажимая на экране компьютера то кнопку head, то кнопку had. Результатом эксперимента была зависимость частоты ответа had от номера звука и вписанная в неё логистическая кривая.

Первый эксперимент был контрольным – никакого оттягивания не было. А вот во втором кожу подопытных потянули вверх – ровно туда, куда преимущественно смещаются уголки губ американцев при произнесении слова head.

И точки на графике тут же сползли вниз – услышать в неясном звуке head стало проще.

В противоположном случае – при смещении уголков губ вниз, как это происходит при произнесении had, именно слово had слышалось подопытным чаще. Оттягивание губ к затылку не меняло результаты сколько-нибудь значимо.

Относительная частота определения слова had в паре head/had как функция положения звука на «равномерной» шкале head-had. При контрольном эксперименте растягивание лица не производилось, при основном – уголки губ оттягивались вниз.
Во врезе: влияние направление растягивания лица на среднюю частоту определения слова had (A) и на пересечение вписанной логистической кривой с медианным уровнем (B). // National Academy of Sciences.

Учёные также проверили, как на результаты влияет продолжительность такой соматосенсорной стимуляции. Они сравнили эффект постоянного натяжения, синусоидального подтягивания с периодом около 0,1 секунды и такого же периодического подтягивания, но с периодом 0,3 секунды, примерно соответствующим продолжительности звучания слов head/had в эксперименте. Наверное, неудивительно, что наибольшего результата удалось добиться именно в последнем эксперименте. Наименьшего – при очень быстрых подёргиваниях кожи, статический эффект занял промежуточное место.

Результаты опытов напрямую показывают, что восприятие речи зависит не только от их звуковой составляющей, но и от других сигналов, которые часто сопровождают звуки вне стен лаборатории.

Где в мозге происходит эта интеграция различных импульсов, учёные сказать не могут.

Согласно одной из теорий, восприятие речи неизбежно включает «повторение» услышанного в тех частях коры больших полушарий, которые ответственны за синтез речи, просто без вывода на исполнительные органы – мышцы, управляющие движением связок, языка, губ и так далее. Результаты опытов Острого и его коллег находятся в согласии с этой гипотезой, хотя ни в коем случае напрямую её не подтверждают. По мнению учёных, объединение разных сигналов может происходить и на более низком, подкорковом уровне – например, в верхнем бугорке, участие которого в объединении сигналов от различных органов чувств давно установлено.

Автор: Владимир Грамм