Перейти к основному содержанию

Современная зарубежная психология
2024. Том 13. № 1. С. 92–100
doi:10.17759/jmfp.2024130108
ISSN: 2304-4977 (online)

Функция временного отклика — новый метод исследования нейрофизиологических механизмов восприятия речи в экологически валидных условиях

9

Рогачев А.О., Сысоева О.В.

PDF (RUS)
Подкаст
GS
Информация
в Google Scholar

Аннотация

Функция временного отклика — новый метод, который позволяет исследовать мозговые механизмы восприятия естественной, натуралистической речи. В отличие от других методов изучения мозговой активности (например, вызванных потенциалов), функция временного отклика не требует предъявления большого количества однотипных стимулов для получения устойчивого мозгового ответа — в экспериментальных парадигмах могут использоваться записи обычной нарративной речи длительностью от 10 минут, что повышает их экологическую валидность. С помощью функции временного отклика можно изучать мозговые механизмы онлайн-обработки различных компонентов естественной речи: акустического (физические свойства аудиосигнала, такие как огибающая и спектрограмма), фонологического (отдельные фонемы и их сочетания), лексического (контекстуальные характеристики отдельных слов) и семантического (смысловое значение слов), а также взаимодействие между механизмами обработки этих компонентов. В статье приводится история появления метода, обосновываются его преимущества в сравнении с другими методами и показаны ограничения, математическая основа, особенности выделения компонентов естественной речи, а также дается краткий обзор основных исследований с применением данного метода.

Общая информация

Ключевые слова: функция временного отклика (ФВО), ЭЭГ, речь, мозговые механизмы, натуралистические стимулы, экологическая валидность

Рубрика издания: Нейронауки и когнитивные исследования

Тип материала: научная статья

DOI: https://doi.org/10.17759/jmfp.2024130108

Финансирование. Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации (Соглашение № 075-10-2021-093; Проект COG-RND-2262).

Получена: 31.01.2024

Принята в печать:

Для цитаты: Рогачев А.О., Сысоева О.В. Функция временного отклика — новый метод исследования нейрофизиологических механизмов восприятия речи в экологически валидных условиях [Электронный ресурс] // Современная зарубежная психология. 2024. Том 13. № 1. С. 92–100. DOI: 10.17759/jmfp.2024130108

Подкаст

Полный текст

Введение

Актуальной задачей фундаментальной и практической психофизиологии является изучение нейрофизиологических процессов, лежащих в основе речи. К настоящему времени при помощи различных методов нейровизуализации накоплено большое количество данных о мозговых механизмах речи. Однако остаются дискуссионными вопросы о локализации этих механизмов, об их функционировании в норме и патологии и развитии в онтогенезе [4].
Одним из наиболее популярных способов изучения мозговых механизмов речи является электроэнцефалография (ЭЭГ) — метод неинвазивной регистрации электрической активности мозга. Несмотря на преимущества метода ЭЭГ (высокое временное разрешение данных, относительная простота и невысокая стоимость использования), у него есть ряд ограничений. Часто в исследованиях с использованием ЭЭГ производится регистрация вызванных потенциалов (ВП) — усредненных ответов мозга на определенные категории стимулов. Метод ВП заключается в многократном предъявлении стимула и последующем усреднении эпох записи ЭЭГ, связанных с этим стимулом. В полученных ВП выделяют компоненты — относительно устойчивые паттерны сигнала, отражающие этапы сенсорной и когнитивной обработки стимула [28].
Для получения устойчивого вызванного ответа мозга необходим особый дизайн эксперимента: стимулы должны быть уравнены по множеству параметров (например, по длительности, громкости, длине, смыслу) и предъявляться изолированно друг от друга (отдельные слова на экране или аудиально через фиксированные временные интервалы). Наконец, необходимо многократное предъявление стимулов (как минимум несколько десятков раз), что может привести к их запоминанию или привыканию к ним и повлиять на результаты. В совокупности, перечисленные требования накладывают значительные ограничения на дизайн исследования и на возможности интерпретации результатов. Так, обзоры выявляют противоречия в данных исследований речевых процессов при помощи метода ВП и ставят вопросы о корректности связывания компонентов ВП с этапами обработки речевой информации [26; 31].
Кроме того, в обозначенных экспериментальных условиях возникает проблема низкой экологической валидности — отношения между объектами реального мира и их репрезентациями в экспериментах [30]. Речевой стимульный материал в лабораторных исследованиях с применением ВП зачастую не похож на обычную, естественную речь, что затрудняет получение данных о функционировании мозга в условиях реальной жизни. Решением указанных методических проблем может выступать использование натуралистических стимульных материалов, набирающих популярность в последние годы [13], а также применение новых подходов к анализу мозговой активности в процессе восприятия речи.
Одним из подходов, позволяющих рассматривать активность мозга при восприятии естественной речи, является изучение нейронного отслеживания (neural tracking) — феномена синхронизации между стимулом и мозговой активностью [8]. История этого подхода берет начало в инженерных методах идентификации систем, определяющих внутреннее устройство системы через анализ связи ее входных и выходных параметров. В контексте исследований мозга, по входным (стимул) и выходным (мозговая активность) параметрам определяются те преобразования (сенсорная и когнитивная обработка), которые совершаются нервной системой при восприятии стимула [27]. В рамках данного подхода большую популярность имеет функция временного отклика (temporal response function, TRF, ФВО) — метод математического анализа активности мозга при восприятии продолжительного натуралистического стимула [27]. Метод ФВО разрабатывался для анализа данных электрической активности мозга при восприятии натуралистических стимулов — аудиозаписей естественной речи (сказок и рассказов, подкастов и т. д.) — и позволяет изучать механизмы обработки различных компонентов стимулов: акустических, лексических и семантических [24].
Таким образом, цель данной статьи — рассмотреть методические основы ФВО и возможности применения этого метода для многоуровневого анализа мозговой активности при восприятии речи, а также представить обзор основных исследований с использованием метода. Актуальность настоящего обзора заключается в том, что информация о методе ФВО и исследования с его применением не представлены на русском языке.

Методические основы функции временного отклика

Задача вычисления ФВО заключается в определении того, как входные параметры системы связаны с ее выходными параметрами. В контексте исследований речи — это определение связи между изменениями характеристик слухового стимула (например, огибающей аудиозаписи, содержащей речь) и соответствующими изменениями нейрофизиологического сигнала (например, ЭЭГ) [8]. Математически, эти параметры представимы в виде временных рядов: s(t) является стимульной характеристикой в момент времени t, а r(t,n) — нейрофизиологический ответ, также зарегистрированный в момент времени t по каналу n.
Существуют два вида ФВО: модели прогнозирования (или прямая модель ФВО, forward model), а также декодирующие модели (или реверсивная модель ФВО, backward model).

Математическая основа прямой модели ФВО

Вычисление прямой модели ФВО заключается в решении уравнения
s(t) * w(t, n) = r(t, n)                                                                                                             (1)
где * — оператор линейной свертки, а w(t,n) — функция временного отклика, сопоставляющая изменения характеристик стимула в момент времени t с одновременными или отложенными изменениями нейрофизиологического сигнала по каждому из каналов [27]. Иначе говоря, прямая модель ФВО описывает изменения, происходящие в мозговой активности (например, полученные с помощью ЭЭГ, магнитоэнцефалографии или неинвазивной стимуляции), возникающие в ответ на изменения в характеристиках стимула.
Вычисление ФВО, аналогично вычислению ВП, производится в заданном временном окне от точки  до  — например, от –200 до 600 мс. В отличие от ВП, под текущим ответом (0 мс) понимается не момент предъявления стимула, а непосредственное влияние текущих изменений характеристик стимула на текущие изменения нейрофизиологического сигнала. Значение прямой модели ФВО в точке ­–200 мс будет показывать, отражаются ли изменения сигнала в текущий момент в мозговой активности, предшествующей этому изменению. Это возможно, например, если стимул был предсказуемым и ожидаемым, но обычно этот период берут для формирования референтных значений подобно тому, как это делается для классического ВП. Значение в точке 600 мс соответственно отражает влияние изменений стимула на мозговой ответ через 600 мс после произошедших изменений, и так далее [27].
Для вычисления прямой модели ФВО в заданном временном окне временной ряд стимула s(t) преобразуется в матрицу временных задержек S. Количество строк в этой матрице будет совпадать с длительностью стимула, умноженной на его частоту дискретизации, а количество столбцов — с шириной заданного окна. Элементы матрицы будут представлять собой значения характеристики стимула в каждой временной точке, сдвинутые относительно друг друга в рамках временного окна. Таким образом, уравнение 1 можно выразить в матричном виде:
Sw = R                                                                                                                            (2)
Для нахождения ФВО часто используется метод обратной корреляции [27], который заключается в решении уравнения
w = (STS)–1STR                                                                                                           (3)
Итоговая матрица w, или функция временного отклика, будет демонстрировать зависимость изменений нейрофизиологического сигнала от изменений характеристики стимула [25]. Важно отметить, что ФВО вычисляется путем поэлементной (leave-one-out) кросс-валидации: набор данных разделяется на обучающую и тестовую части (обычно в соотношении 4 к 1). Тестовая часть набора данных используется для проверки эффективности модели и ее способности предсказывать сигнал ЭЭГ. Для этого путем линейной свертки осуществляется решение уравнения 2, из чего получается нейрофизиологический сигнал в ответ на заранее известный стимул. Затем рассчитывается коэффициент корреляции между известным сигналом и сигналом, предсказанным моделью. Полученное значение — коэффициент прогнозирования — является основной метрикой эффективности прямой модели ФВО и показывает то, насколько хорошо модель может предсказывать нейрофизиологический ответ. Содержательно коэффициент прогнозирования отражает степень нейронного отслеживания данного компонента стимула [17; 27].

Математическая основа реверсивной модели ФВО

Прямая модель ФВО позволяет предсказывать нейрофизиологический ответ на заранее известные изменения характеристик стимула. Однако ФВО может использоваться также и для декодирования стимула из нейрофизиологического сигнала. Для этого в уравнении 3 можно заменить стимульную матрицу временных задержек на аналогичную матрицу, содержащую нейрофизиологические данные:
w = (RTR)–1RTS                                                                                                          (4)
Остальные этапы аналогичны описанным выше для прямой модели. Матрица w (реверсивная модель ФВО) отражает вес каждого канала регистрации сигнала в реконструкции характеристики стимула [27].

Пример дизайна эксперимента по исследованию естественной речи и подготовка стимульных материалов

Большим преимуществом использования ФВО является довольно простой дизайн экспериментов. Поскольку ФВО учитывает различные компоненты стимулов (акустический, фонетический, лексический и семантический), возможно использовать аудиозаписи, которые максимально приближены к естественной речи, например, аудиосказки или подкасты. Зачастую для контроля внимания участников исследования к задаче прослушивания речевого стимула добавляют поведенческую задачу: ответить на вопросы на понимание прослушанного, повторять определенные предложения спустя заданное время и т. д. [17].
Содержание аудиостимула должно соответствовать целям исследования и особенностям изучаемой группы людей. Часто важно, чтобы аудиостимулы были сбалансированы по фонематическим и лингвистическим характеристикам — иначе говоря, репрезентировали естественную речь: имели ту же пропорцию фонем в словах, что и в обычной речи, не были слишком сложными для восприятия и т. д. Предпочтительно, чтобы в аудиозаписи отсутствовали длительные (более 300 мс) промежутки тишины между словами или предложениями; их удаление из записей возможно на этапе подготовки аудиосигнала. Громкость всех стимулов должна находиться на оптимальном для восприятия уровне (обычно это 60—70 дБ). Резкие перепады громкости могут помешать эффективной работе алгоритма ФВО, поэтому важно, чтобы аудиозаписи были записаны спокойным голосом, с равномерной интонацией на протяжении всей записи [17]. Длительности стимульного материала порядка 10—20 минут обычно хватает для получения устойчивых моделей ФВО [17]. Однако часто в исследовании требуется сопоставление моделей, полученных в разных условиях, поэтому длительность эксперимента обычно гораздо больше.

Выделение компонентов стимулов

В продолжительном, натуралистическом аудиостимуле можно выделить несколько компонентов: акустический, фонетический, лексический и семантический.
Акустический компонент отражает изменения интенсивности (громкости) аудиосигнала во времени, величины и экстремумы этих изменений. Часто в исследованиях используют огибающую аудиосигнала (отфильтрованную в определенном диапазоне частот или широкополосную). Исследования демонстрируют, что уровень нейронного отслеживания огибающей коррелирует с пониманием речи, а особенности отслеживания огибающей в различных частотных диапазонах может выступать маркером речевых нарушений [2].
Огибающая аудиосигнала, как и сам аудиосигнал, является непрерывной и поэтому может использоваться в реверсивных моделях ФВО с целью ее декодирования из ЭЭГ [27]. Фонетический, лексический и семантический компоненты дискретны, так как связаны с возникновением внутри стимула отдельных речевых единиц — например, фонем и слов. Для их использования требуется предварительная разметка стимула с выделением временной точки начала каждого слова или фонемы. Затем в векторе стимула (см. уравнение 1) на этой точке размещается определенное значение, которое будет отражать фонетические, лексические или семантические особенности данной единицы речи. Остальные значения в векторе должны равняться нулю. Далее этот вектор подается в ФВО.
Самым простым таким значением является любое ненулевое значение, одинаковое для каждой фонемы или каждого слова — такая характеристика стимула позволит изучить нейронное отслеживание начала фонемы или слова (что аналогично ВП на начало фонемы или слова). Однако преимуществом ФВО является возможность отдельно разметить разные фонемы или их классы (например, гласные и согласные) или слова (по их морфологическим свойствам, частям речи и т. д.) и таким образом сопоставить мозговую активность при восприятии разных классов слов и фонем.
В исследованиях широко используются и другие лингвистические характеристики [22]. Например, на точку начала каждого слова можно поместить значение частотности его употребления — абсолютное (в корпусе языка) или относительное (в данном тексте) [20]. Возможно использование и семантических значений: семантических расстояний, сходств или несходств между словами в предложении [12].
Таким образом, из одного натуралистического стимула — 10—20-минутной аудиозаписи речи — возможно извлечение различных компонентов, связанных как с его физической «формой», так и с лексическим и смысловым содержанием.

Основные исследования нейронного отслеживания речи с использованием функции временного отклика

Исследования акустических компонентов речи

В первых исследованиях нейронного отслеживания речи предпринимались попытки реконструировать акустическую информацию из записей ЭЭГ при помощи реверсивной модели ФВО. Работы демонстрируют высокую способность моделей к реконструкции, как огибающей речевых стимулов [6; 9; 32], так и спектрограммы сигнала [23]; точность реконструкции стимулов достигала 90%, что говорит о высокой эффективности метода.
Дальнейшие исследования показали, что уровень нейронного отслеживания огибающей речевого сигнала связан с пониманием прослушанной речи. Так, в экспериментах, в которых варьировалось соотношение «сигнал—шум» в стимуле, было установлено, что со снижением этого соотношения (т. е. с ухудшением разборчивости речи) снижались как нейронное отслеживание и понимание прослушанного, так и выраженность компонентов ФВО [5; 9; 19].
Также проводилось сравнение слухового ответа ствола мозга на простые высокочастотные стимулы (щелчки) и на естественную речь (из мультфильма). Показано, что формы стволовых ответов на оба вида стимулов не отличаются друг от друга, что дает возможность оценивать стволовую активность в экологически валидных условиях [18].
В исследовании Калашниковой с соавторами изучались мозговые механизмы восприятия речи взрослых людей, обращенной к семимесячным младенцам (infant-directed speech). Авторы продемонстрировали, что нейронное отслеживание акустических компонентов такой речи статистически значимо выше, чем отслеживание «обычной» взрослой речи. Результаты показывают различия в активности фронтальных областей коры, связанные с восприятием младенцами речи от значимых взрослых [15].

Исследования фонетических компонентов речи

Значительное количество исследований также посвящено изучению нейронного отслеживания фонем в естественной речи. Показано, что разные категории гласных фонем (взрывные, фрикативные и назальные) различным образом закодированы в ЭЭГ и отличаются латентностями раннего пика ФВО [16].
Нейронное отслеживание фонетического компонента естественной речи статистически значимо снижено у детей с дислексией по сравнению с их нормотипичными сверстниками; эффект выражен в правом полушарии, которое связывают с фонологическим декодированием речи [2]. Однако этот эффект не был выявлен на выборке взрослых с дислексией [14].
Также продемонстрированы различия фонетических репрезентаций у изучающих иностранные языки: у носителей китайского языка с высоким уровнем владения английским его фонетические репрезентации не отличались от носителей английского языка, но наблюдалась более выраженная реакция на фонетические контрасты английского языка. Результаты дополняют данные о лингвистических репрезентациях второго языка в мозге [21].
Исследования лексических и семантических компонентов речи
На уровне предложений в исследованиях широко используются лексические характеристики речи. Эти характеристики могут учитывать или не учитывать контекст слова — связь его параметров (частоты, неожиданности, семантического сходства) с другими словами в тексте. Контекстуальные модели (в основном с использованием n-грамм) дают возможность изучить реакции мозга на вероятность появления данного слова в его контексте. Например, часто используется параметр лексической неожиданности (lexical surprisal), отражающий то, в какой степени текущее слово ожидаемо относительно нескольких предыдущих слов. На основе этого параметра могут быть вычислены и другие — например, лексическая энтропия слова [20; 33]. Модели без контекста, напротив, оперируют абсолютными параметрами слов — например, частотой данного слова в корпусе текстов языка [20]. Такие модели, в отличие от контекстуальных, позволяют оценить обработку мозгом общих лексических ожиданий, не привязанных к контексту речевого стимула.
Исследования данных компонентов речи отражают, во-первых, мозговые механизмы, вовлекаемые в обработку различных лексических характеристик естественной речи, а во-вторых — связь нейронного отслеживания этих характеристик с возрастом, уровнем владения языком и психометрическими вербальными показателями [20; 22; 29; 33].
Особенный интерес представляют исследования семантического компонента речи. Исследование Бродерика и соавторов [12] демонстрирует методический подход к вычислению семантического несходства между словами в естественной речи. Авторы используют модель word2vec [11], которая формирует «семантические» контекстные представления слов на основе анализа больших корпусов текстов. Для каждого из слов в речевом стимуле извлекают «семантический» вектор этого слова в word2vec, затем вычисляют коэффициент корреляции вектора данного слова со средним значением векторов предыдущих слов в предложении и вычитают полученный коэффициент из единицы. Алгоритм повторяют для каждого слова в тексте. Получаемые значения отражают семантическое несходство (semantic dissimilarity) между словами в речевом стимуле. ФВО на семантическое несходство показывает эффект, похожий на семантический эффект N400 в вызванных потенциалах (негативная волна на латенции около 400 мс, выраженная в теменных отведениях).
Дальнейшие исследования показывают, что более высокое нейронное отслеживание семантического сходства между словами улучшает отслеживание акустических характеристик речи [3], что нарушается при дислексии [14]. Семантические эффекты в ФВО связаны и с речевыми способностями, измеренными при помощи психометрических методов: например, со словарным запасом и вербальной беглостью [10].
Обзор результатов исследований показывает их сходство с «лексическими» вызванными потенциалами (например, с эффектами N400, P600 и т. д.), полученными в экологически валидных экспериментальных условиях.
 

Многофакторные модели ФВО

Функция временного отклика имеет ограничения, связанные с анализом лексических и семантических компонентов естественной речи. Онлайн-обработка мозгом этих компонентов производится параллельно, они сильно скоррелированы друг с другом, и точная временная локализация момента опознания слова может быть сильно затруднена [1]. Кроме того, акустический компонент речи, который также отслеживается головным мозгом, может оказывать влияние на отслеживание лингвистических компонентов. С целью контроля взаимовлияния компонентов естественной речи друг на друга вычисляются многофакторные модели ФВО, учитывающие сразу несколько компонентов. Затем из многофакторной модели можно вычесть однофакторную, описывающую «ненужный» компонент речи — например, акустический при исследовании нейронного отслеживания лексических и семантических характеристик речи [20]. Получаемая разностная модель позволяет проконтролировать эффекты параллельной обработки различных компонентов речи.

Заключение

Нейронное отслеживание — новый подход в сенсорной и когнитивной психофизиологии, позволяющий изучать активность мозга при восприятии натуралистических стимулов. Это повышает экологическую валидность исследований, что необходимо для понимания механизмов функционирования мозга в естественных условиях и генерализации получаемых результатов. Текущие исследования нейронного отслеживания естественной речи с применением функции временного отклика содержательно во многом повторяют предыдущие нейролингвистические исследования: в них рассматривается мозговая активность при восприятии слогов, фонем, отдельных слов и предложений, а также моделируются «лексические» и «семантические» эффекты ВП. Однако эти исследования используют иной математический подход к анализу данных — не усреднение, а анализ продолжительной активности мозга. Помимо повышения экологической валидности, преимуществом подхода является возможность выделения в одном и том же стимульном материале разноуровневых компонентов: акустических, фонетических, лексических и семантических. В рамках одного эксперимента, на одном наборе данных, возможно изучить взаимодействие между низко- и высокоуровневыми речевыми процессами. Вместе с тем рассмотрение лексических и семантических компонентов речи вызывает методические сложности: при восприятии речи они обрабатываются мозгом одновременно параллельно. В литературе представлены подходы для контроля взаимовлияния компонентов речи, однако требуется дальнейшее расширение и углубление этих подходов.
Количество исследований с применением функции временного отклика возрастает с каждым годом, они затрагивают широкий круг вопросов нейролингвистики. Перспективы этих исследований заключаются в расширении и углублении подходов к анализу лексических и семантических компонентов речи — разработке новых методов оценки этих компонентов и методических приемов по изучению взаимодействия между этими компонентами в ходе восприятия естественной речи. Важной задачей является и применение метода функции временного отклика в клинической практике и трансляционной медицине [7]: изучение особенностей нейронного отслеживания у людей с различными неврологическими и психиатрическими заболеваниями, на животных моделях, а также в онтогенезе.

Литература

  1. Alday P.M. M/EEG analysis of naturalistic stories: a review from speech to language processing // Language, cognition and neuroscience. 2019. Vol. 34. № 4. P. 457—473. DOI:10.1080/23273798.2018.1546882
  2. Atypical cortical entrainment to speech in the right hemisphere underpins phonemic deficits in dyslexia / G.M. Di Liberto, V. Peter, M. Kalashnikova, U. Goswami, D. Burnham, E.C. Lalor // NeuroImage. 2018. Vol. 175. P. 70—79. DOI:10.1016/j.neuroimage.2018.03.072
  3. Broderick M.P., Anderson A.J., Lalor E.C. Semantic Context Enhances the Early Auditory Encoding of Natural Speech // Journal of Neuroscience. 2019. Vol. 39. № 38. P. 7564—7575. DOI:10.1523/JNEUROSCI.0584-19.2019
  4. Castles A., Rastle K., Nation K. Ending the Reading Wars: Reading Acquisition From Novice to Expert // Psychological Science in the Public Interest. 2018. Vol. 19. № 1. P. 5—51. DOI:10.1177/1529100618772271
  5. Crosse M.J., Liberto G.M.D., Lalor E.C. Eye Can Hear Clearly Now: Inverse Effectiveness in Natural Audiovisual Speech Processing Relies on Long-Term Crossmodal Temporal Integration // Journal of Neuroscience. 2016. Vol. 36. № 38. P. 9888—9895. DOI:10.1523/JNEUROSCI.1396-16.2016
  6. Decoding the attended speech stream with multi-channel EEG: implications for online, daily-life applications / B. Mirkovic, S. Debener, M. Jaeger, M. De Vos // Journal of Neural Engineering. 2015. Vol. 12. № 4. Article ID 046007. 9 p. DOI:10.1088/1741-2560/12/4/046007
  7. Di Liberto G.M., Hjortkjær J., Mesgarani N. Editorial: Neural Tracking: Closing the Gap Between Neurophysiology and Translational Medicine // Frontiers in Neuroscience. 2022. Vol. 16. Article ID 872600. 4 p. DOI:10.3389/fnins.2022.872600
  8. Ding N., Simon J. Cortical entrainment to continuous speech: functional roles and interpretations // Frontiers in Human Neuroscience. 2014. Vol. 8. Article ID 311. 7 p. DOI:10.3389/fnhum.2014.00311
  9. Ding N., Simon J.Z. Adaptive Temporal Encoding Leads to a Background-Insensitive Cortical Representation of Speech // Journal of Neuroscience. 2013. Vol. 33. № 13. P. 5728—5735. DOI:10.1523/JNEUROSCI.5297-12.2013
  10. Dissociable electrophysiological measures of natural language processing reveal differences in speech comprehension strategy in healthy ageing / M.P. Broderick, G.M. Di Liberto, A.J. Anderson, A. Rofes, E.C. Lalor // Scientific Reports. 2021. Vol. 11. № 1. Article ID 4963. 12 p. DOI:10.1038/s41598-021-84597-9
  11. Distributed Representations of Words and Phrases and their Compositionality / T. Mikolov, I. Sutskever, K. Chen, G.S. Corrado, J. Dean // Advances in Neural Information Processing Systems: 27th Annual Conference on Neural Information Processing Systems 2013: Held 5-10 December 2013, Lake Tahoe, Nevada, USA / C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, K.Q. Weinberger. New York: Curran Associates Inc. Proceedings.com, 2013. Vol. 26. 9 p. DOI:10.48550/arXiv.1310.4546
  12. Electrophysiological Correlates of Semantic Dissimilarity Reflect the Comprehension of Natural, Narrative Speech / M.P. Broderick, A.J. Anderson, G.M. Di Liberto, M.J. Crosse, E.C. Lalor // Current Biology. 2018. Vol. 28. № 5. P. 803—809. DOI:10.1016/j.cub.2018.01.080
  13. Hamilton L.S., Huth A.G. The revolution will not be controlled: natural stimuli in speech neuroscience // Language, Cognition and Neuroscience. 2020. Vol. 35. № 5. P. 573—582. DOI:10.1080/23273798.2018.1499946
  14. Increased top-down semantic processing in natural speech linked to better reading in dyslexia / A. Klimovich-Gray, G. Di Liberto, L. Amoruso, A. Barrena, E. Agirre, N. Molinaro // NeuroImage. 2023. Vol. 273. Article ID 120072. 11 p. DOI:10.1016/j.neuroimage.2023.120072
  15. Infant-directed speech facilitates seven-month-old infants’ cortical tracking of speech / M. Kalashnikova, V. Peter, G.M. Di Liberto, E.C. Lalor, D. Burnham // Scientific Reports. 2018. Vol. 8. Article ID 13745. 8 p. DOI:10.1038/s41598-018-32150-6
  16. Khalighinejad B., da Silva G.C., Mesgarani N. Dynamic Encoding of Acoustic Features in Neural Responses to Continuous Speech // Journal of Neuroscience. 2017. Vol. 37. № 8. P. 2176—2185. DOI:10.1523/JNEUROSCI.2383-16.2017
  17. Linear Modeling of Neurophysiological Responses to Speech and Other Continuous Stimuli: Methodological Considerations for Applied Research / M.J. Crosse, N.J. Zuk, G.M. Di Liberto, A.R. Nidiffer, S. Molholm, E.C. Lalor // Frontiers in Neuroscience. 2021. Vol. 15. Article ID 705621. 25 p. DOI:10.3389/fnins.2021.705621
  18. Maddox R.K., Lee A.K.C. Auditory Brainstem Responses to Continuous Natural Speech in Human Listeners // ENeuro. 2018. Vol. 5. № 1. Article ID e0441-17.2018. 13 p. DOI:10.1523/ENEURO.0441-17.2018
  19. More than words: Neurophysiological correlates of semantic dissimilarity depend on comprehension of the speech narrative / M.P. Broderick, N.J. Zuk, A.J. Anderson, E.C. Lalor // European Journal of Neuroscience. 2022. Vol. 56. № 8. P. 5201—5214. DOI:10.1111/ejn.15805
  20. Neural Markers of Speech Comprehension: Measuring EEG Tracking of Linguistic Speech Representations, Controlling the Speech Acoustics / M. Gillis, J. Vanthornhout, J.Z. Simon, T. Francart, C. Brodbeck // Journal of Neuroscience. 2021. Vol. 41. № 50. P. 10316—10329. DOI:10.1523/JNEUROSCI.0812-21.2021
  21. Neural representation of linguistic feature hierarchy reflects second-language proficiency / G.M. Di Liberto, J. Nie, J. Yeaton, B. Khalighinejad, S.A. Shamma, N. Mesgarani // NeuroImage. 2021. Vol. 227. Article ID 117586. 13 p. DOI:10.1016/j.neuroimage.2020.117586
  22. Parallel processing in speech perception with local and global representations of linguistic context / C. Brodbeck, S. Bhattasali, A.A.C. Heredia, P. Resnik, J.Z. Simon, E. Lau // ELife. 2022. Vol. 11. Article ID e72056. 28 p. DOI:10.7554/eLife.72056
  23. Reconstructing Speech from Human Auditory Cortex / B.N. Pasley, S.V. David, N. Mesgarani, A. Flinker, S.A. Shamma, N.E. Crone, R.T. Knight, E.F. Chang // PLOS Biology. 2012. Vol. 10. № 1. Article ID e1001251. 13 p. DOI:10.1371/journal.pbio.1001251
  24. Resolving Precise Temporal Processing Properties of the Auditory System Using Continuous Stimuli / E.C. Lalor, A.J. Power, R.B. Reilly, J.J. Foxe // Journal of Neurophysiology. 2009. Vol. 102. № 1. P. 349—359. DOI:10.1152/jn.90896.2008
  25. Sassenhagen J. How to analyse electrophysiological responses to naturalistic language with time-resolved multiple regression // Language, Cognition and Neuroscience. 2019. Vol. 34. № 4. P. 474—490. DOI:10.1080/23273798.2018.1502458
  26. Seyednozadi Z., Pishghadam R., Pishghadam M. Functional Role of the N400 and P600 in Language-Related ERP Studies with Respect to Semantic Anomalies: An Overview // Archives of Neuropsychiatry. 2021. Vol. 58. № 3. P. 249—252. DOI:10.29399/npa.27422
  27. The Multivariate Temporal Response Function (mTRF) Toolbox: A MATLAB Toolbox for Relating Neural Signals to Continuous Stimuli / M.J. Crosse, G.M. Di Liberto, A. Bednar, E.C. Lalor // Frontiers in Human Neuroscience. 2016. Vol. 10. Article ID 604. 14 p. DOI:10.3389/fnhum.2016.00604
  28. The Oxford Handbook of Event-Related Potential Components / Eds. S.J. Luck, E.S. Kappenman. Oxford: Oxford University Press, 2011. 664 p. DOI:10.1093/oxfordhb/9780195374148.001.0001
  29. Top-down information shapes lexical processing when listening to continuous speech / L. Gwilliams, A. Marantz, D. Poeppel, J.R. King // Language, Cognition and Neuroscience. 2023. P. 1—14. DOI:10.1080/23273798.2023.2171072
  30. Toward an explicit technology of ecological validity / T.A. Fahmie, N.M. Rodriguez, K.C. Luczynski, J.A. Rahaman, B.M. Charles, A.N. Zangrillo // Journal of Applied Behavior Analysis. 2023. Vol. 56. № 2. P. 302—322. DOI:10.1002/jaba.972
  31. Van Petten C., Luka B.J. Prediction during language comprehension: Benefits, costs, and ERP components: Predictive information processing in the brain: Principles, neural mechanisms and models // International Journal of Psychophysiology. 2012. Vol. 83. № 2. P. 176—190. DOI:10.1016/j.ijpsycho.2011.09.015
  32. Verschueren E., Vanthornhout J., Francart T. The Effect of Stimulus Choice on an EEG-Based Objective Measure of Speech Intelligibility // Ear and Hearing. 2020. Vol. 41. № 6. P. 1586—1597. DOI:10.1097/AUD.0000000000000875
  33. Weissbart H., Reichenbach J., Kandylaki K. Cortical tracking of surprisal during continuous speech comprehension // Journal of Cognitive Neuroscience. 2020. Vol. 32. № 1. P. 155—166. DOI:10.1162/jocn_a_01467

Информация об авторах

Рогачев Антон Олегович, аспирант, младший научный сотрудник, Научный центр когнитивных исследований, Научно-технологический университет «Сириус» (АНОО ВО «Университет “Сириус”»), пгт. Сириус, Россия, ORCID: https://orcid.org/0000-0002-7645-4354, e-mail: aorogachev@gmail.com

Сысоева Ольга Владимировна, кандидат психологических наук, заведующий лабораторией, Научный центр когнитивных исследований, Научно-технологический университет «Сириус» (АНОО ВО «Университет “Сириус”»), ведущий научный сотрудник лаборатории высшей нервной деятельности человека, Институт высшей нервной деятельности и нейрофизиологии Российской академии наук (ИВНД и НФ РАН), пгт. Сириус, Россия, ORCID: https://orcid.org/0000-0002-4005-9512, e-mail: olga.v.sysoeva@gmail.com

Метрики

Просмотров

Всего: 53
В прошлом месяце: 35
В текущем месяце: 18

Скачиваний

Всего: 9
В прошлом месяце: 8
В текущем месяце: 1