Современная зарубежная психология
2024. Том 13. № 1. С. 92–100
doi:10.17759/jmfp.2024130108
ISSN: 2304-4977 (online)
Функция временного отклика — новый метод исследования нейрофизиологических механизмов восприятия речи в экологически валидных условиях
Аннотация
Функция временного отклика — новый метод, который позволяет исследовать мозговые механизмы восприятия естественной, натуралистической речи. В отличие от других методов изучения мозговой активности (например, вызванных потенциалов), функция временного отклика не требует предъявления большого количества однотипных стимулов для получения устойчивого мозгового ответа — в экспериментальных парадигмах могут использоваться записи обычной нарративной речи длительностью от 10 минут, что повышает их экологическую валидность. С помощью функции временного отклика можно изучать мозговые механизмы онлайн-обработки различных компонентов естественной речи: акустического (физические свойства аудиосигнала, такие как огибающая и спектрограмма), фонологического (отдельные фонемы и их сочетания), лексического (контекстуальные характеристики отдельных слов) и семантического (смысловое значение слов), а также взаимодействие между механизмами обработки этих компонентов. В статье приводится история появления метода, обосновываются его преимущества в сравнении с другими методами и показаны ограничения, математическая основа, особенности выделения компонентов естественной речи, а также дается краткий обзор основных исследований с применением данного метода.
Общая информация
Ключевые слова: функция временного отклика (ФВО), ЭЭГ, речь, мозговые механизмы, натуралистические стимулы, экологическая валидность
Рубрика издания: Нейронауки и когнитивные исследования
Тип материала: научная статья
DOI: https://doi.org/10.17759/jmfp.2024130108
Финансирование. Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации (Соглашение № 075-10-2021-093; Проект COG-RND-2262).
Получена: 31.01.2024
Принята в печать:
Для цитаты: Рогачев А.О., Сысоева О.В. Функция временного отклика — новый метод исследования нейрофизиологических механизмов восприятия речи в экологически валидных условиях [Электронный ресурс] // Современная зарубежная психология. 2024. Том 13. № 1. С. 92–100. DOI: 10.17759/jmfp.2024130108
Подкаст
Полный текст
Введение
Методические основы функции временного отклика
Математическая основа прямой модели ФВО
Математическая основа реверсивной модели ФВО
Пример дизайна эксперимента по исследованию естественной речи и подготовка стимульных материалов
Выделение компонентов стимулов
Основные исследования нейронного отслеживания речи с использованием функции временного отклика
Исследования акустических компонентов речи
Исследования фонетических компонентов речи
Многофакторные модели ФВО
Заключение
Литература
- Alday P.M. M/EEG analysis of naturalistic stories: a review from speech to language processing // Language, cognition and neuroscience. 2019. Vol. 34. № 4. P. 457—473. DOI:10.1080/23273798.2018.1546882
- Atypical cortical entrainment to speech in the right hemisphere underpins phonemic deficits in dyslexia / G.M. Di Liberto, V. Peter, M. Kalashnikova, U. Goswami, D. Burnham, E.C. Lalor // NeuroImage. 2018. Vol. 175. P. 70—79. DOI:10.1016/j.neuroimage.2018.03.072
- Broderick M.P., Anderson A.J., Lalor E.C. Semantic Context Enhances the Early Auditory Encoding of Natural Speech // Journal of Neuroscience. 2019. Vol. 39. № 38. P. 7564—7575. DOI:10.1523/JNEUROSCI.0584-19.2019
- Castles A., Rastle K., Nation K. Ending the Reading Wars: Reading Acquisition From Novice to Expert // Psychological Science in the Public Interest. 2018. Vol. 19. № 1. P. 5—51. DOI:10.1177/1529100618772271
- Crosse M.J., Liberto G.M.D., Lalor E.C. Eye Can Hear Clearly Now: Inverse Effectiveness in Natural Audiovisual Speech Processing Relies on Long-Term Crossmodal Temporal Integration // Journal of Neuroscience. 2016. Vol. 36. № 38. P. 9888—9895. DOI:10.1523/JNEUROSCI.1396-16.2016
- Decoding the attended speech stream with multi-channel EEG: implications for online, daily-life applications / B. Mirkovic, S. Debener, M. Jaeger, M. De Vos // Journal of Neural Engineering. 2015. Vol. 12. № 4. Article ID 046007. 9 p. DOI:10.1088/1741-2560/12/4/046007
- Di Liberto G.M., Hjortkjær J., Mesgarani N. Editorial: Neural Tracking: Closing the Gap Between Neurophysiology and Translational Medicine // Frontiers in Neuroscience. 2022. Vol. 16. Article ID 872600. 4 p. DOI:10.3389/fnins.2022.872600
- Ding N., Simon J. Cortical entrainment to continuous speech: functional roles and interpretations // Frontiers in Human Neuroscience. 2014. Vol. 8. Article ID 311. 7 p. DOI:10.3389/fnhum.2014.00311
- Ding N., Simon J.Z. Adaptive Temporal Encoding Leads to a Background-Insensitive Cortical Representation of Speech // Journal of Neuroscience. 2013. Vol. 33. № 13. P. 5728—5735. DOI:10.1523/JNEUROSCI.5297-12.2013
- Dissociable electrophysiological measures of natural language processing reveal differences in speech comprehension strategy in healthy ageing / M.P. Broderick, G.M. Di Liberto, A.J. Anderson, A. Rofes, E.C. Lalor // Scientific Reports. 2021. Vol. 11. № 1. Article ID 4963. 12 p. DOI:10.1038/s41598-021-84597-9
- Distributed Representations of Words and Phrases and their Compositionality / T. Mikolov, I. Sutskever, K. Chen, G.S. Corrado, J. Dean // Advances in Neural Information Processing Systems: 27th Annual Conference on Neural Information Processing Systems 2013: Held 5-10 December 2013, Lake Tahoe, Nevada, USA / C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, K.Q. Weinberger. New York: Curran Associates Inc. Proceedings.com, 2013. Vol. 26. 9 p. DOI:10.48550/arXiv.1310.4546
- Electrophysiological Correlates of Semantic Dissimilarity Reflect the Comprehension of Natural, Narrative Speech / M.P. Broderick, A.J. Anderson, G.M. Di Liberto, M.J. Crosse, E.C. Lalor // Current Biology. 2018. Vol. 28. № 5. P. 803—809. DOI:10.1016/j.cub.2018.01.080
- Hamilton L.S., Huth A.G. The revolution will not be controlled: natural stimuli in speech neuroscience // Language, Cognition and Neuroscience. 2020. Vol. 35. № 5. P. 573—582. DOI:10.1080/23273798.2018.1499946
- Increased top-down semantic processing in natural speech linked to better reading in dyslexia / A. Klimovich-Gray, G. Di Liberto, L. Amoruso, A. Barrena, E. Agirre, N. Molinaro // NeuroImage. 2023. Vol. 273. Article ID 120072. 11 p. DOI:10.1016/j.neuroimage.2023.120072
- Infant-directed speech facilitates seven-month-old infants’ cortical tracking of speech / M. Kalashnikova, V. Peter, G.M. Di Liberto, E.C. Lalor, D. Burnham // Scientific Reports. 2018. Vol. 8. Article ID 13745. 8 p. DOI:10.1038/s41598-018-32150-6
- Khalighinejad B., da Silva G.C., Mesgarani N. Dynamic Encoding of Acoustic Features in Neural Responses to Continuous Speech // Journal of Neuroscience. 2017. Vol. 37. № 8. P. 2176—2185. DOI:10.1523/JNEUROSCI.2383-16.2017
- Linear Modeling of Neurophysiological Responses to Speech and Other Continuous Stimuli: Methodological Considerations for Applied Research / M.J. Crosse, N.J. Zuk, G.M. Di Liberto, A.R. Nidiffer, S. Molholm, E.C. Lalor // Frontiers in Neuroscience. 2021. Vol. 15. Article ID 705621. 25 p. DOI:10.3389/fnins.2021.705621
- Maddox R.K., Lee A.K.C. Auditory Brainstem Responses to Continuous Natural Speech in Human Listeners // ENeuro. 2018. Vol. 5. № 1. Article ID e0441-17.2018. 13 p. DOI:10.1523/ENEURO.0441-17.2018
- More than words: Neurophysiological correlates of semantic dissimilarity depend on comprehension of the speech narrative / M.P. Broderick, N.J. Zuk, A.J. Anderson, E.C. Lalor // European Journal of Neuroscience. 2022. Vol. 56. № 8. P. 5201—5214. DOI:10.1111/ejn.15805
- Neural Markers of Speech Comprehension: Measuring EEG Tracking of Linguistic Speech Representations, Controlling the Speech Acoustics / M. Gillis, J. Vanthornhout, J.Z. Simon, T. Francart, C. Brodbeck // Journal of Neuroscience. 2021. Vol. 41. № 50. P. 10316—10329. DOI:10.1523/JNEUROSCI.0812-21.2021
- Neural representation of linguistic feature hierarchy reflects second-language proficiency / G.M. Di Liberto, J. Nie, J. Yeaton, B. Khalighinejad, S.A. Shamma, N. Mesgarani // NeuroImage. 2021. Vol. 227. Article ID 117586. 13 p. DOI:10.1016/j.neuroimage.2020.117586
- Parallel processing in speech perception with local and global representations of linguistic context / C. Brodbeck, S. Bhattasali, A.A.C. Heredia, P. Resnik, J.Z. Simon, E. Lau // ELife. 2022. Vol. 11. Article ID e72056. 28 p. DOI:10.7554/eLife.72056
- Reconstructing Speech from Human Auditory Cortex / B.N. Pasley, S.V. David, N. Mesgarani, A. Flinker, S.A. Shamma, N.E. Crone, R.T. Knight, E.F. Chang // PLOS Biology. 2012. Vol. 10. № 1. Article ID e1001251. 13 p. DOI:10.1371/journal.pbio.1001251
- Resolving Precise Temporal Processing Properties of the Auditory System Using Continuous Stimuli / E.C. Lalor, A.J. Power, R.B. Reilly, J.J. Foxe // Journal of Neurophysiology. 2009. Vol. 102. № 1. P. 349—359. DOI:10.1152/jn.90896.2008
- Sassenhagen J. How to analyse electrophysiological responses to naturalistic language with time-resolved multiple regression // Language, Cognition and Neuroscience. 2019. Vol. 34. № 4. P. 474—490. DOI:10.1080/23273798.2018.1502458
- Seyednozadi Z., Pishghadam R., Pishghadam M. Functional Role of the N400 and P600 in Language-Related ERP Studies with Respect to Semantic Anomalies: An Overview // Archives of Neuropsychiatry. 2021. Vol. 58. № 3. P. 249—252. DOI:10.29399/npa.27422
- The Multivariate Temporal Response Function (mTRF) Toolbox: A MATLAB Toolbox for Relating Neural Signals to Continuous Stimuli / M.J. Crosse, G.M. Di Liberto, A. Bednar, E.C. Lalor // Frontiers in Human Neuroscience. 2016. Vol. 10. Article ID 604. 14 p. DOI:10.3389/fnhum.2016.00604
- The Oxford Handbook of Event-Related Potential Components / Eds. S.J. Luck, E.S. Kappenman. Oxford: Oxford University Press, 2011. 664 p. DOI:10.1093/oxfordhb/9780195374148.001.0001
- Top-down information shapes lexical processing when listening to continuous speech / L. Gwilliams, A. Marantz, D. Poeppel, J.R. King // Language, Cognition and Neuroscience. 2023. P. 1—14. DOI:10.1080/23273798.2023.2171072
- Toward an explicit technology of ecological validity / T.A. Fahmie, N.M. Rodriguez, K.C. Luczynski, J.A. Rahaman, B.M. Charles, A.N. Zangrillo // Journal of Applied Behavior Analysis. 2023. Vol. 56. № 2. P. 302—322. DOI:10.1002/jaba.972
- Van Petten C., Luka B.J. Prediction during language comprehension: Benefits, costs, and ERP components: Predictive information processing in the brain: Principles, neural mechanisms and models // International Journal of Psychophysiology. 2012. Vol. 83. № 2. P. 176—190. DOI:10.1016/j.ijpsycho.2011.09.015
- Verschueren E., Vanthornhout J., Francart T. The Effect of Stimulus Choice on an EEG-Based Objective Measure of Speech Intelligibility // Ear and Hearing. 2020. Vol. 41. № 6. P. 1586—1597. DOI:10.1097/AUD.0000000000000875
- Weissbart H., Reichenbach J., Kandylaki K. Cortical tracking of surprisal during continuous speech comprehension // Journal of Cognitive Neuroscience. 2020. Vol. 32. № 1. P. 155—166. DOI:10.1162/jocn_a_01467
Информация об авторах
Метрики
Просмотров
Всего: 241
В прошлом месяце: 33
В текущем месяце: 14
Скачиваний
Всего: 61
В прошлом месяце: 11
В текущем месяце: 4