Применение самоорганизующихся карт Кохонена для идентификации акустических предикторов стрессового состояния операторов сложных технических систем

Статья посвящена разработке и апробации метода выявления акустических предикторов стрессового состояния операторов сложных технических систем на основе самоорганизующихся карт Кохонена (SOM). Актуальность исследования обусловлена необходимостью повышения безопасности эксплуатации сложных технических систем, в частности воздушных судов, путём объективного бесконтактного мониторинга психоэмоционального состояния персонала. Исследование проводилось в рамках научно-исследовательской работы, направленной на создание перспективной кабины гражданского воздушного судна, оснащенной интеллектуальной системой поддержки экипажа. Ключевым требованием к данной кабине является обеспечение непрерывного, неинвазивного контроля функционального состояния пилотов для своевременного выявления критических изменений, связанных со стрессом и утомлением. Предложен подход, при котором из речевого сигнала оператора извлекается девятимерный вектор акустических признаков (основная частота тона F0, спектральный центроид, спектральная ширина, спектральный спад и пять пиковых частот спектра мощности), после чего с помощью обученной карты Кохонена осуществляется классификация текущего состояния как «норма» или «стресс». Для проверки предложенного подхода была разработана его программная модель «AudioStressPredictor», реализующая полный цикл обработки: от создания персонализированного профиля оператора и обучения модели до мониторинга уровня стресса в режиме реального времени. Проведено экспериментальное тестирование, результаты которого свидетельствуют о работоспособности рассматриваемого подхода и его перспективности для применения в авиационных учебных центрах, а также в качестве одного из ключевых компонентов бортовых систем поддержки принятия решений перспективных воздушных судов.

Введение

Безопасность эксплуатации сложных технических систем (СТС) — воздушных судов, атомных электростанций, диспетчерских пунктов — во многом определяется психофизиологическим состоянием операторов. По данным Международной организации гражданской авиации (ICAO), человеческий фактор является причиной до 70–80 % авиационных инцидентов (ICAO. Doc 9859, 2018). Стресс, возникающий в нештатных ситуациях, снижает когнитивные способности оператора: ухудшаются внимание, скорость реакции и качество принимаемых решений (Feigh, Dorneich, Hayes, 2012). Данный вопрос имеет критическую значимость при пилотировании самолёта одним пилотом (так называемый «одночленный экипаж»), поскольку в случае его недееспособности воздушной судно остаётся без управления, следовательно, необходимо своевременно определить факт недееспособности пилота и предпринять соответствующие действия.

В ряде работ показано, что диагностика операторов СТС может эффективно осуществляться с использованием обучаемых структур — нейронных сетей и вероятностных моделей. В частности, предложены методы распознавания аномальной активности операторов на основе сопоставления паттернов их действий с типовыми эмпирическими данными (Kuravsky, Yuryev, 2020). Разработан комплекс математических моделей и программ для моделирования элементов информационно-управляющего поля кабины пилотов и последующей эргономической оценки действий экипажа (Грешников, 2022; Куравский и др., 2025). Показана возможность создания диагностических методик, основанных на сопоставлении фрагментов действий или поведения с типовыми паттернами (Куравский и др., 2026, Куравский и др., 2021).

Традиционные методы контроля психоэмоционального состояния предполагают использование контактных датчиков (ЭЭГ, ЭКГ, кожно-гальваническая реакция), что создаёт помехи в работе оператора (Sharma, Gedeon, 2012). Альтернативным подходом является анализ голосового сигнала, поскольку речевые характеристики человека тесно связаны с эмоциональным состоянием и могут регистрироваться дистанционно (Frampton et al., 2010). При стрессе наблюдаются характерные изменения основной частоты тона (F0), спектральных характеристик и темпа речи, обусловленные напряжением голосовых связок и изменением паттернов дыхания (Giddens et al., 2013).

Самоорганизующиеся карты Кохонена (SOM) — класс нейронных сетей с обучением без учителя (Kohonen, 1982, Kohonen, 2001). SOM обладают рядом свойств, делающих их привлекательным инструментом для решения задач классификации в психодиагностике: способность к визуализации многомерных данных, устойчивость к шуму, интерпретируемость результатов. В (Kuravsky, Baranov, 2001) продемонстрирована эффективность SOM для диагностики виброакустических систем. В (Куравский и др., 2006) предложено также применять SOM совместно с методом Монте-Карло для оценки адекватности факторных моделей психологических данных. Эти работы свидетельствуют об универсальности карт Кохонена как инструмента анализа данных различной природы. В (Куравский и др., 2026) карты Кохонена применены для обнаружения аномальных состояний пилотов по паттернам окуломоторной активности при количественной оценке когнитивной нагрузки.

Целью настоящего исследования является разработка и апробация метода идентификации акустических предикторов стрессового состояния операторов СТС на основе самоорганизующихся карт Кохонена с программной реализацией в виде системы мониторинга реального времени.

Методы

Акустические признаки речевого сигнала

Для описания голосового сигнала формируется девятимерный вектор признаков, извлекаемых из каждого временного сегмента речи (McFee et al., 2015):

1. Основная частота тона (F0) — медиана значений F0, определяемых алгоритмом YIN (de Cheveigné, Kawahara, 2002). F0 отражает частоту колебаний голосовых связок и является одним из наиболее надёжных индикаторов эмоционального состояния.

2. Спектральный центроид — «центр масс» частотного спектра, характеризующий субъективную «яркость» звука:

3. Спектральная ширина — мера разброса спектра относительно центроида:

4. Спектральный спад — частота, ниже которой сосредоточено 85 % общей энергии спектра. Данный параметр характеризует форму спектральной огибающей и используется для различения вокализованной и невокализованной речи:

5–9. Пиковые частоты спектра мощности — пять наиболее выраженных по амплитуде пиков в спектральной плотности мощности, оценённой методом Вельча (Virtanen et al., 2020). Эти частоты могут соответствовать формантам и другим резонансным характеристикам голосового тракта.

Перед подачей в SOM выполняется z-score нормализация:

Алгоритм самоорганизующейся карты Кохонена

SOM представляет собой двумерную решётку нейронов размером   $R\times C$ , каждый нейрон характеризуется весовым вектором ${\omega }_i\in R^9$ (Kohonen, 2001). Обучение осуществляется итеративно:

2.Веса BMU и соседних нейронов обновляются: 

3.Функция окрестности:

Для использования SOM в режиме классификации после обучения каждому нейрону присваивается статистика принадлежности к классам: для обучающих примеров с известными метками («норма» = 0, «стресс» = 1) подсчитывается, сколько примеров каждого класса активировало данный нейрон. Вероятность стресса для нового наблюдения вычисляется как:

Архитектура программного обеспечения

Программный комплекс «AudioStressPredictor» реализован на языке Python 3 и состоит из трёх модулей:

logic.py — модуль бизнес-логики: извлечение акустических признаков (библиотеки librosa, scipy), реализация класса SimpleSOM, обучение и применение моделей, захват аудиопотока в реальном времени (PyAudio); 

1. •gui.py — модуль графического интерфейса (PyQt6): управление профилями операторов, страницы обучения, анализа файлов, онлайн-мониторинга и статистики;

2. •main.py — точка входа в приложение.

Архитектура соответствует паттерну MVC и обеспечивает разделение логики обработки данных и представления. Для каждого оператора создаётся персонализированный профиль, включающий обученную модель SOM, параметры нормализации и историю сессий, что позволяет учитывать индивидуальные особенности голоса — важное условие надёжной диагностики (Куравский и др., 2014).

Режим реального времени

Захват звука реализован в отдельном потоке с использованием циклического буфера (5 с при частоте дискретизации 16 кГц). Каждые 20 мс из буфера извлекается скользящее окно, вычисляется вектор признаков и оценивается вероятность стресса. Результат визуализируется цветовым индикатором и спектрограммой (рисунок 1). Такой подход обеспечивает задержку менее 100 мс от момента произнесения фразы до обновления диагностического заключения.

Параметры эксперимента

Сходимость обучения

Кривая ошибки квантизации демонстрирует характерную двухфазную динамику: быстрое снижение на первых 40 эпохах (фаза упорядочения) и плавное уменьшение на последующих итерациях (фаза тонкой настройки) (рисунок 2). Финальное значение ошибки квантизации составило менее 1,0 в нормализованном пространстве признаков, что свидетельствует об адекватном покрытии пространства признаков нейронами карты.

Классификация состояний

Тестирование показало, что система разделяет состояния «норма» и «стресс» для обученных профилей операторов без выявленных ошибок (рисунок 3). На карте Кохонена формируются различимые кластеры: нейроны, ассоциированные преимущественно с классом «норма», пространственно отделены от нейронов, ассоциированных с классом «стресс», что подтверждает информативность выбранного набора акустических признаков.

При анализе длительных аудиофайлов система выявляет временную динамику уровня стресса, что позволяет определить моменты наибольшего напряжения оператора. В режиме реального времени система обеспечивает непрерывный мониторинг с обновлением индикатора состояния.

Информативность признаков

Анализ весов обученных нейронов позволяет оценить вклад отдельных признаков в разделение классов. Наибольшую дискриминативную способность продемонстрировали основная частота тона (F0) и спектральный центроид — их значения устойчиво повышаются при стрессе, что согласуется с данными литературы (Frampton, 2010; Giddens et al., 2013). Спектральная ширина и спектральный спад также вносят значимый вклад, отражая перераспределение энергии в высокочастотную область спектра при стрессе.

Обсуждение результатов

Полученные результаты согласуются с выводами предшествующих исследований о перспективности применения нейросетевых методов для диагностики операторов СТС. В (Kuravsky, Baranov, 2001) была показана эффективность карт Кохонена для диагностики технических систем по виброакустическим данным; настоящая работа расширяет область применения SOM на задачу диагностики психоэмоционального состояния оператора по речевому сигналу. Аналогичное применение SOM для детектирования превышения критического уровня когнитивной нагрузки пилотов по окуломоторным показателям описано в (Куравский и др., 2026).

Персонализированный подход к построению моделей — обучение индивидуальной SOM для каждого оператора — является существенным преимуществом предложенного метода. Индивидуальные особенности оператора играют ключевую роль в диагностике лётного состава по результатам работы на тренажёрах (Куравский и др., 2014). Аналогично, акустические характеристики голоса высоко индивидуальны, и универсальные модели, обученные на гетерогенной выборке, могут терять точность (Sharma, Gedeon, 2012).

Важно подчеркнуть связь предложенного подхода с проблематикой оценки действий экипажа в контексте безопасности полётов. Разработаны модели оценки вклада человеческого фактора в характеристики работы СТС (Куравский и др., 2025; Куравский и др., 2021, Kuravsky et al., 2020). Интеграция акустического мониторинга стресса в подобные системы позволит повысить полноту диагностической информации: наряду с анализом паттернов действий (Куравский, Козырев, Грешников, 2024) появляется возможность объективной оценки эмоционального состояния оператора.

Среди ограничений исследования следует отметить: (1) относительно небольшой объём обучающих данных; (2) отсутствие верификации на реальных записях переговоров экипажа в полётных условиях; (3) ограниченный набор акустических признаков (9 параметров). В перспективе планируется расширить вектор признаков за счёт включения мел-частотных кепстральных коэффициентов (MFCC) и показателей нестабильности тона (джиттер, шиммер), а также провести валидацию на данных реальных тренажёрных сессий.

Заключение

В работе предложен метод идентификации акустических предикторов стрессового состояния операторов СТС на основе самоорганизующихся карт Кохонена. Для проведения его оценки разработано программное обеспечение «AudioStressPredictor», реализующее цикл от создания персонализированного профиля оператора до мониторинга стресса в режиме реального времени. Экспериментальная апробация подтверждает работоспособность подхода и информативность выбранного набора акустических признаков (F0, спектральный центроид, спектральная ширина, спектральный спад, пиковые частоты).

Система интегрирована в комплекс моделирования перспективного воздушного судна с одночленным экипажем и прошла предварительную оценку лётными экспертами.

Результаты исследования могут быть использованы для создания систем поддержки принятия решений в авиационных учебных центрах и служить основой для бортовых систем мониторинга состояния экипажа. Дальнейшее развитие работы связано с расширением набора признаков, проведением валидации на реальных данных и интеграцией с существующими системами оценки действий экипажа.

1. Грешников И.И. Моделирование элементов информационно-управляющего поля кабины и действий экипажа воздушного судна на универсальном стенде прототипирования: дис. ... канд. техн. наук. М.: МАИ, 2022.
   Greshnikov, I.I. (2022). Modelirovanie elementov informatsionno-upravlyayushchego polya kabiny i deistvii ekipazha vozdushnogo sudna na universal'nom stende prototipirovaniya [Modeling elements of the cockpit information and control field and aircraft crew actions on a universal prototyping bench] (Doctoral dissertation). Moscow Aviation Institute, Moscow, Russia.
2. Куравский Л.С., Баранов С.Н., Малых С.Б. Нейронные сети в задачах прогнозирования, диагностики и анализа данных: учеб. пособие. М.: РУСАВИА, 2003. 100 с.
   Kuravsky, L.S., Baranov, S.N., & Malykh, S.B. (2003). Neironnye seti v zadachakh prognozirovaniya, diagnostiki i analiza dannykh [Neural networks in forecasting, diagnostics and data analysis tasks]. Moscow: RUSAVIA.
3. Куравский Л.С., Козырев А.Д., Грешников И.И. Математическая модель сопутствующей деятельности пилота и её применение для объективной оценки его состояния и профессиональной подготовки // Экспериментальная психология. 2024. Т. 17. № 1. С. 161–180. DOI: 10.17759/exppsy.2024170111.
   Kuravsky, L.S., Kozyrev, A.D., & Greshnikov, I.I. (2024). Matematicheskaya model' soputstvuyushchei deyatel'nosti pilota i ee primenenie dlya ob"ektivnoi otsenki ego sostoyaniya i professional'noi podgotovki [Mathematical model of the pilot's concurrent activity and its application for objective assessment of their state and professional training]. Eksperimental'naya psikhologiya [Experimental Psychology (Russia)], 17(1), 161–180. https://doi.org/10.17759/exppsy.2024170111
4. Куравский Л.С., Малых С.Б., Кравчук Т.Е., Кузнецова И.В., Семаго Н.Я. Методы классификации в психодиагностических исследованиях // Вопросы психологии. 2006. № 1. С. 157–168.
   Kuravsky, L.S., Malykh, S.B., Kravchuk, T.E., Kuznetsova, I.V., & Semago, N.Ya. (2006). Metody klassifikatsii v psikhodiagnosticheskikh issledovaniyakh [Classification methods in psychodiagnostic research]. Voprosy psikhologii [Questions of Psychology], (1), 157–168.
5. Куравский Л.С., Мармалюк П.А., Юрьев Г.А., Баранов С.Н., Полещук Г.Н., Смирнов А.А., Шишов А.Н. Диагностика лётного состава по результатам работы на авиационных тренажёрах // Нейрокомпьютеры: разработка, применение. 2014. № 10. С. 14–23.
   Kuravsky, L.S., Marmalyuk, P.A., Yuryev, G.A., Baranov, S.N., Poleshchuk, G.N., Smirnov, A.A., & Shishov, A.N. (2014). Diagnostika letnogo sostava po rezul'tatam raboty na aviatsionnykh trenazherakh [Diagnostics of flight personnel based on the results of work on aviation simulators]. Neirokomp'yutery: razrabotka, primenenie [Neurocomputers: Development and Application], (10), 14–23.
6. Куравский Л.С., Юрьев Г.А., Златомрежев В.И., Грешников И.И., Поляков Б.Ю. Оценка действий экипажа самолёта по данным видеоокулографии // Экспериментальная психология. 2021. Т. 14. № 1. С. 204–222. DOI: 10.17759/exppsy.2021140110.
   Kuravsky, L.S., Yuryev, G.A., Zlatomrezhev, V.I., Greshnikov, I.I., & Polyakov, B.Yu. (2021). Otsenka deistvii ekipazha samoleta po dannym videookulografii [Assessment of aircraft crew actions based on video-oculography data]. Eksperimental'naya psikhologiya [Experimental Psychology (Russia)], 14(1), 204–222. https://doi.org/10.17759/exppsy.2021140110
7. Куравский, Л.С., Грешников, И.И., Глухова, Э.Д., Юрьев, Г.А., Юрьева, Н.Е., Поляков, Б.Ю., Соколов, А.В., Махортов, И.А., Кислицын, Е.Д. (2025). Комплексная оценка информационно-управляющего поля кабины экипажа гражданского воздушного судна: исследуемые показатели и методы их анализа. Экспериментальная психология, 18(2), 236–260. https://doi.org/10.17759/exppsy.2025180214
   Kuravsky, L.S., Greshnikov, I.I., Glukhova, E.D., Yuryev, G.A., Yuryeva, N.E., Polyakov, B.Y., Sokolov, A.V., Makhortov, I.A., Kislitsyn, E.D. (2025). Comprehensive assessment of the information and control field of the cockpit of a civil aircraft: the studied indicators and methods of their analysis. Experimental Psychology (Russia), 18(2), 236–260. (In Russ.). https://doi.org/10.17759/exppsy.2025180214
8. Куравский, Л.С., Грешников, И.И., Левонович, Н.И., Юрьева, Н.Е., Глухова, Э.Д., Махортов, И.А., Кислицын, Е.Д., Соколов, А.В., Захарьчева, А.А. (2026). Количественная оценка компонентов интегральной когнитивной нагрузки пилотов воздушных судов. Экспериментальная психология, 19(1), 167–185. https://doi.org/10.17759/exppsy.2026190111
   Kuravsky, L.S., Greshnikov, I.I., Levonovich, N.I., Yuryeva, N.E., Glukhova, E.D., Makhortov, I.A., Kislitsyn, E.D., Sokolov, A.V., Zakharcheva, A.A. (2026). Quantitative assessment of the components of the integral cognitive load of aircraft pilots. Experimental Psychology (Russia), 19(1), 167–185. (In Russ.). https://doi.org/10.17759/exppsy.2026190111
9. de Cheveigné A., Kawahara H. YIN, a fundamental frequency estimator for speech and music // The Journal of the Acoustical Society of America. 2002. Vol. 111. No. 4. P. 1917–1930. DOI: 10.1121/1.1458024.
10. Feigh K.M., Dorneich M.C., Hayes C.C. Toward a characterization of adaptive systems: A framework for researchers and system designers // Human Factors. 2012. Vol. 54. No. 6. P. 1008–1024. DOI: 10.1177/0018720812443983.
11. Frampton M., Sripada S., Bion R.A.H., Peters S. Detection of time-pressure induced stress in speech via acoustic indicators // Proceedings of the SIGDIAL 2010 Conference. Tokyo, Japan, 2010. P. 253–256.
12. Giddens C.L., Barron K.W., Byrd-Craven J., Clark K.F., Winter A.S. Vocal indices of stress: A review // Journal of Voice. 2013. Vol. 27. No. 3. P. 390.e21–390.e29. DOI: 10.1016/j.jvoice.2012.12.010.
13. ICAO. Doc 9859: Safety Management Manual (SMM). 4th ed. Montreal: International Civil Aviation Organization, 2018.
14. Kohonen T. Self-organized formation of topologically correct feature maps // Biological Cybernetics. 1982. Vol. 43. No. 1. P. 59–69. DOI: 10.1007/BF00337288.
15. Kohonen T. Self-Organizing Maps. 3rd ed. Berlin: Springer, 2001. 501 p. DOI: 10.1007/978-3-642-56927-2.
16. Kuravsky L.S., Baranov S.N. Application of self-organizing feature maps for diagnostics of vibroacoustic systems // Proc. Condition Monitoring 2001. Oxford, UK, 2001. P. 79–89.
17. Kuravsky L.S., Yuryev G.A. A novel approach for recognizing abnormal activities of operators of complex technical systems // International Journal of Advanced Research in Engineering and Technology. 2020. Vol. 11. No. 4. P. 119–136.
18. Kuravsky L.S., Yuryev G.A., Zlatomrezhev V.I., Yuryeva N.E. Assessing the Aircraft Crew Actions with the Aid of a Human Factor Risk Model // Experimental Psychology (Russia). 2020. Vol. 13. No. 2. P. 153–181. DOI: 10.17759/exppsy.2020130211.
19. McFee B., Raffel C., Liang D. et al. librosa: Audio and Music Signal Analysis in Python // Proc. 14th Python in Science Conference. 2015. P. 18–25.
20. Sharma N., Gedeon T. Objective measures, sensors and computational techniques for stress recognition and classification: A survey // Computer Methods and Programs in Biomedicine. 2012. Vol. 108. No. 3. P. 1287–1301. DOI: 10.1016/j.cmpb.2012.07.003.
21. Virtanen P., Gommers R., Oliphant T.E. et al. SciPy 1.0: Fundamental algorithms for scientific computing in Python // Nature Methods. 2020. Vol. 17. P. 261–272. DOI: 10.1038/s41592-019-0686-2.