Введение
Безопасность полетов в значительной степени определяется способностью пилотов сохранять устойчивость и эффективность деятельности (Ломов, 2007) в условиях высокого уровня умственной нагрузки, временного дефицита и роста потока информации. Одним из ключевых факторов риска является достижение «критического» уровня нагрузки, при котором возрастает вероятность ошибок пилотирования и появления признаков аномального поведения.
В инженерной психологии и эргономике умственная нагрузка трактуется как интегральная характеристика требований задачи к ограниченным ресурсам переработки информации; она отражает не только «сложность» ситуации, но и динамику распределения внимания между конкурирующими компонентами деятельности. При этом термин «когнитивная нагрузка» в смежных областях (например, в когнитивной теории обучения) может иметь более узкое значение; в настоящей работе он используется в инженерно-психологическом смысле как синоним умственной нагрузки оператора (Young et al., 2015).
Существующие подходы к оценке нагрузки можно условно разделить на: 1) субъективные шкалы (например, SWAT, NASA–TLX, SMEQ, RSME (Hart, Staveland, 1988; Дедков, 2024)); 2) показатели эффективности деятельности (ошибки, время реакции, точность); 3) психофизиологические и поведенческие маркеры (в том числе айтрекинг). Субъективные шкалы удобны и широко применяются, однако дают ретроспективную оценку, чувствительны к индивидуальным критериям и часто недостаточны для оперативного мониторинга. Показатели эффективности фиксируют уже случившиеся ухудшения, но плохо объясняют «структуру» перегрузки (за счет каких компонентов деятельности она возникла).
Практико-ориентированным направлением является измерение резервов внимания посредством вторичной дополнительной задачи. При этом ухудшение выполнения вторичной задачи трактуется как сокращение остаточного ресурса внимания при росте нагрузки основной деятельности. Однако подобные методики добавляют пилоту новую модальность деятельности, могут изменять естественную стратегию пилотирования и, как правило, не позволяют получать количественное разложение нагрузки по модальностям и учитывать межмодальные эффекты. Теоретической основой для анализа структуры нагрузки выступают модели распределения ресурсов внимания, в частности теория множественных ресурсов (Wickens, 2002), согласно которой конкуренция задач зависит от того, разделяют ли они общие ресурсы по стадиям переработки, коду, модальности и пространственному каналу; именно этим объясняются явления интерференции / «бутылочных горлышек» при совмещенной деятельности (Куравский, Козырев, Грешников, 2024).
В итоге, несмотря на декларируемую важность темы, результаты многих исследований остаются в рамках деклараций о намерениях и не внедряются в практику подготовки и мониторинга пилотов.
В этой работе представлен новый подход к количественной оценке компонентов интегральной когнитивной нагрузки пилотов, опирающийся на объективные и измеримые показатели, допускающие однозначную интерпретацию и применимые в условиях, приближенных к реальной эксплуатации воздушных судов (ВС).
Представленный подход опирается на выявление факта выхода в аномальное состояние, обусловленное превышением критического уровня интегральной когнитивной нагрузки. Это делается с помощью самоорганизующихся карт Кохонена (Kohonen, 1990), которые настраиваются по показателям работы пилота в нормальном режиме. Принятие диагностического решения происходит по оценке вероятности наблюдаемого расстояния до выигравшего нейрона. Согласование количественных уровней когнитивной нагрузки, привязанной к различным видам деятельности, выполняется через решение задачи линейного программирования. Самоорганизующая карта Кохонена работает с произвольным по количеству элементов набором первичных показателей глазодвигательной активности (ГДА), каждый из которых имеет обоснованную психологами интерпретацию. Как показали исследования, данные видеоокулографии, включая ГДА, являются наиболее информативными по части выявления когнитивных характеристик по сравнению с другими измеримыми психофизиологическими показателями (Барабанщиков, Жегалло, 2013; Куравский и др., 2025). Диагностическое решение принимается с использованием интегральной характеристики — оценки распределения вероятностей расстояний до выигравшего нейрона. Вывод об аномальном поведении пилота делается при малой вероятности появления наблюдаемого расстояния до выигравшего нейрона.
Под когнитивной нагрузкой далее понимается общий объем умственных усилий и ресурсов (в том числе внимания, памяти, осмысление поступающей информации и принятие решений), которые пилот расходует для выполнения летного задания в конкретный период времени. Будем рассматривать ее при одном и том же фиксированном уровне и типе психоэмоционального состояния (стресс, усталость и т. д.) и различать по модальностям деятельности, которыми она обусловлена. Далее эта нагрузка рассматривается только в привязке к модальностям деятельности при фиксированном уровне и типе психоэмоционального состояния пилотов и этапе полета (взлет, посадка, отказ двигателя, выход из сложного пространственного положения и т. д.). Данную характеристику нельзя измерить как физическую величину, но можно количественно оценить по косвенным признакам.
- ручное или автоматическое пилотирование (управление траекторией полета, достижение оптимальных эксплуатационных характеристик);
- навигацию (контроль и выявление отклонений от намеченной траектории полета, контроль работы навигационных систем);
- радиосвязь (прием, осмысление и передача сообщений);
- контроль за работой систем ВС (сканирование приборных панелей на предмет обнаружения отклонений от нормальной работы);
- наблюдение за внекабинным пространством (поиск и обнаружение других ВС, поддержание осведомленности о метеорологической обстановке и рельефе местности);
- принятие решений и решение возникающих проблем (анализ нештатной или аварийной ситуации, выбор верной последовательности действий);
- работу с документацией, в том числе с FMS (ввод данных, проверка поступающей информации).
Список модальностей деятельности может изменяться в зависимости от решаемой прикладной задачи.
Метод оценивания компонентов когнитивной нагрузки
Метод включает два компонента:
- выявление факта превышения критического уровня когнитивной нагрузки в процессе эксперимента;
- количественную оценку вклада различных модальностей деятельности в эту нагрузку.
Концептуальная основа: когнитивная нагрузка и модальности деятельности
Под критической когнитивной нагрузкой понимается общий объем когнитивной нагрузки, при которой проявляются признаки аномального поведения пилота.
Пусть
- средние продолжительности фиксаций взора,
- энтропия движения взора,
- частоты вертикальных саккад,
- частоты горизонтальных саккад,
- частота морганий.
Как показали многолетние исследования, указанные первичные показатели ГДА в совокупности достаточно чувствительны к переходу человека из нормального состояния в аномальные психофизиологические состояния различных типов. Эти показатели вычисляются для фиксированных по продолжительности временных интервалов, возможно, в режиме реального времени. Рекомендуемая продолжительность таких интервалов в случае пилота в кабине ВС — 20 секунд.
Факт превышения критической когнитивной нагрузки устанавливается путем анализа поступающих наборов значений указанных выше первичных показателей ГДА с помощью самоорганизующейся карты Кохонена (Self-organizing Map — SOM) (Kohonen, 1990). В ней имеется 2 слоя: входной и выходной. Входной слой выполняет распределительные функции. На входные слои этих структур подаются наборы первичных показателей, представляющие ГДА пилотов. Выходные слои (топологические карты) образуют прямоугольные матрицы, состоящие из элементов на радиальных базисных функциях (рис. 1). Для каждого элемента обучающей выборки определяется нейрон, ближайший к нему в евклидовой метрике («выигравший» нейрон). Затем, взяв взвешенную сумму прежнего центра «выигравшего» нейрона и соответствующего элемента обучающей выборки, параметры «выигравшего» нейрона и нейронов из его окрестности корректируются так, чтобы они в большей степени стали похожи на входной элемент, причем реализуемый «сдвиг» центров нейронов делается достаточно малым. В процессе обучения указанная окрестность сжимается до нуля. В результате последовательности таких коррекций определенные области топологической карты итерационно «сдвигаются» к определенным элементам обучающей выборки, при этом близкие входные данные обеспечивают «выигрыш» близко расположенных элементов топологических карт. Таким образом, самоорганизующиеся карты Кохонена учатся «понимать» структуру входных данных. Концепция этих карт построена на аналогии с ассоциативными свойствами человеческого мозга.
Самоорганизующаяся карта Кохонена обучается на первичных показателях ГДА наблюдаемого пилота в период его работы в заведомо нормальном состоянии, при этом на их вход подаются (возможно, в режиме реального времени) наборы указанных показателей для установленных временных интервалов.
Рис. 1. Самоорганизующаяся карта Кохонена: нейроны, составляющие топологическую карту, и компоненты входного сигнала
Fig. 1. Kohonen self-organizing map: the neurons that make up the topological map and the components of the input signal
В рассматриваемой задаче переход через критическое значение свидетельствует об аномальной комбинации наблюдаемых параметров, не указывая на ее конкретную причину. Однако этого достаточно для того, чтобы говорить о возникновении аномальной ситуации, вызванной деятельностью или состоянием пилота (Ломов, 2007).
Для обучения самоорганизующейся карты Кохонена на первичных показателях ГДА наблюдаемого пилота целесообразно выбрать один из фрагментов крейсерского полета или фрагмент, соответствующий началу снижения перед посадкой, когда ВС находится на достаточно большом расстоянии от земли. В рамках рассматриваемой задачи полагается, что, учитывая относительно небольшой уровень когнитивной нагрузки, при указанных несложных условиях полета пилот должен находиться в нормальном состоянии.
Каждый k-й проведенный эксперимент формирует неравенство
если расстояние до выигравшего нейрона превышает критический уровень, и неравенство
если критический уровень не превышен.
Указанные неравенства позволяют поставить задачу линейной оптимизации с критерием
Этот критерий определяет решение, соответствующее наибольшему допустимому суммарному уровню когнитивной нагрузки и эффектов влияния взаимодействия i-й и j-й модальности деятельности.
По аналогии, можно найти решение, соответствующее наименьшему допустимому суммарному уровню когнитивной нагрузки:
Рассмотренная задача оптимизации сводится к задаче линейного программирования, которая может быть решена симплекс-методом (Моисеев и др., 1978; Пантелеев, Летова, 2021). Применяемые вычислительные процедуры должны обеспечивать контроль за единственностью решений и вычислять оптимальные решения при неположительных и неотрицательных значениях правых частей представленных неравенствами ограничений.
Если в процессе проведения серии экспериментов с участием разных пилотов для некоторого ограничения получаются неравенства разных знаков, то соответствующее ограничение следует заменить на равенство (заменив в ограничениях это равенство двумя неравенствами по очевидной схеме). В этом случае в результате решения задачи оптимизации будет найден усредненный результат по серии экспериментов.
Структурная схема процедуры оценки представлена на рис. 2.
Примеры применения метода
Пример 1: учет трех видов модальностей деятельности
-
воздействия на органы управления ВС (тангаж, крен, рысканье) и сканирование зон интереса на приборных панелях (характеризуется когнитивной нагрузкой ),
-
ведение радиосвязи (характеризуется когнитивной нагрузкой ),
-
выполнение требуемых действий в аварийной ситуации (характеризуется когнитивной нагрузкой ).
Ограничения, формируемые до эксперимента:
Ограничения, формируемые по результатам эксперимента:
Ограничения, формируемые по результатам эмпирического опыта:
Матрица условий, используемая в задаче линейного программирования:
-1 0 0 0 0 0
0 -1 0 0 0 0
0 0 -1 0 0 0
-1 -1 0 -1 0 0
1 0 1 0 1 0
1 1 1 1 1 1
0 -1 -1 0 0 -1
1 -1 0 0 0 0
0 -1 1 0 0 0
-1 0 0,5 0 0 0
-1 -1 -1 -1 -1 -1
1 0 0 0 0 0
Правые части неравенств: -1 -1 -1 -1 1 1 -1 0 0 0 -1 0,33.
В результате расчета получены следующие оценки когнитивных нагрузок рассматриваемых модальностей:
Таким образом, оценка нагрузки, обусловленной воздействием на органы управления ВС, а также сканированием зон интереса на приборных панелях, составляет 1/3 критической когнитивной нагрузки, а оценка нагрузки, обусловленной выполнением требуемых действий в аварийной ситуации, — 2/3 критической когнитивной нагрузки. Расчет показал, что нагрузка, обусловленная ведением радиосвязи, пренебрежимо мала.
Проверка единственности решения, выполненная приведенным выше методом, показала, что решение задачи линейного программирования единственно.
Пример 2: оценка когнитивной нагрузки на разных этапах посадки самолета
Рассматриваются три этапа захода на посадку ВС:
-
начальный и промежуточный участки захода на посадку (approach) на высоте 3000—4000 метров от поверхности земли (характеризуется когнитивной нагрузкой );
-
конечный этап захода на посадку (final approach) на высоте 300—1000 метров от поверхности земли (характеризуется когнитивной нагрузкой );
-
посадка (landing) на высоте 0—30 метров от поверхности земли до остановки на ВПП (характеризуется когнитивной нагрузкой ).
Учитываются два вида дополнительных модальностей деятельности:
-
пилотирование в условиях сдвига ветра (характеризуется когнитивной нагрузкой );
-
пилотирование в условиях ограниченной видимости (характеризуется когнитивной нагрузкой ).
Ограничения, формируемые до эксперимента:
Ограничения, формируемые по результатам эксперимента:
Ограничения, формируемые по результатам эмпирического опыта:
Матрица условий, используемая в задаче линейного программирования:
-1 0 0 0 0 0 0 0 0 0 0 0
0 -1 0 0 0 0 0 0 0 0 0 0
0 0 -1 0 0 0 0 0 0 0 0 0
0 0 0 -1 0 0 0 0 0 0 0 0
0 0 0 0 -1 0 0 0 0 0 0 0
-1 0 0 -1 0 -1 0 0 0 0 0 0
-1 0 0 0 -1 0 -1 0 0 0 0 0
-1 0 0 -1 -1 -1 -1 0 0 0 0 -1
1 0 0 1 1 1 1 0 0 0 0 1
0 -1 0 -1 0 0 0 -1 0 0 0 0
0 -1 0 0 -1 0 0 0 -1 0 0 0
0 -1 0 -1 -1 0 0 -1 -1 0 0 -1
0 1 0 1 1 0 0 1 1 0 0 1
0 0 -1 -1 0 0 0 0 0 -1 0 0
0 0 -1 0 -1 0 0 0 0 0 -1 0
0 0 -1 -1 -1 0 0 0 0 -1 -1 -1
-1 1 0 0 0 0 0 0 0 0 0 0
0 -1 1 0 0 0 0 0 0 0 0 0
-1 0 0 1 0 0 0 0 0 0 0 0
-1 0 0 0 1 0 0 0 0 0 0 0
1 0 0 0 0 -1 0 0 0 0 0 0
1 0 0 0 0 0 -1 0 0 0 0 0
0 1 0 0 0 0 0 -1 0 0 0 0
0 1 0 0 0 0 0 0 -1 0 0 0
0 0 1 0 0 0 0 0 0 -1 0 0
0 0 1 0 0 0 0 0 0 0 -1 0
-1 -1 1 0 0 0 0 0 0 0 0 0
Правые части неравенств:
-1 -1 -1 -1 -1 -1 -1 -1 1 -1 -1 -1 1 -1 -1 -1 0 0 0 0 0 0 0 0 0 0 1.
В результате расчета получены следующие оценки когнитивных нагрузок рассматриваемых модальностей:
Таким образом, оценка нагрузки, обусловленной начальным/промежуточным участками захода на посадку, составляет 1⁄5 критической когнитивной нагрузки, оценка нагрузки, обусловленной конечным этапом захода на посадку, — 2⁄5 критической когнитивной нагрузки, оценка нагрузки, обусловленной посадкой, — 3⁄5 критической когнитивной нагрузки; пилотирование при сдвиге ветра и пилотирование в условиях ограниченной видимости добавляют по 1⁄5 критической когнитивной нагрузки; взаимодействие начального/промежуточного участков захода на посадку и пилотирования при сдвиге ветра, подхода к аэропорту и пилотирования в условиях ограниченной видимости, а также конечного этапа захода на посадку и пилотирования при сдвиге ветра составляют по 1⁄5 критической когнитивной нагрузки; остальные учитываемые компоненты когнитивной нагрузки пренебрежимо малы.
Проверка единственности решения, выполненная приведенным выше методом, показала, что решение задачи линейного программирования единственно.
В качестве иллюстрации на рис. 3 приведена гистограмма появления различных значений наблюдаемых расстояний до выигравшего нейрона самоорганизующейся карты Кохонена при обучении, а также в случаях нормального и аномального состояний/поведения одного из пилотов, участвующих в экспериментах. При выборе критического расстояния, обозначенного пунктирной линией (по максимуму при обучении в нормальном состоянии), оценка вероятности ошибочной диагностики составляет 0,11, причем все ошибки связаны с интерпретацией нормального состояния пилота как аномального. Точечная диаграмма на рис. 4 иллюстрирует связь нормальных/аномальных состояний/поведения наблюдаемого пилота с высотой воздушного судна.
Фотография на риc. 5 демонстрирует рабочую обстановку во время эксперимента: пилот за пультом тренажера в процессе выполнения упражнений.
Рис. 3. Гистограмма появления различных значений наблюдаемых расстояний до выигравшего нейрона самоорганизующейся карты Кохонена
Fig. 3. Histogram of the appearance of various values of the observed distances to the winning neuron of the Kohonen self-organizing map
Рис. 4. Нормальные/аномальные состояния/поведение наблюдаемого пилота при различной высоте полета воздушного судна
Fig. 4. Normal/abnormal conditions/behavior of the observed pilot at different flight heights of the aircraft
Обсуждение
В отличие от методик оценки резервов внимания посредством постановки вторичной задачи, предлагаемый подход не добавляет пилоту новые модальности деятельности, использует естественные поведенческие маркеры (айтрекинг) и обеспечивает не только детектирование перегрузки, но и количественную декомпозицию интегральной нагрузки по модальностям и их взаимодействиям. Это позволяет переходить от констатации «ресурс исчерпан» к диагностике «какой именно ресурс перегружен и где возникает интерференция», что критично для эргономического анализа и проектирования интерфейса (Wickens, 2002; Кукушкин и др., 2008).
Существующие разработки, ориентированные на поиск эргономических и психологических уязвимостей операторской деятельности, как правило, фокусируются на выявлении проблемных факторов и условий, приводящих к ошибкам и росту напряжения, но редко дают формальную количественную декомпозицию интегральной нагрузки по модальностям деятельности и межмодальным взаимодействиям (Косьянчук и др., 2022).
Описанный в статье подход к количественной оценке компонентов интегральной когнитивной нагрузки пилотов опирается на объективные и измеримые показатели, допускающие однозначную интерпретацию и применимые в условиях, приближенных к реальной эксплуатации ВС. Этот подход предполагает выявление факта выхода в аномальное состояние, обусловленное превышением критического уровня интегральной когнитивной нагрузки, с помощью самоорганизующихся карт Кохонена, которые настраиваются по показателям работы пилота в нормальном режиме. Согласование количественных уровней когнитивной нагрузки, привязанной к различным видам деятельности, выполняется путем решения задачи линейного программирования.
Важно, что рассмотренный подход предполагает адаптивную настройку инструмента для распознавания аномального состояния пилотов, в качестве которого выступает самоорганизующаяся карта Кохонена. Эта настройка может быть выполнена неинвазивно в режиме реального времени (путем айтрекинга), без создания дополнительной нагрузки на пилота и отвлечения его внимания на раздражители, не связанные с пилотированием (пилот может даже не подозревать, что ведутся какие-либо измерения, связанные с его профессиональной деятельностью) (Куравский и др., 2023; Куравский и др., 2024).
Указанная адаптивная настройка выполняется для каждого пилота отдельно, поэтому разброс индивидуальных характеристик пилотов, создающий много проблем при решении диагностических задач, не может влиять на результат (Куравский и др., 2024; Kuravsky, Greshnikov, Orishchenko, 2025).
Поскольку диагностический вывод о возникновении аномальной ситуации, вызванной деятельностью или состоянием пилота, принимается, когда расстояние входного набора первичных показателей ГДА до выигравшего нейрона самоорганизующейся карты Кохонена в евклидовой метрике перейдет критический уровень, который определяется квартилем эмпирического распределения расстояний до выигравшего нейрона, соответствующим заданной малой вероятности, предложенный подход устраняет проблему оценки критических уровней измеряемых характеристик, препятствующую решению многих диагностических задач.
Существенно, что предложенный подход требует минимального объема релевантных наблюдений, причем эти наблюдения сравнительно легко доступны.
Заключение
В работе предложен и апробирован новый метод количественной оценки компонентов интегральной когнитивной нагрузки пилота, который включает два компонента: выявление фактов превышения критического уровня интегральной когнитивной нагрузки с помощью самоорганизующихся карт Кохонена, обученных на индивидуальных паттернах глазодвигательной активности, и количественную оценку вкладов различных модальностей деятельности путем решения задачи линейного программирования. Преимуществами предложенного подхода являются его объективность, неинвазивность, адаптация к индивидуальным особенностям пилота и возможность перехода от констатации перегрузки к пониманию ее структуры.
Предложенный метод развивает и дополняет существующие ресурсно-ориентированные подходы к оценке операторской деятельности, занимая собственную нишу в исследовательском инструментарии. В отличие от прогнозных моделей множественных ресурсов, опирающихся на априорный анализ структуры задач (Wickens, 2002), предлагаемый метод является эмпирико-диагностическим. Он позволяет не предсказывать потенциальную интерференцию на основе схожести ресурсов, а экспериментально выявлять фактические «узкие места» во взаимодействии, которые проявляются при целенаправленном провоцировании усложняющими факторами. Если теория множественных ресурсов объясняет, почему две визуально-пространственные задачи будут конкурировать, рассмотренный метод показывает, какое именно сочетание модальностей становится критической уязвимостью в конкретных условиях.
В отличие от методик оценки резервов внимания, где дополнительная задача служит индикатором общей загруженности (Кукушкин и др., 2008), при использовании данного метода совмещенная деятельность является не измерительным инструментом, а целевым объектом исследования. При этом измеряется не «остаток» ресурсов, а анализируется, как под нагрузкой меняется структура деятельности: перераспределяются фиксации внимания, изменяются когнитивные стратегии, что и позволяет локализовать уязвимости. Таким образом, предлагаемый подход обеспечивает более высокую диагностическую конкретность, связывая аномалии в профессиональной деятельности с определенными характеристиками интерфейса и состояния пилота.
Принципиальное отличие предлагаемого подхода состоит в том, что он не требует введения вторичной задачи и тем самым не изменяет структуру естественной деятельности пилота. Вместо оценки «остаточного ресурса» в целом метод предоставляет количественные оценки вкладов модальностей и межмодальных взаимодействий, что делает возможным адресное проектирование тренировок и эргономических изменений интерфейса.
Вычисленные количественные оценки компонентов нагрузки открывают новые практические возможности для:
- прогнозирования рисков возникновения аномальных состояний пилота при различных сценариях полета;
- совершенствования программ летной подготовки на тренажерах за счет целенаправленного воспроизведения уязвимых модальностей деятельности;
- проведения углубленной эргономической экспертизы информационно-управляющего поля кабины на этапах проектирования и модернизации.
Дальнейшие исследования должны быть направлены на интеграцию данного подхода с системами интеллектуальной поддержки экипажа для создания адаптивных интерфейсов способных компенсировать выявленные уязвимости в реальном времени.
1 Модальность (от лат. modus — размер, способ, образ) в разных предметных областях — категория, характеризующая способ действия или отношение к действию. В зависимости от контекста, можно говорить о модальности восприятия (способе восприятия), модальности деятельности (способе деятельности) и т. д.


