Оценка действий экипажа самолёта по данным видеоокулографии

Введение

Актуальность проблемы эффективного учета человеческого фактора при проектировании и эксплуатации транспортных средств признается специалистами и регулирующими органами профильных отраслей. На сегодняшний день этот фактор наряду с уровнем профессиональной подготовки становится одной из основных причин возникновения критических ситуаций в полете. При этом его влияние станет еще более значимым в будущем, благодаря ряду тенденций, таких как повышение уровня функциональности, автоматизации и интеллектуализации бортового оборудования воздушных судов (ВС).

В настоящее время этот фактор и его влияние на развитие критических ситуаций в полете все еще недостаточно учитывается на этапах анализа безопасности и проектирования кабины экипажа. Современный подход к его учету, как правило, базируется только на анализе статистики произошедших инцидентов и происшествий, что является основным его недостатком. В результате, существующие методики и рекомендации, учитывающие человеческий фактор, направлены лишь на изменения в процессах обучения лётного состава или процедурах эксплуатации плохо спроектированных систем и устройств, не позволяя количественно оценивать риски в конкретных полетах и выявлять факторы, способствующие возникновению опасных лётных ситуаций. Проблема заключается, во-первых, в отсутствии приемлемых математических моделей и методов и, во-вторых, в отсутствии эффективных и обоснованных средств оценки состояния экипажей, а также обусловленных этими состояниями мер по снижению рисков пилотирования.

Проведенные исследования [5; 6] показали, что в настоящее время наиболее перспективными и валидными средствами оценки состояния экипажей являются неинвазивные технологии, основанные на анализе характеристик распределения визуального внимания (видеоокулография и оценка параметров глазодвигательной активности); при этом для регистрации движения взора пилотов применяются бесконтактные технические средства — айтрекеры, которые позволяют исключить субъективную оценку показателей состояния пилота.

В этой работе рассматриваются методы оценки уровня подготовки и состояния экипажа на основе данных видеоокулографии и перспективы их применения для решения практических задач.

К настоящему времени получен ряд результатов, связанных с выявлением уровня подготовки экипажа [13—22], где в подавляющем большинстве случаев рассматриваются только параметры траектории воздушного судна и не учитываются другие характеристики. Ограничения, которые делают невозможным реальное практическое применение этих результатов, детально рассмотрены в работах [7; 9—12]. Следует отметить, что многие из указанных ограничений обусловлены применением очевидных традиционных метрик для сравнения фрагментов полетов.

Указанные выше проблемы преодолеваются, опираясь на математические модели и методы оценки уровня подготовки экипажа, рассмотренные в данной статье. В качестве иллюстрации представлен пример определения режима полета и квалификации пилота по данным видеоокулографии на основе сравнений оценок правдоподобия траекторий движения взора. Этот пример позволяет говорить о возможности значимой дискриминации траекторий движения взора пилотов на разных фазах полета и значимой дискриминации траекторий движения взора опытных и неопытных пилотов на определенных фазах полета, что свидетельствует о перспективности применения представленного подхода для анализа данных видеоокулографии.

Полученные результаты могут применяться — в том числе в режиме реального времени — для оценки работы экипажей, включая контроль качества их обучения; поддержки формирования инструкторских оценок; обеспечения современных форм адаптивного обучения экипажей; сравнения различных вариантов форматов системы экранной индикации и пультов управления самолётными системами в кабине экипажа; оптимизации компоновки индикаторов и пультов кабины экипажа ВС; оценки влияния информационно-управляющего поля кабины экипажа ВС и условий полета на риски возникновения авиационных инцидентов; сравнения различных средств и программ обучения лётного состава при проектировании современных летательных аппаратов.

Эти результаты существенно отличаются от вероятностных методов, применяемых при управлении системами, прогнозировании технических неисправностей, мониторинге состояния и поддержке управляющих действий пилотов [3].

Основные компоненты подхода: математические модели,
методы и связи между ними

Результаты работы экипажа представляются наборами временных рядов, описывающих глазодвигательную активность (ГДА), сопутствующую действиям пилотов. Этапы оценки уровня подготовки экипажа на основе анализа данных видеоокулографии, включая математические модели, методы и связи между ними, показаны на рис. 1.

Разработанная концепция оценки уровня подготовки экипажа [7; 9—12] опирается на интегральные сравнения исследуемых фрагментов полета с сопоставимыми фрагментами из специализированной базы данных, содержащей паттерны, характеризующие выполнение лётных упражнений экипажами с различным уровнем подготовки, включая нормальное и аномальное пилотирование. На исследуемый фрагмент переносятся характеристики ближайшего паттерна из специализированной базы данных. При этом выполняется распознавание аномальной деятельности и определение параметров полета, характеризующих ошибки экипажа, с целью их интерпретации.

Под паттерном понимается представление определенного фрагмента полета, или лётного упражнения, с помощью набора релевантных параметров. Эти паттерны соотносятся с одним из распознаваемых уровней сформированности навыков пилотирования.

Аномальность деятельности выявляется через принадлежность к соответствующим кластерам паттернов. Система позволяет выявлять параметры, ответственные за принадлежность к определенным кластерам, а также за различия между паттернами.

Информация, собранная в специализированной базе данных, должна включать в себя параметры выполнения упражнений, а также соответствующие комментарии, содержащие экспертные оценки из различных источников. Комментарии экспертов должны выявлять слабые стороны работы экипажей, включая информацию о типичных ошибках в терминах параметров деятельности и советы инструктору о том, как исправить указанные недостатки.

Общее допущение заключается в том, что действия экипажа, выполняемые разными стилями и с разным качеством, а также лётные упражнения разных типов отделяются друг от друга в многомерном пространстве, сформированном в специально подобранных метриках. Это утверждение обосновывается результатами вычислительных экспериментов, использующих релевантные эмпирические данные. Общий подход к решению задачи, вытекающий из этого допущения, опирается на выбор паттернов.

Разработанный подход предполагает применение сложной комбинации методов анализа случайных процессов и многомерного статистического анализа. «Интеллект» диагностических средств содержится в эмпирических данных и может гибко изменяться по мере их накопления. Предположения, адекватность которых требует обоснования, не используются. Данный подход опирается на экспериментальные данные, включающие информацию о распределении визуального внимания пилотов, а также экспертные оценки результатов выполнения лётных упражнений.

Получаемые в процессе анализа результаты сравнения исследуемых фрагментов полета и данных видеоокулографии с сопоставимыми образцами фрагментов полетов и данных видеоокулографии из специализированной базы данных представляются оценками, построенными в результате многомерного статистического анализа траекторий движения глаз или временных рядов первичных показателей ГДА [1].

Опираясь на результаты последовательного выполнения метода главных компонентов, многомерного шкалирования и кластерного анализа траекторий движения глаз, формируются кластеры фрагментов полетов различных типов и качества исполнения, включая аномальные. Они используются для определения вероятностных классификационных правил разделения различных типов и уровней качества выполнения упражнений в пространстве шкалирования, а также аномально выполненных действий экипажа.

Вычисление вероятностного профиля принадлежности к целевым кластерам, на основе которого строится итоговое заключение, обеспечивается с помощью дискриминантно­го анализа. Один из применяемых способов оценки уровня подготовки экипажа при этом сводится к определению кластера и качества выполнения анализируемого фрагмента полета, а также оценок вероятностей принадлежности его к целевым кластерам, связанным с типами упражнений и качеством пилотирования.

При работе с временными рядами первичных показателей ГДА, для содержательного анализа причин выявляемых аномальностей выполняется детализация вкладов параметров в различия фрагментов полетов в заданной метрике, а именно: вычисляются относительные вклады исследуемых параметров в элементы матриц взаимных расстояний, что позволяет определить параметры, характеризующие ошибки пилота, с целью выявления их причин.

Ключевым элементом применяемого подхода является метрика правдоподобия для сравнения траекторий движения взора, без применения которой многомерное шкалирование и кластерный анализ не дали бы желаемых результатов. Известные ранее метрики этот результат не обеспечивают.

Количественная оценка уровня подготовки экипажа допускает три способа определения класса навыков:

—  прямое сравнение анализируемых упражнений с паттернами деятельности из базы данных, используя применяемую метрику (при этом на исследуемое упражнение переносятся характеристики ближайшего паттерна);

—  вероятностные оценки распознавания класса навыков с помощью или классического дискриминантного анализа, используя выборочные функции распределения расстояний упражнений до центров кластеров в пространстве шкалирования, или квантового дискри­минантного анализа [8];

—  выбор класса навыков с помощью вероятностного профиля пребывания в диапазонах параметров деятельности, используя байесовские оценки правдоподобия.

Рассматриваемый подход можно применять даже при малых выборках лётных упражнений, поскольку и в этом случае можно выбрать паттерн и рассчитать вклад параметров во взаимные расстояния.

Эксперт, принимающий участие в процедуре анализа результатов выполнения лётных упражнений, отвечает за:

—   выбор кластеров аномальных упражнений в пространстве шкалирования;

—    выявление и интерпретацию аномалий и ошибок.

Применяемый подход к оценке уровня подготовки экипажа содержит следующие элементы новизны:

—  основной формой представления анализируемых данных являются матрицы взаимных расстояний исследуемых процессов в метрике правдоподобия;

—  разработан и программно реализован дискриминантный анализ, построенный на принципах квантовых вычислений;

—  представление фрагментов полетов в пространстве шкалирования и их распределение по типам путем применения многомерного шкалирования к матрицам взаимных расстояний и последующего кластерного анализа.

При решении практических задач, в случае малых выборок лётных упражнений, целесообразно вычислять относительные вклады параметров во взаимные расстояния между упражнениями, а в случае больших выборок — или проводить дискриминантный анализ (в классическом или квантовом варианте), или оценивать вероятности принадлежности к релевантным кластерам с помощью вероятностных профилей пребывания в определенных системой диапазонах значений параметров с детализацией оценок по каждому параметру.

На этапе предварительной обработки выбираются временные интервалы для сравнения упражнений, и проводится нормализация данных. Определяются подмножества временных рядов, соответствующие общим временным интервалам, которые подходят для сравнения анализируемых упражнений одного и того же типа. Прежде чем приступить к дальнейшим вычислениям, временные ряды, характеризующие историю выполнения упражнений, приводят к единой шкале.

Применение рассмотренных математических методов и моделей для решения практических задач обеспечивается инструментальным средством «The Intelligent System for Flight Analysis» (ISFA) предназначенным для анализа поведения сложных систем, представленных изменяющимися во времени наборами параметров [7; 9—12]. Это средство первоначально разрабатывалось для оценки результатов выполнения лётных упражнений, но позднее стало применяться для анализа данных видеоокулографии. Оно реализовано в среде графического программирования LabVIEW и официально зарегистрировано в Роспатенте [4].

Марковская модель представления динамики перемещений взора, связанная
с метрикой правдоподобия для сравнения траекторий его движения

Сравнение динамики перемещений взора пилотов по зонам индикации опирается на оценки правдоподобия, количественно определяющие степень согласованности движений взора, измеренных при выполнении различных лётных упражнений.

Для представления динамики перемещений взора по зонам индикации используются марковские процессы с дискретными состояниями и дискретным временем (цепи Маркова). В этих моделях зонам индикации соответствуют определенные состояния, образующие полную систему (т. е. данные состояния охватывают все допустимые области, куда может быть направлен взор)

Пребывание в состоянии определяется нахождением взора в соответствующей ему зоне индикации. Такт дискретного времени — в зависимости от объема накопленных эмпирических данных — либо задается определенным (и, как правило, небольшим) интервалом времени, либо соответствует интервалу времени, определяющему переход от одной фиксации взора к другой. Вероятности переходов между состояниями являются параметрами модели. Каждому исследуемому лётному упражнению l е {0, ... , z} соответствует своя модель с уникальным набором вероятностей переходов между состояниями.

Перемещения взора характеризуются последовательностями пройденных зон индикации, которые в терминах данной модели интерпретируются как последовательности состояний.

Динамика вероятностей пребывания в состояниях модели как функций дискретного времени определяется следующим матричным уравнением:

р (t + 1) = Mlp (t),

где t — дискретное время; 0 < t < T; t, T e N; T — конечный момент времени; N — множество натуральных чисел; вектор p (t) = (p0 (t), ..., pn (t))T — представляет вероятности пребывания в состояниях модели в момент времени t; n — число состояний марковского процесса; Ml = || mij,i || — стохастическая матрица вероятностей перехода между состояниями цепи Маркова порядка n , в которой mij,i — вероятность перехода из состояния j в состояние i для исследуемого лётного упражнения l.

Идентификация рассмотренных марковских моделей для исследуемых упражнений l e {0, ... , z} выполняется, используя экспериментальные данные о частотах переходов из одной зоны индикации в другую. Каждое исследуемое упражнение l имеет свою идентифицированную матрицу Ml.

Для вычисления вероятностей P (vr | Cl) прохождения последовательности из r состояний марковского процесса при условии принадлежности к исследуемому упражнению l, где Cl — факт принадлежности к исследуемому упражнению l, а vr — событие, представляющее собой прохождение последовательности из r состояний, используются элементы матриц M_l:

Величины ln P (vr | Cl) применяются в качестве оценок правдоподобия прохождения последовательности из r состояний при условии принадлежности к исследуемому упражнению l. Использование оценок правдоподобия вместо соответствующих вероятностей при анализе динамики прохождения состояний модели обусловлено низкими порядками указанных вероятностей, которые неудобны для машинных вычислений.

Формирование матрицы взаимных расстояний в метрике правдоподобия в нотации графического языка G среды графического программирования LabVIEW представлено на рис. 2.

Пример практического применения: определение режима полета и квалификации пилота по данным видеоокулографии на основе сравнений оценок правдоподобия траекторий движения взора

Траектории движения взора измерялись в ходе экспериментов на универсальном стенде прототипирования кабины экипажа, разработанном во ФГУП «ГосНИИАС» [2]. В экспериментах принимала участие большая группа специалистов ФГУП «ГосНИИАС» и МГППУ. Режимы полета и квалификация пилотов определялась на основе сравнений оценок правдоподобия траекторий движения взора. Данные видеоокулографии регистрировались с помощью айтрекера Gazepoint GP3 (Gazepoint Research Inc.), представленного

на рис. 3. Это устройство является бесконтактным техническим средством и позволяет исключить субъективную оценку показателей состояния пилота.

В процессе экспериментов регистрировались траектории движения взора на индикаторах на лобовом стекле (ИЛС). Содержание индикации адаптивно изменялось в зависимости от высоты полета при переходе через высоты 1500 ft и 100 ft, поэтому данные видеоокулографии сопоставлялись для упражнения «Посадка», включающего три фазы полета, представленные следующими диапазонами высот:

—    более 1500 ft (снижение до 1500 ft);

—    от 100 до 1500 ft (снижение после 1500 ft);

—    менее 100 ft (собственно посадка).

Упражнения выполнялись двумя специалистами, имеющими навыки пилотирования, но разную квалификацию (один из них рассматривался как опытный, а второй — как неопытный пилот).

В качестве иллюстраций на рис. 4 представлены «тепловые» карты распределения внимания для различных режимов полетов и пилотов разной квалификации. Прямые качественные сравнения «тепловых» карт позволяют заключить, что нет оснований надеяться на выявление какой-либо значимой дискриминации между режимами полета и пилотами, опираясь только на данную форму представления ГДА.

Анализ ГДА пилотов выполнялся на основе сравнений траекторий движения взора в метрике правдоподобия с помощью инструментального средства Intelligent System for Flight Analysis (ISFA 3.0).

Представленные в табл. 1 и 2 результаты предварительного дискриминантного анализа Фишера представлений траекторий движения взора в пространствах шкалирования с проверкой гипотез о незначимости отличий траекторий движения взора на различных фазах полета и для различных пилотов с вычислением F-статистик выявили, что:

—   отсутствует значимая дискриминация между опытным и неопытным пилотами при полете выше 1500 ft и ниже 100 ft;

—   для обоих пилотов имеет место высокозначимая дискриминация между разными фазами полета;

—   при полете на высотах от 1500 до 100 ft имеет место высокозначимая дискриминация между опытным и неопытным пилотами.

Поэтому при последующем анализе сравнивались четыре группы траекторий движения взора:

—               оба пилота при полете на высотах выше 1500 ft;

—               опытный пилот при полете на высотах от 1500 до 100 ft;

—               неопытный пилот при полете на высотах от 1500 до 100 ft;

—               оба пилота при полете на высотах ниже 100 ft.

Таблица 1

Результаты предварительного дискриминантного анализа Фишера представлений траекторий движения взора в пространствах шкалирования: проверка гипотез о незначимости отличий траекторий движения взора на различных фазах полета и для различных пилотов с вычислением F-статистик (F-статистики)

Таблица 2

Результаты предварительного дискриминантного анализа Фишера представлений траекторий движения взора в пространствах шкалирования: проверка гипотез о незначимости отличий траекторий движения взора на различных фазах полета и для различных пилотов с вычислением F-статистик (p-значения)

После ввода в специализированную базу данных фрагментов ГДА для различных режимов полета и пилотов была вычислена матрица взаимных расстояний между траекториями движения взора в метрике правдоподобия, представленная в цветовой шкале на рис. 5.

В результате многомерного шкалирования исследуемые фрагменты ГДА были упорядочены в двумерном пространстве, демонстрируя высокую степень дискриминации (рис. 6).

В качестве иллюстраций, на рис. 7 и 8 соответственно, приведено сопоставление «сырых» (т. е. необработанных) траекторий движения взора опытного пилота при полете на высотах выше 1500 ft и ниже 100 ft и опытного и неопытного пилотов при полете на высотах от 1500 ft до 100 ft.

Дискриминантный анализ, выполненный на основе подходов, применяемых в квантовых вычислениях (рис. 9), привел к 5 ошибкам, что составляет 22% от объема выборки и позволяет говорить о значимом отличии результата распознавания указанных выше четырех групп траекторий движения взора от равномерного распределения по критерию Пирсона (X12 = 7,35; р < 0,007).

Классический дискриминантный анализ распределения исследуемых фрагментов ГДА в пространстве шкалирования привел к такому же результату: 5 ошибок (22% от объема выборки). Дискриминация фрагментов ГДА является статистически высокозна­чимой (статистика Уилкса=0,04; ассоциированная статистика F (6,36)=22,83; p<0,0001).

Таким образом, рассмотренный пример позволяет говорить о возможности:

—  значимой дискриминации траекторий движения взора пилотов на разных фазах полета;

—  значимой дискриминации траекторий движения взора опытных и неопытных пилотов на определенных фазах полета, что свидетельствует о перспективности применения представленного подхода для анализа данных видеоокулографии, особенно когда классические методы не позволяют получать полезные выводы.

В перспективе, выявленная значимая дискриминация траекторий движения взора позволит идентифицировать как выполняемые режимы полёта, так и уровень подготовки пилотов по данным их глазодвигательной активности в автоматическом режиме в реальном времени. Очевидно, что область применения рассмотренного подхода не ограничивается авиационными приложениями и может быть распространена на близкие по содержанию задачи.

Основные результаты и выводы

Разработаны математические модели и методы оценки уровня подготовки экипажа на основе данных видеоокулографии, которые опираются на сравнения исследуемых фрагмен-

тов глазодвигательной активности пилотов с сопоставимыми паттернами данных видеоокулографии различных типов и качества исполнения, содержащимися в заранее сформированной специализированной базе данных. Для получения оценок применяется сложная комбинация методов анализа случайных процессов и многомерного статистического анализа.

Рассмотренный пример определения режима полета и квалификации пилота по данным видеоокулографии позволяет говорить о возможности:

—  значимой дискриминации траекторий движения взора пилотов на разных фазах полета;

—   значимой дискриминации траекторий движения взора опытных и неопытных пилотов на определенных фазах полета, что свидетельствует о перспективности применения представленного подхода для анализа данных видеоокулографии, особенно когда классические методы не позволяют получать полезные результаты.

В перспективе, выявленная значимая дискриминация траекторий движения взора позволит идентифицировать как выполняемые режимы полёта, так и уровень подготовки пилотов по данным их глазодвигательной активности в автоматическом режиме в реальном времени.

Полученные результаты являются существенным развитием средств прогнозирования рисков и выявления факторов, способствующих возникновению опасных лётных ситуаций, в том числе в режиме реального времени, и могут применяться:

—   для оценки работы экипажей, включая контроль качества их обучения;

—    поддержки формирования инструкторских оценок;