Оценка информационно-управляющего поля кабины пилотов с использованием нейронных сетей и методов

В работе рассматривается методика оценки ИУП кабины пилотов с использованием показателей глазодвигательной активности и вероятностной нейронной сети, при помощи которой вычисляется итоговая оценка рассматриваемого варианта индикации. Данная методика была апробирована на базе универсального стенда прототипирования с участием лётных экспертов. Применение данной методики способствует быстрому и качественному проведению эргономической оценки ИУП кабины пилотов, что в свою очередь повышает эффективность человеко-машинного взаимодействия и как следствие безопасность авиаперевозок

Введение

Целью оценки информационно-управляющего поля (ИУП) кабины пилотов является оптимизация ИУП и как следствие снижение нагрузки на экипаж, что служит залогом снижения числа лётных происшествий, основной причиной которых по-прежнему является человеческий фактор. Рассматриваемый в данной публикации подход основывается на использовании первичных показателей ГДА, фиксируемых в процессе проведения лётных экспериментов с помощью айтрекера, и последующем сравнении данных показателей, относящихся к различным оцениваемым вариантам индикации с помощью вероятностной нейронной сети. Основное преимущество данной оценки — это получение быстрого и обоснованного результата с использованием такого объективного средства контроля, как айтрекинг.

Учитывая колоссальный объём данных, который вынужден обрабатывать пилот при взаимодействии с ИУП современных ВС, задача оптимизации ИУП кабины пилотов является актуальной. ИУП с высокими эргономическими показателями позволяет минимизировать информационную загруженность и улучшить ситуационную осведомленность пилота [1], [2].

Летные происшествия, обусловленные потерей управляемости в полете, чаще остальных являются фатальными по последствиям ([3], [4]). В [5] сказано, что с 2001 по 2011 год летные происшествия, связанные с этими инцидентами, были главной причиной катастроф в гражданской авиации. С этой категорией происшествий связано такое понятие как попадание в сложное пространственное положение (СПП). Корректные действия пилота определяют, разовьется СПП в катастрофическую ситуацию (в частности, аэродинамическое сваливание) или же удастся вернуться к запланированным параметрам полета.

Целью данной работы является разработка системы быстрой оценки на основе видеоокулографии, обеспечивающей выбор наилучшего варианта индикации из рассматриваемых, и решение конкретной прикладной задачи по определению кадра пилотажной индикации оптимального для вывода из СПП. Для этого необходимо решить задачи по разработке соответствующего математического аппарата и программного обеспечения, после чего провести серию лётных экспериментов на специальном пилотажном стенде и с использованием предлагаемой системы оценки определить лучший вариант индикации из рассматриваемых.

Методика экспресс-оценки информационно-управляющего поля кабины пилотов

Методика экспресс-оценки ИУП кабины пилотов базируется на анализе первичных показателей ГДА давно известных и описанных в экспериментальной психологии [6].

Авторами статьи была проведена оценка уровня корреляционных связей между показателями ГДА. С помощью метода главных компонент, были выделены три основных компонента, объясняющих 86,5% суммарной наблюдаемой дисперсии. Для упрощения вычислений и в целях наибольшей наглядности при интерпретации результатов эргономической оценки, для каждого компонента были найдены наиболее близкие (коллинеарные) показатели ГДА, которые в контексте решаемой задачи являются критериями оценки эффективности считывания информации с индикаторов (см. Таблица 1):

Таблица 1. Критерии для оценки эффективности считывания информации с индикаторов

Общая оценка ИУП кабины пилотов вычисляется с помощью вероятностной нейронной сети, суть работы которой заключается в классификации образцов на основе оценок их близости к эталонам, принадлежащим к различным классам. В контексте задачи под эталонами понимаются оцениваемые варианты индикации и их признаки (первичные показатели ГДА).

Данная сеть не требует обучения в обычном понимании и способна настраиваться по малым выборкам эталонов. Для построение модели требуется обучающий набор данных, и настройка параметров функций активации нейронов внутреннего слоя.

В контексте рассматриваемой задачи сеть состоит из 3-х слоев:

• Входной слой. Кол-во компонентов входного сигнала равно количеству параметров класса (в данной задаче – количеству критериев оценки, т.е. трём).
• Слой эталонов (внутренний слой). Этот слой состоит из элементов на радиальных базисных функциях. Количество его элементов равно количеству эталонов, которые должны быть сгруппированы по классам. В контексте задачи каждый элемент на радиальных базисных функциях соответствует одному из вариантов индикации. Количество классов равно двум – «хорошая индикация» и «плохая индикация», причём принадлежность каждого варианта индикации к одному из этих классов определяется с помощью экспертных оценок.
• Выходной слой, построенный по схеме «Один-из-N» (в данной задаче N=2). В этом слое суммируются полученные значения из внутреннего слоя. Каждому классу соответствует один выходной элемент. Каждый такой элемент соединен со всеми радиальными элементами, относящимися к его классу, со всеми остальными радиальными элементами соединение отсутствует. Таким образом, выходной элемент просто складывает отклики всех элементов, принадлежащих к его классу. Значения выходных сигналов интерпретируются как пропорциональные оценкам вероятности принадлежности соответствующим классам. После нормировки получаются окончательные оценки вероятностей принадлежности к заданным классам.

Рис 1. Модель вероятностной нейронной сети для получения итоговой оценки.

В качестве функции активации эталонов внутреннего слоя используется функция Гаусса:

где x обозначает сигнал с входящего синапса,  задает «ширину» функции, причем для каждого элемента на радиальных базисных функциях можно задать свое значение для получения наиболее достоверного результата.

Общая оценка представляет из себя вещественное значение в диапазоне от 0 до 1, где в качестве нуля принимается наихудший вариант индикации, а в качестве единицы – наилучший.

Архитектура программной реализации системы оценки ИУП

Программный модуль экспресс-оценки ИУП является составной частью комплекса эргономических оценок [7], [8]. Процесс получения показателей ГДА и других данных с использованием данного комплекса подробно рассмотрен в соответствующей публикации [9], поэтому в данном разделе будет рассмотрен только процесс обработки уже полученных данных – первичных показателей ГДА.

Итак, рассмотрим архитектуру программной реализации модуля экспресс-оценки ИУП (см. Рисунок 2).

Рис. 2. Архитектура программной реализации модуля экспресс-оценки.

 С помощью ПО просмотра результатов эксперимента, производится выбор вариантов индикации для оценки. Затем формируются пути к файлам содержащим данные с первичными показатели ГДА для выбранных вариантов индикации и передаются в модуль ретрансляции данных.

Модуль ретранслятор данных запускает приложение формирования обобщенной оценки, которое читает данные об экспериментальной ситуации из файла данных ГДА, на основании которых вычисляются первичные показатели ГДА, которые затем используются при формировании итоговой оценки, с помощью вероятностной нейронной сети. По завершении вычислений, приложение сохраняет в файл оценку по каждому критерию и общую итоговую оценку.

Когда модуль ретранслятор получает сигнал о завершении расчета критериев, он передает путь к данному файлу программе просмотра экспериментов (является частью комплекса эргономических оценок), которая в свою очередь использует эти данные для отображения данных и графиков.

Испытательная среда

Первичные показатели ГДА фиксировались на пилотажном стенде разработанным в ФАУ «ГосНИИАС» при помощи айтрекера Gazepoint GP3 (см. Рисунок 3). Для проведения эксперимента использовалась модель системы управления и динамики самолёта SSJ100 к которой были подключены оцениваемые кадры пилотажной индикации. Перед проведением экспериментов у пилотов была возможность совершить тестовой полёт с каждым вариантом индикации в течении 25 минут.

Рис. 3. Пилотажный стенд ФАУ «ГосНИИАС»

Решение задачи по выбору оптимального варианта пилотажной индикации для вывода из сложного пространственного положения

Задача ставится как поиск оптимального варианта пилотажной индикации для вывода из СПП. На основе анализа зарубежного и отечественного опыта, а также на основе консультации с лётными экспертами, авторами были разработаны три варианта индикации для вывода из СПП. Варианты различаются между собой местонахождением и типом шкал и цифробуквенных обозначений, принципом поведения динамических мнемосимволов, наличием слоя синтезированного видения, и т.д. (см. Рисунок 4).

Вариант КПИ 1 (Штатный)                       Вариант КПИ 2 (Штатный с синтезированным видением)          

Вариант КПИ 3 (Штатный с дополнительными символами)

Рис. 4. Варианты индикации для вывода из СПП

В экспериментах участвовали три опытных пилота (см. Таблица 2).

Таблица 2. Участники экспериментов

В результате эксперимента были получены результаты, свидетельствующие о превосходстве варианта 2 над другими вариантами (см. Рисунок 5). Полученные данные также согласуются с экспертной оценкой пилотов сформированной после проведения экспериментов.

Рисунок 5. Результаты проведения оценки

Заключение

В результате исследования были успешно выполнены задачи по разработке математического аппарата для поиска оптимальных вариантов индикации на основе вероятностной нейронной сети и созданию программного обеспечения на его основе. Данное ПО было внедрено в комплекс эргономической оценки ИУП и апробировано при решении задачи поиска оптимального варианта индикации для выхода из СПП.

Применение данного подхода позволяет проводить быструю эргономическую оценку ИУП кабины пилотов, получая результаты с достаточно высокой степенью достоверности, что снижает временные затраты пилотов и другого высококвалифицированного персонала, и определяет высокую практическую значимость работы, поэтому целесообразно продолжать развитие и внедрение систем эргономической оценки, основанных на применении данного подхода.

1. Грешников И.И., Златомрежев В.И., Перспективное информационно-управляющее поле кабины, реализующее новые способы информационного обеспечения экипажа и управления информационным полем вс. 5-я Международная конференция «Перспективные направления развития бортового оборудования гражданских воздушных судов», сборник докладов. 2019 г.
2. Грешников И.И., Златомрежев В.И., Использование передовых технологий для оптимизации информационно-управляющего поля кабины перспективного самолёта. XVIII всероссийская научная конференция «нейрокомпьютеры и их применение», тезисы докладов. 2020 г.
3. «IATA» International Air Transport Association, 2019. [В Интернете]. Available: https://www.iata.org/contentassets/b6eb2adc248c484192101edd1ed36015/loc-i_2019.pdf. [Дата обращения: 14 июля 2023].
4. В. Ахрамеев, Подготовка пилотов по предотвращению и выводу из сложных пространственных положений и сваливания, Москва: Совещание рабочей группы Совета Федерации, 2019.
5. Руководство по подготовке для предотвращения попадания самолета в сложные пространственные положения и вывода из них, Montreal: International Civil Aviation Organisation, 2014.
6. В. А. Барабанщиков, А. В. Жегалло. Регистрация и анализ направленности взора человека. – Москва : Институт психологии РАН, 2013. – 316 с. – (Методы психологии). – ISBN 978-5-9270-0278-8. – EDN RVLGBN.
7. Грешников И.И., Куравский Л.С., Златомрежев В.И., Юрьев Г.А. Патент на изобретение №2787317. Комлекс проведения эргономических оценок информационно-управляющего поля /Правообладатель ФАУ «ГосНИИАС» (Россия). — Заявка №2021130113; Заяв. 15.10.2021; Зарегистр. 09.01.2023.—(РОСПАТЕНТ).
8. Грешников И.И., Свидетельство о государственной регистрации программы для ЭВМ №2020663266 «ПО постобработки результатов экспериментов глазодвигательной активности» /Правообладатель ФГУП «ГосНИИАС» (Россия). — Заявка №2020662389; Заяв. 15.10.2020; Зарегистр. 26.10.2020.—(РОСПАТЕНТ).
9. Грешников И.И. Разработка архитектуры системы объективных и субъективных оценок информационно-управляющего поля для универсального стенда прототипирования кабины пилотов // Труды ГосНИИАС. Серия: Вопросы авионики. – 2020. – № 5(51). – С. 30-42. – EDN BCEJKK.