Тип коммуникаций между водителем и автомобилем, основанный на дополненной реальности: новый тренд в построении интеллектуальных транспортных систем

Введение

Реальность сегодняшнего дня такова, что люди используют автомобиль как основной способ передвижения, при этом управление автомобилем стало важной частью повседневной жизни. Столь же важной и значимой частью жизни стали автотранспортные аварии. Каждая авария наносит большой ущерб, в особенности, если ее последствия — ранения или гибель людей. Общее количество автотранспортных средств уже превышает миллиард единиц, и сохранение дорожной безопасности становится ключевым вызовом для общества.

Современные технологии дают новые пути к расширению возможностей для обеспечения безопасности с учетом знания закономерностей переработки информации посредством органов чувств водителя. Управление автомобилем становится все сложнее, это подтверждается тем, что не менее 80% аварий вызваны ошибками водителя [Directing driver attention, 2013; Doshi, 2009; Fu, 2013; Park, 2014; Resolving Multiple Occluded, 2003; Topór-Kamiński, 2012].

В этой связи, особую актуальность и интерес сейчас вызывает система управления транспортными потоками — интеллектуальная транспортная система — которая уже получила широкое признание. Так, интеллектуальные транспортные системы позволяют использовать информационные и коммуникационные технологии в автомобилях как таковых и транспортной инфраструктуре в целом. Тем не менее, до настоящего времени большое количество решений, которые реализуются в автомобильной индустрии, основаны на данных о состоянии автомобилей и транспортной ситуации на дорогах без попытки ранжирования этой информации и расстановки приоритетов.

Для сохранения безопасности движения собственного автотранспортного средства водителю приходится обрабатывать большие объемы информации о быстро меняющейся дорожной ситуации в условиях ограниченного времени, однако водитель может одно­моментно воспринять лишь небольшой процент визуальной информации.

Для решения проблемы избыточности информации предлагается работа над способом вывода информации о дорожной ситуации так, чтобы водитель не отводил взгляд от дороги [Topór-Kamiński, 2012]. Таким образом, возникает задача разработки нового интерфейса, в котором информация будет эффективно передаваться водителю, чтобы это было максимально безопасно и без перегрузов, причем размещение информации должно осуществляться в требуемом поле зрения водителя (с использованием технологии, базирующейся на феномене «дополненной реальности»). Дополненная реальность позволяет передавать информацию водителю ненавязчиво, через специальный проекционный дисплей, которой проецирует ее напрямую в поле зрения.

Другими словами, водителю не нужно направлять свой взгляд вниз, на приборную панель. Проекционный дисплей в комбинации с дополненной реальностью позволяет преодолеть существующие «узкие» места для передачи информации, необходимой в современных машинах. Разработка проекционного дисплея, основанного на феномене дополненной реальности (AR-HUD), представляется следующим поколением технологий, потенциально снижающих перегрузку ментальной деятельности водителя и убирающих разделение внимания между дорогой и приборной панелью.

AR-HUD технология существенно позволяет увеличить внимание к сигналам без негативного влияния на способность воспринимать окружающую информацию вне фокуса внимания водителя [Abdi, 2015].

На сегодняшний день подобного рода технологии снимают нагрузку с водителя, поскольку все, что попадает в поле зрения водителя, снабжается дополнительной детализированной, но ранжированной информацией. В отношении безопасности движения эта технология призвана снизить аварийность, с помощью предоставления водителю всей необходимой информации об окружающей обстановке, например, через распознавание дорожных знаков, отклонения от полосы движения и безопасной дистанции, а также предупреждения о возможности лобового столкновения с другим транспортным средством или элементом дорожно­транспортной среды [Park, 2014].

Способность распознавания знаков и информационных табличек очень важна, так как это позволяет предупреждать водителя о предстоящих изменениях, прежде всего об изменении скоростного режима. Для предотвращения столкновений со стационарными объектами, другими автомобилями пешеходами или велосипедистами водители должны быть предупреждены о возможности столкновения и иметь время, чтобы заранее приготовиться к торможению.

Также при движении за впереди идущими автомобилями необходимо сохранять безопасную дистанцию.

Понимание того, как водитель рассчитывает безопасную дистанцию, какую визуальную информацию он для этого использует и какие визуальные факторы влияют на его оценку, крайне важно для повышения безопасности движения на дороге.

Данный шаг является очень важной мерой против сенсорной перегрузки и отвлечения внимания водителя [Abdi, 2015]. Он помогает увеличить безопасность на дороге и повышать доверие к существующим автомобильным системам и новым автомобильным опциям, таким как автопилот.

Описание исследования

Анализируя многочисленные работы, посвященные разработке технологий снятия сенсорной перегрузки с водителя транспортного средства, появляющиеся в последние годы, нетрудно заметить две основные проблемы, которые необходимо решить для того, чтобы можно было использовать феномен дополненной реальности в проектировании интеллектуальной транспортной системы.

Первая — проблема визуализации и встраивания виртуальных объектов в высококачественный видеосигнал [Pensyl].

Вторая может быть определена как проблема изменения виртуальной картинки в поле зрения человека, требующая размещения ее на корректную позицию, масштабирование, правильную ее ориентацию и т.д. [Pensyl].

Для каждого кадра в видеопотоке виртуальный объект должен быть размещен на корректную позицию, правильно ориентирован относительно угла зрения, и должен быть закодирован в видеопоток. Недавние нейропсихологические исследования показали, как пожилые водители реагируют на дополненную реальность. Исследования продемонстрировали, что встраивание дополненной реальности и создание интерфейса в целом существенно помогают именно пожилым водителям обнаруживать опасные объекты в условиях плохой видимости [The German Traffic].

Другие исследователи сравнивали различные методы, которыми можно отмечать препятствия в дополненной реальности, для этого использовались затем- ненности, штрихи и заполнения цветом. Так, авторы подчеркивают, что пользователи — пожилые люди — испытывали проблемы с распознаванием более чем небольшого количества подсвеченных объектов, но, несмотря на это, полупрозрачные визуализированные объекты в дополненной реальности кажутся эффективным средством в условиях плохой видимости [Pensyl].

К сожалению, большая часть подобных исследований была проведена на тренажерах, так как пока невозможно обеспечить необходимую безопасность для использования реальных машин в реальных условиях [Pensyl; Viola].

Отдельного внимания заслуживает исследование, в котором описывается новый подход к определению
положения и отслеживанию траектории транспортного средства на полосах движения используя 3DAR-HUD устройство для визуализации дорожных знаков, разметки, других машин, и отслеживания дорожных изменений, таких как изменение скоростного режима, перестроения других транспортных средств из ряда в ряд, изменения освещенности и дорожного полотна проведенного инженерными психологами, проектировщиками интеллектуальных транспортных систем [Viola]. Оно описывает особенности взаимодействия, возможности и проблемы, связанные с применением интерфейсов дополненной реальности в условиях дорожно-транспортной среды. Так, особый интерес представляет собой исследование, посвященное разработке технологии проецирования и визуализации дорожных знаков, с точки зрения правил размещения и видимости и их транслировании их на автомобильный дисплей. В нем предлагаются новые знаки, представлены 3D-модели этих знаков, а также другой дорожной инфраструктуры.

Например, встроенная AR-HUD система (рис. 1) позволяет увеличить безопасность, предупреждая водителя об изменении траектории движения [Abdi, 2015]. Данная система предлагает проецирование предупреждающей информации на лобовое стекло, что позволяет водителю видеть потенциально опасные объекты спереди от машины отображая информацию напрямую в поле зрения водителя таким образом, чтобы он не отводил взгляд от дороги. Предлагаемая система помогает водителю комфортным образом получать информацию и безопасно объезжать препятствия.

Главная цель исследования данной системы — определить достоинства и недостатки динамической системы, основанной на феномене дополненной реальности, насколько она позволяет обращать внимание опытных водителей на возможные дорожные опасности [The German Traffic]. Другими словами, AR-HUD основана на информационной системе безопасности, которая обеспечивает предупреждения, позволяющие водителю легко избежать препятствий не отвлекаясь от дороги, и информационно не перегружая водителя [Abdi, 2015].

Информационная дорожная система коммуникаций уровня «автомобиль-автомобиль»

Можно констатировать, что с быстрым развитием беспилотных автомобилей, летательных аппаратов и других автоматизированных систем, система дополненной реальности обеспечивает взаимодействие с другими транспортными средствами для улучшения эффективности слежения за объектами, лучше предсказывать или обнаруживать критических событий. В этой связи особенно важна постановка акцента на взаимодействие автомобилей в качестве «партнеров по коммуникациям» в процессе движения, предупреждая водителя об опасности и даже беря контроль над движением в рискованных ситуациях. Так, в рамках системы коммуникация «автомобиль-автомобиль» система помогает водителю сохранять безопасное расстояние от других транспортных средств и для предотвращения столкновений, информирует и предупреждает водителя о выявленных препятствиях с использованием различных смонтированных устройств. Система использует датчики или камеры для контроля расстояния между движущимися автомобилями.

Такая система использует два основных этапа (последовательных шага) для обработки визуальной информации, что позволяет избегать столкновений и поддерживать безопасное расстояние до других транспортных средств. Первый шаг — создание гипотезы, где определяется возможное положение транспортного средства, отбираются и классифицируются объекты, возможно похожие на транспортные средства с помощью обучающего алгоритма [Abdi, 2015; Timofte].

На втором шаге проверяется корректность определения с использованием алгоритма измерения симметричности (горизонтальный и вертикальный анализ границ). Во время второго шага вычислений система сканирует каждое окно во входящем изображении и выделяет признаки в каждом окне, которые позже сравниваются с классификатором [Abdi, 2015]. Процесс обнаружения объектов работает следующим образом: на данных входного изображения определяются зоны, которые содержат объекты схожие с образцами. Ложные срабатывания до проверки гипотезы встречаются часто, но при этом убирается большинство зон, не содержащих распознаваемые объекты. Объекты после обработки алгоритмом состоят как из объектов-автомобилей, так и из ложных срабатываний (рис. 1, а) [Abdi, 2015].

Рис. 1. Встроенная AR-HUD система предоставления информации для безопасного вождения. По материалам статьи Lotfi Abdi, Faten Ben Abdallah, Aref Meddeb [Abdi, 2015].

Различные изображения автомобилей, особенно задние и фронтальные виды, содержат множество горизонтально- и вертикально ориентированных структур, например: заднее стекло, бампер и т.д., для их распознавания используется алгоритм границ на черно белом изображении отобранных объектов (рис. 1, б). После этого применяется алгоритм анализа вертикальной симметрии для построения потенциальных регионов, где может находиться автомобиль (рис. 1, в).

Далее система считывает данные с камеры установленной в автомобиле и соотносит их с данными о его перемещении, для того чтобы создать модель внешнего вида, который виден с водительского кресла.

В дополнение к показу текущей скорости, система может проецировать информацию о дорожных условиях, тех зонах, где это наиболее необходимо для водителя, например: расстояние до автомобиля впереди, необходимость совершить поворот, или даже предстоящие дорожные события [Abdi, 2015].

Информационная дорожная система коммуникаций «автомобиль-дорожная инфраструктура»

Навигационная система будущего также может визуализировать инфраструктуру дорожной среды через систему, опирающуюся на феномен дополненной реальности.

Так, «маркеры» — объекты дополненной реальности дают нам возможность обеспечивать более высокий уровень безопасности водителя, потенциально уменьшая время реакции и увеличивая вероятность обнаружения опасностей на дороге, предупреждая о приближающихся дорожных знаках: ограничение скорости, предупреждающие знаки, знак «стоп» и др. с помощью данных, получаемых от встроенной камеры (рис. 1, д). [Abdi, 2015]. Использование этой технологии позволяет уменьшить количество опасных маневров, например, если автомобиль внезапно остановится в «слепой зоне», то система может предупредить остальных водителей, чтобы снизить скорость даже перед тем как они смогут увидеть опасность. Совершенно очевидно, что это существенно поможет снизить количество дорожно-транспортных происшествий, а сама поддержка, оказываемая интеллектуальной транспортной системой, позволяет уменьшить уровень стресса всех участников дорожного движения, что, в свою очередь, помогает и сделать процесс движения более аттрактивным.

Распознавание дорожных знаков

Так как дорожные знаки имеют стандартные размеры и цвета, их обнаружение распознавательной системой становится достаточно простым. Задача на стадии обнаружения заключается в том, чтобы определить зоны изображения, которые могут содержать дорожный знак. Для этой цели используются быстрые алгоритмы распознавания для повышения производительности системы.

Первая фаза распознавания ищет объекты похожие на знаки с помощью окна сканирования, обрабатывая каждый кадр видеопотока. В свою очередь, это позволяет отфильтровать ложные срабатывания. Тем не менее, для того, чтобы алгоритм распознавания был более устойчив к шумам и/или низко контрастным изображениям используется еще один дополнительный детектор текстур, который и формирует потенциальные зоны, где могут находиться распознаваемые объекты. Так как среди различных объектов важно распознавать именно дорожные знаки, то используются параметры, которые позволяют распознавать информацию только самого знака, и не использовать информацию, выходящую за границы знака (например, зачастую вывешиваемая на дорожных знаках информация об объезде, ремонте, названии и др. не распознается). Затем распознаваемый образец сравнивается по отобранным признакам с образцами из базы данных о знаках. Классификация объекта производится с помощью нейронной сети [Timofte]. После того, как распознавание закончено, классификатор обрабатывает зоны, в которых находятся отобранные знаки и проецирует трехмерный дорожный знак на это место, удобное и хорошо просматриваемое из кресла водителя [Timofte; Viola].

Таким образом, правильное и своевременное распознавание дорожных знаков помогает обеспечивать безопасное путешествие, а система распознавания дорожных знаков, основанная на дополненной реальности помогает водителям получать важную информацию о дорожных знаках еще до того момента, когда водитель сможет увидеть знак невооруженным взглядом.

Калибровка и фокусировка камеры

Проблема определения расположения камеры в безмаркерной дополненной реальности заставляет использовать значительно более сложные алгоритмы, такие как: построение карты несовпадений, поиск признаков, извлечения, расчеты и классификации. Правильная калибровка камеры позволяет совмещать виртуальный мир с «реальным» на одном дисплее [Abdi, 2015]. Так, становится возможным рассчитать расположение элемента на изображении или видеокадре относительно дисплея, используя данные о расположении камеры и данные об относительном расположении объекта к камере. (рис. 2) [Abdi, 2015].

Для того чтобы качественно интегрировать виртуальные объекты в реальном мире, система дополненной реальности должна распознавать и отслеживать самые различные объекты в окружающем мире. Так, внутри расширенного поля зрения виртуальные объекты должны быть согласованы с реальными объектами по координатам, расположений и размеру без какого-либо визуального несоответствия. Объекты, окружающие автомобиль, а также дорожные знаки должны быть смоделированы в 3D и спроецированы в корректные зоны на дисплей (см. рис 2) [Abdi, 2015]. Совершенно очевидно, что системы расширенной реальности также могут служить для помощи водителям с различного рода нарушениями внимания и водителями с СДВГ [Augmented Reality Cues, 2013; Camera Calibration for, 2014].

Проекция изображения основанная на дополненной реальности

Проекция виртуальных объектов может быть выполнена, вычислив внутренние координаты ориентации камеры и ее внешнюю ориентацию на видеокадре, после чего возможно наложение трехмерной симуляцию в правильном положении, с надлежащим масштабом, ориентацией на перспективу и объекты в реальном мире. Имея полный набор параметров камеры, виртуальные объекты могут быть согласованно встроены в видеоряд захватываемый камерой, и, таким образом, синтетические дорожные знаки могут быть добавлены в поле зрения водителя для повышения уровня безопасности, это хорошо проиллюстрировано на рис. 2 [Abdi, 2015].

Рис 2. По материалам статьи Lotfi Abdi, Faten Ben Abdallah, Aref Meddeb [Abdi, 2015]

Таким образом, анализ имеющихся знаний в области феномена дополненной реальности дает широчайшие возможности для разработки новых систем, обеспечивающих безопасное перемещение в условиях дорожно­транспортной среды, в которой использованы современные стандарты для автомобильных коммуникаций, в виде информационной транспортной системы, элементами которой являются «автомобиль-автомобиль» и «автомобиль-дорожная инфраструктура». Эта система, успешно обнаруживая объекты, находящиеся в передней части автомобиля, а также проецируя информацию, такую как скорость, дорожные предупреждения или навигационные указания на внутренней части ветрового стекла, сможет существенно упрощать передачу важной информации напрямую в поле зрения водителя [Abdi, 2015].

Экспериментальное исследование и оценка качества обнаружения объектов

С целью оценки разработанной системы и оценки качества обнаружения объектов было проведено экспериментальное исследование для обнаружения транспортного средства в условиях различной освещенности и погодных условий, и результаты показали увеличение надежности системы. Так, для обучения детекторов может быть использована база данных из экспериментальных исследований С. Агавал, А. Аван и Д. Рос, а также базу из библиотеки OpenCV, где собраны фронтальные изображения автомобилей в разрешении 32 х 32 пикселя и 64 х 64 пикселя [Agarwal, 2004]. Всего было использовано более 3000 образцов, содержащих автомобили и 4000 образцов, не содержащих изображение автомобиля для обучения.

Эксперимент проводился как в лабораторных условиях, где моделировались различные ситуации с плохой видимостью дорожной обстановки, так и в полевых исследованиях (в дни с разными погодными условиями). В ходе эксперимента система показала высокую точность (уровень распознавания различных дорожных объектов, как во фронтальной, так и в профильной проекции 92—95%), точность и низкий уровень ложных срабатываний даже в условиях плохой освещенности.

Для обучения распознающей системы были использованы базы данных GTSRB (GermanTrafficSignRecogn itionBenchmark), BelgiumTS (BelgianTrafficSignsdataset), а также дополнительные собственные изображения.

Весь набор изображений включал около 4500 изображений дорожных знаков и около 6000 иных изображений, сходных с дорожными знаками. Размеры обучающей выборки составляли от 20 х 20 до 222 х 193 пик­селя. Так как разные группы знаков встречаются в дорожной среде с различной частотой, а также из-за большого количества разновидностей знаков внутри группы, общий ряд обнаружений для каждой группы знаков выстраивался отдельно (так, отдельно распознавались запрещающие знаки, предупреждающие, предписывающие и т.п.). Для того чтобы обеспечить высокую эффективность классификации, был использован «каскад» из 13 «шагов интеракций» распознавания. Минимальный уровень распознавания равен 0,995, а максимальный процент ложных срабатываний был установлен как 0,5. Размер образцов составлял 24 х 24 пикселя. Для того чтобы проверить правильность нашего подхода и обеспечить высокое разнообразие дорожных условий, мы протестировали последовательности изображений различных типов, каждый из которых осуществляется в разные дни и с различными погодными условиями. Процент распознавания очень высок и достигает 97,4%, а средний процент повторного распознавания 98,1%, что дало основания говорить о надежности настоящей системы [Agarwal, 2004; The German Traffic].

Выводы и перспективы разработок с использованием дополненной реальности
в современной инженерной и транспортной психологии

На основании данных различных исследований в области создания интеллектуальных транспортных систем представляется логичным, что изучение феномена дополненной реальности, а также его использование для обеспечения безопасности дорожного движения сегодня является весьма перспективным для повышения безопасности водителя, уменьшения время реакции и увеличения вероятности обнаружения опасных событий на дороге.

Столь же логично полагать, что использование интеллектуальных транспортных систем, основанных на дополненной реальности, поможет создать новую, более комфортную форму диалога между транспортным средством и водителем, расширение роли интеллектуальных транспортных систем, через визуализацию информации о дорожном движении в поле зрения водителя, позволит ему не отвлекаться от процесса вождения и управления автомобилем [Jeffrey; Kim, 2009; Topór-Kamiński, 2012].

Одна из таких систем AR-HUD реализуется наложением рекомендующих «меток» напрямую на поле зрения водителя, отображая объекты дорожно-транспортной среды, в любых условиях дорожной ситуации, включая неблагоприятные погодные условия. Встроенный проекционный экран дополненной реальности передает водителю необходимую информацию для создания новой формы коммуникации между водителем и автомобилем [Abdi, 2015].

Другими словами, водитель получает всю необходимую информацию напрямую, перед своими глазами, в удобной для его восприятия форме.

Уже сегодня представляется очевидным, что в недалеком будущем благодаря феномену дополненной реальности станет возможна гибкая адаптация автомобили под практически любые дорожные условия и желание водителя

В свою очередь, обсуждение возможностей дополненной реальности как части следующего поколения транспортных средств, крайне важно для более глубокого исследования когнитивных и познавательных процессов, причем роль именно психологического знания представляется особенно актуальной.

Это позволит повысить безопасность на дорогах и укрепит доверие к существующим интеллектуальным транспортным системам и новым возможностям вождения, например, к вождению с помощью автопилота и, самое главное, приведет к существенному снижению рисков дорожно-транспортной среды.