Un soldat localise son équipe en faisant un rapide tour d’horizon du champ de bataille, l’affichage lui permet d’identifier les forces ennemies localisées au delà de son champ de vision par un drone survolant la zone, ces dernières s’affichent directement dans le dispositif d’affichage du casque de tous les combattants, leur permettant ainsi d’évaluer les menaces en temps réel et de se préparer au contact. Le contrôleur aérien avancé (JTAC) demande immédiatement un appui aérien et visualise sans détourner son attention du champ de bataille si la zone d’effet de l’armement choisi ne risque pas d’endommager une école ou un lieu de culte dans le périmètre de tir. Le JTAC peut visualiser le flux vidéo provenant du pod de désignation de l’avion ou du drone dans son champ de vision en temps réel.
Ce scénario digne d’un film de science fiction décrit pourtant ce que pourrait être la guerre de demain grâce à la réalité augmentée. Les dispositifs de vision augmentée vont à la fois permettre de libérer les mains du combattant et de tirer pleinement profit du GEOINT en fusionnant des informations géolocalisées pertinentes dans le champ de vision de l’utilisateur pour apporter une meilleure appréciation du terrain et partager des informations critiques à la prise de décision en temps réel.
Déjà très répandu dans l’industrie pour des usage aussi variés que les opérations de maintenance, de construction, les inspections de qualité ou encore la formation, la réalité augmentée est aujourd’hui arrivée à un niveau de maturité suffisant pour voir son champ d’application s’étendre à bien d’autres domaine (médecine, jeux, transports, planification urbaine, etc…), le succès viral du jeu Pokemon GO en dit long quant à son potentiel. Il n’est pas difficile d’imaginer l’impact considérable qu’aura cette technologie sur notre quotidien et que cette révolution pourrait prochainement être aussi importante que celle des smartphones. A l’heure où les systèmes d’information portatifs traditionnels nécessitent que l’utilisateur détourne son attention de l’environnement « réel » pour consulter des informations, la réalité augmentée offre l’opportunité de visualiser ces informations tout en gardant son attention sur l’environnement d’intérêt. De la préparation à la conduite de missions, ou encore dans le cadre de la simulation, la réalité augmentée promet révolutionner nos interactions avec le flux informationnel produit quotidiennement par nos technologies hyper-connectées.
L’aéronautique, un domaine précurseur
Le concentré technologique des plateformes aéronautiques (intégration multicapteurs, systèmes d’armes etc…) a rapidement donné naissance à des dispositifs de vision synthétiques et augmentés pour permettre aux pilote de manœuvrer leur machine sans quitter leur adversaire des yeux en combat aérien. Les systèmes HUD (Head Up Display) qui équipent les avions de chasse sont représentatifs de ce que peut apporter la réalité augmentée à notre quotidien, ils offrent aux pilotes la possibilité de visualiser les informations fournies par les instruments de bord (vitesse, altitude, cap, radar, système d’arme, etc..) sans détourner leur attention du ciel. Les informations sont ainsi projetées dans le champ de vision du pilote pour lui permettre de surveiller son environnement et de réagir rapidement à la moindre menace (obstacle ou appareil ennemi).
Projeté sur un miroir transparent entre la tête du pilote et la verrière, les informations résultent le plus souvent d’une synthèse des informations de navigation et systèmes d’armes de l’appareil. Mais le HUD permet également de combiner l’affichage d’autres informations susceptibles d’apporter une meilleure appréciation de l’environnement extérieur, comme une image infrarouge (souvent issue du Pod de désignation qui équipe l’avion). Sur les avions commerciaux, le HUD sert également à présenter des informations relatives à la navigation et à l’environnement physique tel qu’une piste d’atterrissage en cas de mauvaise visibilité. Cette technologie est progressivement venue équiper l’aviation civile, puis s’est aussi invitée dans l’automobile grand public dernièrement.
Si la majorité des systèmes HUD offrent une vision améliorée, très peu tirent profit du GEOINT pour fusionner des informations externes et apporter une vision véritablement « augmentée » de l’environnement aux pilotes. Le système FalconEye développé en 2016 par Dassaut Aviation en partenariat avec Elbit System permet de combiner une cartographie du terrain basée sur une base de données géographique (comprenant notamment des modèles numériques de terrain – MNT) et des images réelles capturées par des caméras thermiques en une seule vue. Ce système permet d’apprécier le relief sur de longue distances avec une grande efficacité, un vrai plus lorsque la visibilité est réduite.
Les viseurs de casque ou HMD (Helmet Mounted Display)
Cependant, la plus part des HUD ne couvrent pas plus de 20% du champ visuel du pilote, une limitation qui peut être problématique en combat aérien. C’est précisément pour répondre à cette problématique que sont nés les viseurs de casques. Utilisés pour la première fois opérationnellement par les forces aériennes sud-africaines dans les années 70, les viseurs de casque se sont trouvés être des outils redoutables pour engager l’ennemi avec une grande efficacité tout en s’affranchissant des contraintes d’angle de vision des HUD.
Aujourd’hui, les viseurs de casque sont devenus la norme et équipent la majorité des avions et hélicoptères modernes en permettant d’afficher toujours plus d’informations. Le DASH Israélien et le JHMCS américain sont déployés opérationnellement sur la plus part des plateformes F-15, F-16, F-18 et F-22. Le casque TopOwl de Thales qui équipe de nombreux hélicoptères dont notamment les hélicoptères de combat Tigre permet à l’équipage d’échanger des informations entre eux. Mais à l’heure actuelle, aucun de ces systèmes ne va aussi loin que le casque développé pour le chasseur de 5e génération F-35, le Gen III F-35 Helmet Mounted Display System (HMDS). Ce dernier offre une vision augmentée à 360° permettant au pilote de regarder littéralement au travers son appareil sans aucune contrainte de vision, en fusionnant à la fois les informations de navigation, des systèmes d’armes et des multiples capteurs de l’appareil en temps réel.
L’exploitation combinée des différents capteurs du F-35 (Radar, Groud Moving Target Indicator – GMTI, Optique et Missile Warning) offre une vision tactique complète susceptible d’être enrichie – où même d’enrichir – les réseaux tactiques de l’appareil (via la L16). Cette juxtaposition d’informations permet au pilote d’identifier en temps réel les positions amies (air/sol), les vols commerciaux ou encore les positions ennemies en un coup d’œil, et ce, avant même qu’ils soient visibles à l’œil nu. Malgré les capacités inédites offertes par ce système de vision, son coût est exorbitant, chaque casque coûte près de 400 000$! De plus, sa conception aura donné du fil à retordre aux ingénieurs afin de trouver le bon compromis entre poids et performances pour ne pas briser la nuque du pilote au moment de l’éjection.
Révolutionner la vision du combattant
Les technologies développées dans le milieu aéronautique intéressent beaucoup les armées pour doter les combattants engagés sur le terrain des mêmes capacités. Cependant, les systèmes conçus pour les plateformes aéronautiques bénéficient d’un environnement radicalement différent et beaucoup moins contraignant que sur le terrain, ce qui rend l’élaboration de systèmes de réalité augmentée bien plus complexe pour un combattant individuel.
La seule problématique de la mobilité pédestre extérieure/intérieure implique de nombreuses difficultés techniques déjà familières à celles que l’on retrouve avec les périphériques numériques mobiles utilisés aujourd’hui par les armées, comme l’autonomie, la précision, le poids, la latence, le domaine de visibilité, la robustesse, l’interopérabilité et le coût d’acquisition de l’équipement.
De la vision améliorée à la réalité augmentée
Il existe aujourd’hui de nombreux dispositifs capables d’améliorer la vision du combattant. Les jumelles de vision nocturne permettent par exemple de voir clair avec de faibles conditions d’éclairage, l’imagerie thermique permet d’identifier rapidement des personnels ou véhicules et les systèmes de pointage permettent de voir et extraire les coordonnées d’une position ou objectif observé à distance. Que ce soit dans les armées ou dans le monde civil, les dispositifs de vision améliorée se sont multipliés ces dernières années pour faciliter le travail des utilisateurs opérant dans des conditions difficiles.
Le système ENVG III actuellement testé par l’armée américaine (images ci-dessus) permet par exemple d’acquérir et d’engager rapidement des cibles dans tous types de conditions d’éclairage ou météorologiques difficiles grâce à la fusion d’imagerie thermique au dispositif de vision nocturne et un champ de vision plus large. Un système similaire développé par l’école polytechnique fédérale de Lausanne (EPFL) a été expérimenté par les pompiers suisses afin de voir à travers la fumée d’un incendie. Selon Général de brigade Donahue du Cross Functional Team (CFT), le système ENVG-B qui doit être déployé par l’US Army en octobre 2018 permettra également d’afficher des positions des unités amies provenant de son réseau tactique.
La réalité augmentée du combattant concrétise une vision longtemps portée par les jeux vidéos et les films de science fiction.
La force de la réalité augmentée, c’est avant tout de permettre la fusion d’informations visuelles localisées dans l’espace, combinant à la fois dispositifs de vision améliorés et jeux de données externes provenant soit de réseaux tactiques ou de bases de données géographiques dans le champ de vision de l’utilisateur. Toute information susceptible d’améliorer l’appréciation d’un environnement inconnu ou hostile est un atout de plus pour le combattant, et si en plus le système lui permet de prendre en compte ces informations sans quitter des yeux le champ de bataille, cela change totalement les règles du jeu.
La réalité augmentée va permettre aux informations contenues dans les terminaux tactiques de littéralement « sortir de l’écran » pour venir enrichir le champ de vision du combattant, facilitant ainsi l’identification comme la localisation de forces amies ou ennemies en temps réel, et ce, même si ces dernières se trouvent derrière un obstacle empêchant de les observer directement. Le combattant pourra garder un œil en permanence sur l’état de ses équipements et avoir des indications sur le nombre de munitions qu’il lui reste ou le niveau de batterie de ses équipements grâce à l’usage combiné des objets connectés. Cette technologie va également faciliter le partage d’informations et la coordination entre les membres d’une même équipe sur le terrain, grâce au marquage de point ou zone d’attention, à la désignation d’un objectif ou encore de l’affichage de données de navigation (waypoints, route) localisé dans un même référentiel, visible de tous simultanément.
L’apport du GEOINT à la vision augmentée
Outre les informations tactiques, l’intégration du GEOINT va aussi permettre d’aller encore plus loin dans la fusion des informations provenant des multiples capteurs du champ de bataille et faciliter l’exploitation des bases de données géographiques pour apporter les éléments déterminants à une prise de décision efficace. L’affichage de données géographiques dans le champ de vision du combattant deviendra bientôt aussi essentiel que le positionnement par satellite et la carte papier. Cela permettra au soldat de se repérer plus facilement dans son environnement, d’identifier un village, un bâtiment sensible (lieu de culte, école ou hôpital, etc…) en un coup d’œil, ou même de visualiser avec précision une zone minée ou le plan détaillé du bâtiment dans lequel il s’apprête à rentrer.
Très prisée du privé pour son approche aussi synthétique que pragmatique, la réalité augmentée intéresse particulièrement les gestionnaires de réseaux (électricité, eau, gaz, télécom) pour qui les interventions sur le terrain sont courantes et la problématique de détection des réseaux souterrains souvent complexe. La réalité augmentée permet déjà aux techniciens de repérer plus facilement leur réseau et de représenter visuellement l’infrastructure dans le champ de vision de l’opérateur. Cette représentation permet également de consulter ses attributs afin de s’assurer qu’il s’assurer que le réseau identifié soit le bon. Enedis expérimente actuellement cette technique pour faciliter le travail de ses équipes et aurait gagné pas moins de 25% de temps sur chacune de ses interventions.
Optimiser la visualisation des informations
Force est de constater que la superposition d’information géographiques spécifiques à chaque métier ouvre un large champ des possibles avec la réalité augmentée, mais cela reste à condition que les informations soient affichées convenablement et ne viennent pas polluer l’utilisateur de contenus inutiles ou inintelligibles. Un chef de peloton qui planifie une opération, ou un sergent qui dirige une escouade vers un objectif aura probablement besoin d’accéder à des informations tactiques beaucoup plus détaillées qu’un fusilier ordinaire au milieu d’un échange de tirs, au même titre qu’un contrôleur aérien avancé (JTAC) aura besoin d’accéder à des informations spécifiques permettant de guider efficacement les avions vers son objectif.
Hormis une représentation visuelle adaptée aux conditions de visualisation et aux besoins de l’utilisateur, le système doit aussi être performant pour être pertinent. Si le décalage entre les mouvements de la tête d’un utilisateur et la couche d’information superposée à sa vision est trop long, le système devient difficile à utiliser, ou si la précision des informations représentées n’est pas à la hauteur des attentes elle pourrait jusqu’à représenter un risque pour ses utilisateurs.
L’angle de vision offert par le dispositif d’affichage doit également permettre de visualiser clairement l’environnement, l’angle de vision offert par les Google Glass était par exemple bien trop réduit pour permettre une utilisation militaire véritablement pertinente (voir image ci-contre).
« Nous devons comprendre ces mécanismes, Il y a des choses assez simples dont j’ai besoin. Tout d’abord, où suis-je? Où sont mes copains? Et où est l’ennemi? … Alors les autres informations pourraient être optionnelles » Général Stephen Townsend, chef du Training & Doctrine Command (TRADOC)
L’apport massif d’informations ne doit pas non plus faire oublier les limites des capacités humaines dans leur traitement et leur compréhension, et ce plus particulièrement en situation de stress ou de fatigue. La « charge cognitive acceptable » d’un combattant se trouve généralement affaiblie lors d’une situation de stress importante, un élément qui doit nécessairement être pris en compte pour créer des systèmes efficaces permettant d’afficher uniquement les informations indispensables lors de situations critiques.
De nombreux projets en gestation
Si les projets de réalité augmentée destinés aux combattants se sont multipliés ces dernières années, aucun n’est encore entré en service opérationnel à l’heure actuelle, mais les avancées technologiques dans ce domaine ont été fulgurantes. Voici quelques uns des projets les plus avancés.
Le projet ARC4
Les chercheurs de l’Applied Research Associates (ARA) ont travaillé avec la Defense Advanced Research Projects Agency (DARPA) pour développer un système de réalité augmentée baptisé ARC4. Il ne s’agit pas d’un équipement matériel mais plutôt d’un système logiciel permettant de combiner les informations issues d’un module de détection composé de caméras, d’informations issues de réseaux tactiques, de positionnement par satellite et de technologie de suivi de mouvement de la tête, et fusionne tout dans un affichage qui peut être superposé au champ de vision de l’utilisateur.
Pour en savoir davantage sur ce projet, une vidéo ici
D’un point de vue fonctionnel, le rendu final ressemble beaucoup à un jeu de tir à la première personne comme Call of Duty ou Halo. ARC4 fournit des informations en temps réel aux soldats sur leur environnement, même si leur vision est obstruée. Le système peut être facilement intégré sur divers matériels d’affichage et propose de communiquer avec d’autres utilisateurs par ajout d’icônes virtuelles localisées dans l’environnement réel pour permettre une coordination non-verbale et non-visuelle des actions.
Le système Q-warrior
Le système Q-warrior conçu par BAE systems est un Helmet Mounted Display (HMD) léger destiné aux forces terrestres. Ce système utilise un affichage transparent haute luminance qui gère les couleurs et réduit la fatigue lié aux écran. IL permet de superposer de multiples informations. grâce à l’intégration du système ARC4 développé par l’ARA et la DARPA.
Le système intégrerait également la capacité d’afficher en temps réel des données vidéos (FMV) issues de drones ou pods de désignation sur son écran. Son poids ne dépasserait pas 400 grammes et (selon BAE Systems), le système serait actuellement en phase d’expérimentation pour équiper l’armée britannique.
L’Integrated Digital Vision System (IDVS)
Développé par Rockwell Collins, ce système tire directement profit des technologies développées pour le casque du F-35. Le système intègre un système de vision jour/nuit ainsi qu’un capteur thermique. Il permet de s’interfacer avec des réseaux tactiques afin de fusionner et offre un angle de vision de 40°.
Le système optique permettrait une transition transparente entre les niveaux de visibilité élevés et faibles, éliminant ainsi la nécessité de supprimer l’affichage visuel lorsque les conditions de visibilité changent. Comme pour le Q-warrior, l’IDVS est conçu avec une architecture ouverte pour faciliter la mise à niveau et suivre l’évolution des technologies à venir. Seul point noir du système, son autonomie qui ne dépasserait pas les 6 heures de fonctionnement.
Le projet GunnAR de l’US Navy
Mené en partenariat avec la société Daqri, spécialiste de la réalité augmentée déjà très présent dans l’industrie, l’US Navy expérimente un casque de réalité augmentée pour délivrer les ordres de tir avec une plus grande efficacité. Le système vise à améliorer la coordination entre l’officier de tir et l’équipage sur les cuirassés en remplaçant les ordres verbaux par ce système connecté.
Les casques « intelligents » sont reliés à une tablette qui permet à l’officier de tir de transmettre rapidement les ordres, qui s’affichent dans le champ de vision des artilleurs équipé du casque de réalité augmentée. Le système aide également le tireur à localiser les objectifs et à viser, tout cela dans le champ de vision du tireur. Le casque permet également de partager la vue du tireur avec l’officier de tir, qui peut ainsi suivre l’action du tirer sur sa tablette. Les premiers tests de tir réel se sont déroulés en juin 2017, lors d’un exercice annuel et se sont avérés suffisamment concluant pour étendre leur utilisation à d’autres bâtiments de la Navy.
Le projet Tactical Augmented Reality (TAR) de l’US Army
Révélé en 2017 par le Communications-Electronics Research, Development and Engineering Center (CERDEC), le projet TAR doit permettre aux combattant de voir de jour comme de nuit, de visualiser et partager des informations grâce à l’intégration du système logiciel ARC4. La technologie clé du projet TAR repose principalement sur des technologies développées dans le cadre du projet HUNTR (Army Heads Up Situational Awareness Technologies) ainsi que sur la miniaturisation des écrans haute résolution.
Le CERDEC ambitionne également d’intégrer au TAR une application d’interaction vocale baptisée SMASH (Single Multimodal Android Service for HCI) afin d’éliminer le recours aux claviers ou interfaces physiques et libérer les mains du combattant en mission.
Le Fantassin Augmenté Sécurisé et Tactique (FAST)
Conduit conjointement par la société française Scalian et la DGA, le système FAST a été présenté pour la première fois au public au salon de Eurosatory 2018. On reconnaîtra le casque de réalité augmentée développé par la société américaine Daqri (également utilisé par le projet GunnAR de l’US Navy) que Scalian distribue en Europe.
Le système de réalité augmentée FAST offre un angle de vision de 44° permettant de combiner à la fois des informations tactiques, des vidéos ou photos partagées ainsi qu’une vision améliorée grâce à la caméra thermique qui équipe le casque.
2019, l’année de la réalité augmentée ?
Les enjeux liés à la réalité augmentée sont multiples et justifie l’engouement des armées du monde entier pour cette technologie de pointe. Le développement de la réalité augmentée ne se limite pas seulement à la vision du combattant, il existe une grande variété de projets faisant usage de la réalité augmentée destinées aux armées, de la numérisation du bac à sable pour faciliter la préparation et la conduite de missions dans un centre de commandement à la maintenance des matériels ou véhicules, mais aussi dans le domaine de la simulation. La réalité augmentée offre l’opportunité de transformer de nombreux métiers et d’optimiser les capacités individuelles ou collectives des forces armées.
L’ambition de l’armée américaine en la matière semble toute tracée, elle a clairement affiché son attention d’acquérir des capacités concrètes à l’horizon 2019 grâce à son casque de réalité augmentée surnommé HUD 3.0, dont le but et de faciliter la visée, la navigation et même l’entraînement contre des ennemis virtuels projetés dans le champ de vision du combattant. La fusion de données tactique et l’intégration du GEOINT dans les dispositifs de réalité augmentée ouvrent un large potentiel de possibilités amenées à révolutionner la vision du combattant et transformer durablement notre rapport aux technologies de l’information.
Jean-Philippe Morisseau
Bibliographie
- Jean-Baptiste Colas, « Combattre dans le chaos des objets connectés intelligents » DSI numéro 133 Janvier-Février 2018
- Sydney Freedberg Jr. « HUD 3.0: Army To Test Augmented Reality For Infantry In 18 Months » https://breakingdefense.com/2018/03/hud-3-0-army-to-test-augmented-reality-for-infantry-in-18-months/
- Grégoire Huvelin, « La réalité augmentée, une technologie qui séduit l’armée américaine » https://www.goglasses.fr/realite-augmentee/casque-militaire-ar-armee
- Biran Wang, « BAE Wireless charging of soldier gear can reduce batteries and weight carried by soldiers » https://www.nextbigfuture.com/2015/07/bae-wireless-charging-of-soldier-gear.html
- « ARC4 Military Augmented Reality Moving from Battlefield to City Sidewalk » http://smartreality.co/arc4-military-augmented-reality-moving-from-battlefield-to-city-sidewalk/
- Charles Singletary « The US Army Is Giving Soldiers A Tactical Advantage With AR » https://uploadvr.com/us-army-soldiers-tactical-augmented-reality/
- Tommmy Palladino « US Army Outfits Soldiers with Augmented Reality Headsets » https://next.reality.news/news/us-army-outfits-soldiers-with-augmented-reality-headsets-0178507/
- Julien Bergounhoux « Réalité augmentée : l’armée de l’air australienne teste HoloLens avec Saab » https://www.usine-digitale.fr/article/realite-augmentee-l-armee-de-l-air-australienne-teste-hololens-avec-saab.N488789
- Grégoire Huvelin « La réalité augmentée, une technologie qui séduit l’armée américaine » https://www.goglasses.fr/realite-augmentee/casque-militaire-ar-armee
Geospatial Intelligence 
Ca se fait aussi sur l’imagerie des pods de désignation:
J’aimeJ’aime
Merci pour ce complément d’information.
Le plaquage de vidéos issues de pods de désignation et vidéos de drones sur un fond cartographique en temps réel existe depuis quelques années déjà, le standard 4609 facilite cette intégration. Les américains intègrent en plus la fusion de données image et GMTI (Ground Moving Target Indicator) sur leurs drones Predator & Reaper.
J’aimeAimé par 1 personne