Inventer le familier : « Damocles-Headsight-View »

Image : Wade Sisler, 1992, NASA images.nasa.gov/details/ARC-1992-AC89-0437-6

L’utilisation de caméras pour afficher la réalité dans un casque est une technologie établie de longue date. Un système caméra-moniteur comme lunettes AR est-il toujours une idée d’actualité ?

Auteur : Armin Grasnick

Les lunettes AR sont des dispositifs d’augmentation de la réalité qui enrichissent les environnements réels avec des éléments virtuels. Depuis « L’épée de Damoclès » d’Ivan Sutherland (Sutherland, 1968), de tels systèmes reposent sur le principe de la superposition du réel et du virtuel.

Un objet généré par ordinateur est introduit visuellement dans le champ de vision du spectateur et intégré à l’environnement. Cependant, un fort sentiment de téléprésence dans des mondes distants ou virtuels n’est atteint que lorsque l’impression visuelle suit le mouvement de la tête et obscurcit la vue locale. Il est évident de combiner la position de la tête avec le contrôle des caméras stéréoscopiques afin d’obtenir une impression visuelle la plus réaliste possible.

Télévision Headsight des années 1960

L’entreprise américaine innovante Philco fabriquait des radios et des téléviseurs depuis les années 1950. Au début des années 1960, deux chercheurs de Philco ont intégré l’un de ces téléviseurs portables dans un casque vidéo.

Le mouvement de la tête contrôlait une caméra à distance, dont l’image était transmise au tube et affichée au spectateur. La photo suivante montre le chercheur de Philco, Charles Comeau, portant un tel casque.

Le « Headsight » était un casque casque moins élégant, mais toujours un prototype révolutionnaire, fonctionnel et, surtout, inspirant.

Casque d’écoute de la NASA des années 1990

De tels systèmes ont été expérimentés depuis la fin des années 1980, par exemple dans le Virtual Environment Workstation Project (VIEW) (Bolas & Fisher, 1990). Le casque View de la NASA de 1992 est déjà assez proche du design des casques VR d’aujourd’hui.

Ce système pouvait non seulement contrôler à distance une caméra stéréoscopique, mais également afficher soit la scène 3D réelle, soit un environnement virtuel. L’image montre la version complète avec son 3D et gants pour une véritable interaction avec le monde téléprésent.

Encore une chose

Le chemin a été long entre ce qui a été présenté comme un prototype pendant des décennies et un appareil prêt à l’emploi. Ce n’est qu’avec l’introduction des lunettes Oculus VR en 2012 et leur concentration sur le contenu VR qu’elles sont entrées sur le marché grand public. Dans le même temps, il y avait une plus grande division de la technologie en réalité augmentée et virtuelle, avec leurs casques respectifs et les avantages et problèmes correspondants.

Un inconvénient évident des casques VR est le manque de vision du monde réel, ce qui conduit parfois à un isolement indésirable et potentiellement dangereux du monde extérieur lors des déplacements. Les lunettes AR offrent une vue directe du monde réel, mais ne peuvent pas afficher d’objets opaques. Un objet réel ne peut être obscurci que par la lumière.

Pour améliorer les affichages AR fantomatiques et activer la vue VR de l’environnement, les caméras sont à nouveau utilisées. Il est évident et immédiatement évident que l’insertion de la vue de la caméra externe conduit à la transparence apparente de l’affichage et ne peut se faire que via le signal vidéo. Par conséquent, le terme « vidéo transparent » est aussi superficiel et inutile que le terme « optique transparent ». C’est comme appeler marcher pieds nus « sensation haptique » et porter une chaussure « sensation protégée » juste pour éviter d’utiliser des termes peu cool comme « pieds nus » ou « chaussure ».

En pratique, toutes les technologies de passthrough vidéo sont des systèmes qui capturent des images avec des caméras et les affichent sur des moniteurs. C’est la même chose quel que soit le fabricant, que ce soit Meta, HTC, Varjo ou Apple. Nous pourrions être tentés d’appeler les nouveaux casques VR/AR avec caméras externes « Damocles-Headsight-View » (DHV) ou « Comeau-Sutherland-Fisher » (CSF) pour honorer les décennies de travail préparatoire, mais pour des raisons de simplicité, nous nous en tiendrons avec le terme sans ambiguïté « Camera-Monitor-System » (CMS) pour la partie « video-passthrough ».

Casques VR en tant que système de caméra-moniteur

Mais pourquoi les lunettes VR avec la possibilité de changer de vue externe sont-elles une bonne idée ? L’avantage classique de la téléprésence n’est guère utilisé actuellement car les caméras stéréo pilotables du poste distant sont clairement sous-représentées par rapport aux casques VR. Dans les applications professionnelles, cependant, cette option peut redevenir pertinente pour des raisons de sécurité des employés et pour éviter de véritables visites dans des environnements désagréables.

Un avantage beaucoup plus large est la possibilité de haute qualité de mélanger le monde extérieur sans fantôme. Cela conduit à une présence effective des pièces virtuelles et peut augmenter le sentiment de mélange des mondes réel et virtuel.

Un CMS de casques VR se compose des composants essentiels de l’objectif, du capteur de caméra, de l’ordinateur, de l’écran et de l’oculaire. Chaque composant a un impact sur la représentation de la scène réelle et introduit des latences dans le système.

Il serait souhaitable d’avoir une norme de comparaison pour la qualité d’image d’un CMS qui soit indépendante de la définition d’un fabricant. C’est là qu’intervient l’optique classique qui connaît plusieurs erreurs d’imagerie (aberrations). Ceux-ci peuvent être déterminés objectivement et utilisés pour comparer différents systèmes. Cela peut être fait très simplement en prenant différentes images de test directement à travers les oculaires des lunettes à l’aide d’une caméra haute résolution.

Fonction de transfert CMS

En principe, la variation d’un signal d’entrée lorsqu’il traverse le système peut être déterminée par une fonction de transfert qui dépend à la fois du temps et de l’emplacement. La fonction de transfert serait alors la fonction de boîte noire qui conduit au signal de sortie mesuré pour un signal d’entrée connu.

Les tests de transmission optique fonctionnent très bien avec des modèles de test appropriés, tels que ceux utilisés dans les tests de caméras. Il n’est pas nécessaire de développer vos propres tests à cette fin ; les normes appropriées pour d’autres cas de test peuvent être trouvées ici. La norme européenne ISO 16505, initialement développée pour le remplacement des rétroviseurs extérieurs des véhicules routiers, est particulièrement intéressante. La réussite d’un test selon cette norme est nécessaire pour obtenir l’homologation routière d’un système caméra-moniteur dans un véhicule. Cela devrait alors être suffisant pour qualifier un appareil moins dangereux tel que des lunettes AR/VR à utiliser.

L’épée tombera-t-elle ?

L’utilisation de caméras dans les casques XR apporte de réels avantages en termes de qualité d’affichage. Cela est particulièrement vrai lorsque les casques VR sont utilisés pour la visualisation AR. Cependant, il est possible que ce gain de qualité théorique soit réduit par des erreurs d’imagerie lors de l’enregistrement et de la lecture.

Le Vision Pro d’Apple peut être qualifié de système caméra-moniteur et devra être jugé comme tel à l’avenir. L’épée de Damoclès d’un éventuel rejet par le marché plane également sur Apple. Une mesure objective ne changera rien à cela, mais déterminer la fonction de transfert peut conduire à une plus grande comparabilité et aider les utilisateurs à choisir un casque.

La vraie qualité ne peut être évaluée que sur un appareil réel. Cependant, tant que le Vision Pro n’aura pas été mesuré, nous ne retirerons pas l’épée. La réalité montrera si le « Damocles Headsight View » mérite vraiment le nom de Vision Pro.

Armin Grasnick est professeur de réalité augmentée et virtuelle à l’Université internationale IU. Il travaille sur la réalité virtuelle avec et sans lunettes depuis les années 1990.

Sources : Bolas, MT et Fisher, SS (1990). Système de caméra stéréoscopique à distance couplé à la tête pour les applications de téléprésence (JO Merritt, Hrsg.; S. 113). https://doi.org/10.1117/12.19896 | Comeau, CP, & Bryan, JS (1961). Système de télévision Headsight. Électronique, 34(45), 86–90 | Sutherland, IE (1968). Un visiocasque tridimensionnel. Actes du 9-11 décembre 1968, Fall Joint Computer Conference, Part I on – AFIPS ’68 (Fall, Part I), 757. https://doi.org/10.1145/1476589.1476686