Qu’est-ce qu’un NeRF et comment cette technologie peut-elle aider la réalité virtuelle, la réalité augmentée et le métaverse

Image : Rendu de mi-journée invité par Mixed

La technologie NeRF peut accélérer la croissance du métaverse, en fournissant des objets et des environnements plus réalistes pour les appareils VR et AR.

Des millions de polygones connectés composent les formes 3D que vous voyez dans les jeux et les mondes virtuels tels que Horizon Call of the Mountain. Chaque objet est coloré, ombré et texturé pour créer une simulation convaincante. Bien que cela fonctionne, il est difficile d’atteindre le réalisme et certains jeux, comme Pistol Whip, utilisent à la place des graphismes stylisés.

Le monde réel est composé de formes imparfaites et fluides. Même la forme simple d’une boîte en carton s’arrondit sur les bords, tandis qu’une boîte 3D rapidement modélisée a des angles rigides à 90 degrés. La surface pourrait avoir de minuscules défauts, des plis et des plis. La texture de la boîte est inégale et fibreuse, reflétant la lumière dans une teinte brune diffuse, subtile mais visible dans certaines circonstances.

La lumière naturelle se reflète et rebondit dans un orchestre de rayonnement incroyablement complexe qui est difficile à recréer dans une simulation informatique. Le lancer de rayons résout ce problème en simulant des millions de rayons lumineux lorsqu’ils ricochent et se dispersent sur des objets pour créer des images détaillées et réalistes. Les résultats sont époustouflants ; Cependant, le traitement d’un rendu compliqué avec un lancer de rayons en temps réel pour un jeu ou un monde VR nécessite des performances graphiques massives.

Une nouvelle solution est arrivée sous la forme de la technologie NeRF, une nouvelle approche du problème de la recréation d’objets du monde réel à l’intérieur d’un ordinateur.

Qu’est-ce qu’un NeRF ?

NeRF est l’acronyme de Neural Radiance Fields. C’est un nom approprié qui comprend une grande quantité d’informations. L’éclat est un autre mot pour la lumière, et tout comme le lancer de rayons recrée le jeu de la lumière et de l’ombre de manière convaincante, les champs d’éclat atteignent le même réalisme d’une manière nouvelle. Un champ de rayonnement représente la lumière sous tous les angles et à chaque point d’une simulation.

Cela signifie vous pouvez piloter une caméra virtuelle à travers un NeRF et voyez des représentations réalistes de personnes, d’objets et d’environnements comme si vous étiez physiquement présent à ce moment précis. Comme pour de nombreuses représentations informatiques, la qualité varie, de sorte que les NeRF qui sont générés rapidement ou avec moins d’images source peuvent sembler bruyants et l’image peut avoir des déchirures. Le réalisme global de la partie intacte de la scène est cependant excellent.

Les taches de couleur et les artefacts en blocs ont réduit la qualité des premières photographies JPEG, et la première vague de rendus NeRF présente des défauts similaires. Au fur et à mesure que la technologie mûrira, ces problèmes deviendront insignifiants.

Un autre détail critique dans le nom, NeRF, est le rendu neuronal requis pour rendre cette technique possible sur des appareils à faible consommation. Bien que le rendu d’une scène photoréaliste haute résolution à une fréquence d’images élevée avec lancer de rayons polygonaux nécessite une carte graphique coûteuse, un NeRF de haute qualité peut être rendu sur votre téléphone et dans un navigateur Web.

Cette capacité à générer rapidement des images 3D réalistes, avec un matériel peu coûteux et efficace, rend la technologie NeRF très attrayante.

Comment capturer du contenu réel pour un NeRF

Pour créer un NeRF, vous commencez par prendre une série de photographies sous différents angles dans un environnement ou autour d’un objet. Dans certains cas, il est plus pratique d’enregistrer une vidéo. Cela vous permet de créer des NeRF avec une vidéo capturée à partir d’un drone ou tout autre contenu préenregistré. Vous pouvez même utiliser cette technologie pour recapturer du contenu de jeu 3D sous forme de NeRF.

Pour obtenir les meilleurs résultats, déplacez-vous lentement autour de tous les objets d’intérêt, en vous rappelant de faire le tour du haut, du milieu et du bas. Une application de création NeRF utilise ensuite ces photos ou vidéos pour former un modèle d’intelligence artificielle afin de recréer des objets virtuels à l’intérieur de votre ordinateur, téléphone ou casque VR.

Comment les NeRF peuvent aider à construire le métaverse

Étant donné que cette technologie évolue encore, la visualisation des NeRF dans les casques VR en est aux premiers stades de développement. L’utilisation des NeRF pour construire le métaverse est presque inévitable.

Alors que certains sceptiques ont du mal à visualiser les mondes virtuels connectés, la plupart peuvent apprécier ce qui pourrait actuellement sembler être une vision futuriste des affichages tête haute contenus dans des lunettes AR sveltes. permettant aux objets virtuels d’apparaître aussi détaillés, solides et naturels que la réalité.

Vous souvenez-vous de l’exemple ci-dessus et des formes, textures et effets d’éclairage étonnamment compliqués d’un objet simple comme une boîte en carton ? Imaginez une scène remplie de bijoux, de lustres, de vitraux, de multiples lumières et de miroirs. Cette complexité supplémentaire peut facilement submerger un ordinateur puissant avec un GPU coûteux, ce qui fait souffrir la fréquence d’images.

Pour se préparer à un métaverse rempli d’objets détaillés et réalistes et d’environnements riches, projetant des reflets, des ombres et toutes les nuances du monde naturel, nous avons besoin d’une solution plus avancée qui est moins exigeante que le lancer de rayons de millions de faisceaux de lumière à travers des scènes remplies avec des millions de polygones.

Qu’en est-il de la photogrammétrie et des scans LiDAR ?

La photogrammétrie et les scans LiDAR nécessitent un grand nombre de photos ou de vidéos enregistrées dans la même méthode de cercle utilisée pour les NeRF. Le LiDAR utilise des lasers pour estimer les distances pour la RA et est utilisé par certaines applications de photogrammétrie pour accélérer le traitement.

Bien que la technique de capture soit similaire aux NeRF, la photogrammétrie aligne mathématiquement les images pour créer une représentation 3D de l’objet connue sous le nom de nuage de points.

Les nuages ​​de points peuvent capturer la couleur et la texture avec précision mais ne parvient pas à recréer l’éclat. Lorsque la lumière brille sur un cristal, cela se produit à un angle particulier par rapport à la lumière.

Ces technologies plus anciennes sont idéales pour la première étape de capture. Pour générer un modèle photoréaliste, un nuage de points est converti en un modèle polygonal, ajusté à la main par un artiste 3D et rendu avec le lancer de rayons. Avec la technologie NeRF, toutes les nuances de la lumière font partie de la capture et le réalisme est automatique.

Les avancées récentes rendent les NeRF rapides et faciles

La technologie NeRF existe depuis plusieurs années. Le concept de champ lumineux a été décrit pour la première fois en 1936 par le physicien Andrey Gershun. Au cours des dernières années, le traitement neuronal a explosé en tant que solution à de nombreux défis informatiques. Les avancées de l’IA telles que la génération d’images et de textes, la vision par ordinateur et la reconnaissance vocale reposent sur le traitement neuronal pour gérer la nature complexe et presque imprévisible du monde naturel.

Au début, le rendu neuronal prenait du temps. Maintenant que les ordinateurs, les mobiles et les casques VR incluent des cœurs neuronaux dédiés dans leurs processeurs centraux et leurs puces graphiques, l’affichage des NeRF est devenu rapide et facile. Instant-NGP de Nvidia fournit des résultats immédiats, compilant des photos et formant le NeRF presque instantanément.

Même un iPhone peut capturer et créer des NeRF avec l’application Luma AI. Les avancées récentes de Google rendent la technologie NeRF plus rapide, et la recherche NeRF de Meta nécessite moins de photos pour générer une représentation convaincante.

Alors que la technologie NeRF continue de progresser et de devenir plus polyvalente, le rendu neuronal jouera probablement un rôle important dans la construction des objets et des environnements virtuels qui rempliront le métaverse et feront des casques VR et des lunettes AR une nécessité à l’avenir.