Image: méta
Der Artikel Kann Nur Mit Aktiviertem Javascript Dargellt Werden. Bitte aktiViere JavaScript dans Deinem Browser und Lade die Seite Neu.
Au GDC de la semaine prochaine, VR Studios offrira un premier aperçu des possibilités de la nouvelle API de passthrough de Meta.
La conférence des développeurs de jeux (GDC) se déroule du 17 au 25 mars à San Francisco. Meta sera présente à la conférence, accueillant plus d'une douzaine de sessions et événements.
Lors d'un événement intitulé Merge Realities, Multiply Wonder: Expert Guidance on Mixed Reality Development, Meta présentera l'API Passthrough aux développeurs. La nouvelle API prend en charge « l'utilisation en temps réel de la vision informatique personnalisée pour être déployée dans les jeux » à l'aide du flux de caméra passthrough.
Meta promet « des exemples réels de développeurs qui tirent déjà parti de notre dernière API de caméra Passthrough pour faire passer leurs applications au niveau supérieur. Voir comment ils utilisent cet outil puissant pour créer des expériences MR sans faille et interactives qui brouillent les lignes entre la réalité et la fantaisie. »
Meta donnera également « un aperçu exclusif de certains des articles de feuille de route à venir passionnants qui révolutionneront le développement de MR. Découvrez comment ces nouvelles fonctionnalités faciliteront la création d'une expérience MR incroyablement réaliste et engageante ».
L'événement aura lieu sur 18 mars 2025. Nous espérons que cela coïncidra avec l'annonce de la disponibilité générale de l'API Passthrough.
Quelle est l'API Passhrough?
Actuellement, les applications de réalité mixte ne peuvent accéder qu'à des données abstraites sur l'environnement physique, y compris un maillage 3D rugueux de la pièce et des boîtes représentant des meubles individuels.
L'API Passthrough, annoncée en septembre 2024, donnera pour la première fois à des applications de réalité mixte au flux de caméras pasthrough. Cela permettra aux applications de mieux reconnaître, analyser et répondre à leur environnement et à leurs objets individuels – ce qui est crucial pour la réalité mixte avancée.
Dans un article d'assistance qui a été publié prématurément (d'abord repéré par Luna), Meta donne des exemples de la façon dont les applications peuvent bénéficier de l'accès à la caméra.
- Reconnaissance d'objet. Les développeurs peuvent créer des applications qui reconnaissent et utilisent des objets spécifiques dans votre environnement réel. Par exemple, un jeu de société numérique qui intègre des pièces de jeu ou des planches physiques.
- Reconnaissance de l'emplacement. Les développeurs peuvent créer des expériences qui réagissent différemment selon l'endroit où le flux de la caméra montre que vous vous trouvez. Par exemple, à l'intérieur ou à l'extérieur, dans un monument célèbre ou dans un type spécifique de pièce.
- Autres fonctionnalités d'apprentissage automatique. Les développeurs peuvent exécuter des modèles d'apprentissage automatique personnalisés contre les données du flux de caméras en temps réel. Cela pourrait être utilisé pour le retexturation / l'ombrage, les jeux impliquant des participants qui ne portent pas de casques, de détection de personne / animaux ou de tout nombre de cas d'utilisation industrielle / d'entraînement personnalisés.
L'API Passthrough a été annoncée pour début 2025. Le chef des laboratoires de réalité Andrew Bosworth a déclaré il y a un mois que cette chronologie était toujours valide et que certains développeurs ont déjà accès à l'API et l'expérimentent. Nous devrions donc voir les fruits de ces expériences la semaine prochaine.