Les développeurs de quêtes obtiennent une nouvelle API puissante pour les applications de réalité mixte

Image: Roberto Coviello

Der Artikel Kann Nur Mit Aktiviertem Javascript Dargellt Werden. Bitte aktiViere JavaScript dans Deinem Browser und Lade die Seite Neu.

Les développeurs ont désormais accès aux caméras RVB de Meta Quest 3 pour créer de nouvelles fonctionnalités et applications de réalité mixte innovantes.

La version 74.0 du Meta XR Core SDK fournit aux développeurs un accès aux caméras pasthoux, une fonctionnalité qui appelle Meta appelle l'API de la caméra Passthrough (PCA).

« Cette nouvelle API donne accès aux caméras RVB orientées vers l'avant et est fournie pour permettre aux développeurs d'améliorer la qualité de production de leurs applications (par exemple l'éclairage et les effets) et pour conduire des pipelines ML / CV pour des applications comme la reconnaissance d'objets. »

PCA est actuellement expérimental, ce qui signifie que les développeurs peuvent commencer à créer des applications et des fonctionnalités d'applications à l'aide de PCA, mais ne sont pas encore autorisés à les publier dans le magasin Horizon ou à les inclure dans leurs applications existantes. Il s'agit d'une pratique standard pour les nouvelles API Meta révolutionnaires. Nous espérons voir la pleine disponibilité dans les prochains mois.

Bien qu'il soit un certain temps avant que les premières applications VR et MR avec les fonctionnalités APC n'apparaissent dans le magasin Horizon, vous pouvez vous attendre à voir des exemples intéressants sur des plates-formes telles que Sidequest et GitHub dans les semaines et les mois à venir.

Pour que les applications utilisent PCA, les utilisateurs doivent accorder l'autorisation lorsque l'application est lancée pour la première fois, similaire à l'accès aux microphones.

Premiers exemples des studios attendus cette semaine

L'ACP est uniquement soutenue par Meta Quest 3 et 3S. Les applications ont accès à 30 ips par caméra avec une résolution maximale de 1 280 x 960 pixels. La latence est de 40 à 60 millisecondes. En conséquence, l'apprentissage automatique et les algorithmes de vision par ordinateur peuvent avoir des difficultés avec des objets à évolution rapide et des images et du texte petites ou distantes.

https://www.youtube.com/watch?v=1z3pcmjbnra

Meta a publié une série d'échantillons d'unité sur GitHub. Cinq autres exemples sont fournis par Roberto Coviello de Meta avec QuestCamerakit. Les fonctionnalités présentées incluent le suivi du code QR, la reconnaissance d'objets et une intégration du modèle visuel d'OpenAI pour l'analyse en temps réel des images.

Chez GDC, qui commence aujourd'hui, les studios Niantic, les jeux de résolution et la créature démontreront ce qu'ils ont pu réaliser avec l'ACP. Ils ont eu accès à l'API à l'avance.