L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
Google a lancé Guided Vision dans Gemini Live le 1er octobre, un mode qui décrit vers quoi l’appareil photo d’un téléphone Android est pointé et indique à l’utilisateur comment déplacer le téléphone pour avoir une meilleure vue. Google affirme qu’il apporte « une interprétation visuelle en temps réel aux personnes aveugles, malvoyantes ou souhaitant une assistance visuelle intuitive ». Le même article trace une ligne de démarcation : Guided Vision n’est « pas un dispositif médical, une aide à la mobilité ou un remplacement de canne blanche ».
Cette clause de non-responsabilité va plus loin. « Comme toute technologie d’IA générative, Guided Vision est un utilitaire d’assistance et peut commettre des erreurs », écrit Google, et il « n’est pas destiné à la navigation, au guidage en toute sécurité ou à la détection d’obstacles. Les utilisateurs doivent continuer à s’appuyer sur des aides à la mobilité établies et sur des pratiques de déplacement sûres dans des environnements physiques ».
Gemini vous explique comment déplacer la caméra
La fonctionnalité qu’un utilisateur remarque en premier est le coaching. « Si votre caméra est pointée trop haut, trop près ou légèrement sur le côté, Gemini fournit des invites verbales naturelles pour vous aider à recadrer », explique Google, « vous demandant de vous déplacer lentement vers la droite, de vous incliner vers le bas ou de reculer afin d’obtenir le contexte visuel clair nécessaire pour répondre à vos questions. »
Le partage de caméra dans Gemini Live n’est pas nouveau ; les signaux de recadrage parlés et les questions de suivi qui les entourent sont ce que Guided Vision ajoute. Google répertorie les tâches qu’il a en tête : lire de petites étiquettes nutritionnelles, des cadrans d’appareils électroménagers et des cycles de machine à laver, ou un menu imprimé dans un restaurant faiblement éclairé ; trouver un écouteur tombé sur le sol ou du poivre noir dans une armoire à épices bondée ; poser des questions sur les couleurs, les motifs et les formes lors du choix d’une tenue ; et décrivant la disposition d’une pièce inconnue.
Google ajoute que la même aide va plus loin que ce pour quoi elle a été conçue, en nommant les personnes âgées, les personnes peu alphabétisées et toute personne lisant les petits caractères sous un faible éclairage.
Aira l’a formé, avec plus de 1 000 testeurs
Google a construit le modèle avec Aira, le service d’interprétation visuelle. « Pour former Gemini Live au contexte conversationnel du monde réel, nous nous sommes associés à Aira pour interpréter visuellement les données pendant un total de dizaines de milliers d’heures », explique Google. « Plus de 1 000 membres du réseau de testeurs de confiance d’Aira ont contribué à tester et à affiner le modèle au cours des routines quotidiennes, tandis que les spécialistes d’Aira ont travaillé directement avec nos équipes en tant qu’experts en la matière pour nous aider à établir et à évaluer nos garde-corps de sécurité.
Google affirme que le travail s’appuie sur des tests et des commentaires de communautés aveugles et malvoyantes en Inde, au Brésil, à Singapour, en Indonésie et au Japon, entre autres, et que Guided Vision gère les conversations dans plusieurs langues.
Trois façons de le démarrer sur Android
La première voie est l’application Gemini : ouvrez les paramètres du profil, activez Utiliser la vision guidée dans Live, puis ouvrez Gemini Live et partagez la caméra. Le second est un raccourci d’accessibilité Android, défini sous Paramètres, Accessibilité, Assistance visuelle, Vision guidée, qui peut être déclenché par le bouton d’accessibilité flottant, un glissement à deux doigts ou une pression sur les deux touches de volume.
Le troisième est destiné aux utilisateurs de TalkBack, qui peuvent ouvrir le menu TalkBack en appuyant avec trois doigts et sélectionner Vision guidée à partir de là. Google indique que la fonctionnalité est disponible sur les appareils Android exécutant Android 9 et supérieur, dans les régions et langues où Gemini Live est pris en charge, et que l’application Gemini et le logiciel système doivent être à jour.
Google a présenté en avant-première Guided Vision dans le Android Drop de septembre, qui a été publié le 1er septembre et a décrit la fonctionnalité comme étant à venir. Il s’agit d’une fonctionnalité téléphonique, sans précision ni chiffre de latence, qui laisse le propre cadre de Google comme mesure : un utilitaire d’assistance qui peut commettre des erreurs, et non un outil de navigation. L’autre ajout récent de Gemini Live, un avatar qui bascule entre 97 langues, est allé à Gemini Enterprise plutôt qu’à l’application grand public.