Le nouveau modèle Gemini de Google peut répondre à 1 000 questions à la fois sans écrire de réponse

Cet article nécessite JavaScript pour s’afficher. Veuillez activer JavaScript dans votre navigateur et recharger la page.

Google a introduit un modèle Gemini conçu pour évaluer jusqu’à 1 000 questions sur la même entrée en une seule requête. Gemini Decision 1 peut fonctionner avec du texte, des images, de l’audio, de la vidéo et des PDF, renvoyant des scores de confiance pour des choix limités plutôt que d’écrire une réponse conversationnelle.

La nouvelle API Gemini Decisions est destinée aux développeurs qui créent des applications, et non un nouveau mode dans le chatbot grand public Gemini. Google indique qu’il est disponible via l’API Gemini dans Google AI Studio.

Par exemple, une application pourrait soumettre une image et une note textuelle, puis demander si un déversement est présent, choisir une réponse dans une liste fournie et évaluer sa gravité. Le modèle fournit des probabilités que le logiciel peut utiliser pour décider quand transmettre un résultat incertain à une personne.

Diagramme Google comparant la façon dont Gemini Decisions et les API de génération de texte traitent les réponses des candidats

Une contribution, plusieurs décisions

Dans son annonce, Google indique qu’une requête peut inclure une entrée multimodale partagée allant jusqu’à 256 000 jetons et jusqu’à 1 000 questions indépendantes. Il prend en charge les évaluations oui/non, les questions à choix multiples et les scores par rapport à une rubrique ordonnée.

Pour les questions à choix multiples, Google indique que les développeurs peuvent proposer entre deux et 255 choix. L’API renvoie une option sélectionnée et des probabilités pour les candidats. Un score de confiance est un signal pour gérer un résultat, et non une preuve que la réponse sélectionnée est correcte.

Cette distinction est importante pour des utilisations telles que le filtrage de contenu ou l’acheminement d’une demande client. Un développeur doit toujours tester le système sur le matériel qu’il rencontrera et décider quand une personne ou un autre système doit vérifier le résultat.

Tableau de Google comparant les résultats de référence du modèle de décision

La rapidité et le coût sont assortis de conditions

Google indique un prix de 0,10 $ par million de jetons d’entrée, sans aucun jeton de sortie facturé. Il s’agit d’un tarif symbolique, et non d’un prix forfaitaire pour 1 000 questions ou pour chaque document. Le coût d’une demande dépend de la quantité et du type d’intrant traité.

La société rapporte 150 à 250 millisecondes de latence médiane de bout en bout pour des contextes allant jusqu’à 16 000 jetons dans les conditions qu’elle décrit. Son entrée maximale prise en charge est plus grande, mais l’annonce ne promet pas la même latence pour chaque requête à la taille maximale.

Google publie également des comparaisons avec d’autres modèles sur ses benchmarks choisis. Ces résultats sont ses propres mesures, donc les développeurs envisageant un changement devraient tester la précision, la vitesse et le coût avec des tâches représentatives plutôt que de considérer les graphiques comme une garantie.

L’annonce fournit des exemples et des liens vers la documentation destinée aux développeurs de Google. Toute personne créant un flux de travail peut combiner des types de questions avec une seule entrée ; les personnes utilisant l’application Gemini standard ne doivent pas supposer que ce point de terminaison de développeur modifie leur expérience de chatbot.