L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
Anthropic a publié un prototype de recherche qui vérifie le résultat d’un modèle d’IA sans exposer les poids utilisés pour le produire. Appelé FlashProve, le système utilise des preuves cryptographiques pour lier un jeton vérifié à un ensemble de poids de modèle préalablement validé.
L’ouvrage aborde un problème difficile à résoudre en lisant la réponse d’un chatbot : un utilisateur peut ne pas savoir si le modèle demandé l’a généré, ou si un fournisseur en a remplacé un autre. Anthropic affirme que le prototype pourrait donner aux utilisateurs et aux auditeurs un moyen de vérifier cette affirmation sans exécuter eux-mêmes le modèle.
Il s’agit d’une recherche, pas d’un nouveau commutateur de vérification chez Claude. Le test a utilisé une version quantifiée du modèle Llama 4 Maverick de Meta, et produire la preuve nécessite encore beaucoup plus de puissance de calcul que générer la réponse seule.
Une preuve peut lier une réponse à un ensemble particulier de poids
Dans son annonce de recherche, Anthropic décrit deux étapes. Tout d’abord, un fournisseur publie un engagement concernant les pondérations du modèle. Une fois qu’une requête a été traitée, elle produit une preuve que le modèle validé a généré le jeton vérifié.
Une personne disposant de l’engagement, de la contribution et de la preuve peut alors vérifier la réclamation sans voir les poids exclusifs. Anthropic affirme que sa preuve est conçue pour dissimuler ces poids et calculs intermédiaires, bien que l’architecture du modèle ne soit pas cachée.
Cela indiquerait au vérificateur quelque chose de spécifique sur la manière dont une réponse a été produite. Cela ne permettrait pas d’établir que la réponse est correcte, que le modèle est sûr ou qu’un fournisseur n’effectue pas d’autres travaux sur le même matériel.
L’expérience s’accompagne tout de même d’une facture informatique conséquente
Anthropic a testé FlashProve avec le modèle de mélange d’experts Llama 4 Maverick de 400 milliards de paramètres, en utilisant des poids de quatre bits accessibles au public. Chaque requête utilisait un contexte de 1 024 jetons, chaque preuve vérifiant un jeton. Son système de test utilisait un GPU Nvidia H100 et 24 cœurs de processeur pour produire des épreuves par lots de 24 requêtes.
Les chercheurs rapportent environ 110 jetons par seconde dans leur lot, avec une preuve d’environ 19 Mo pour une demande de 1 024 jetons. La vérification d’une épreuve a pris environ 17 secondes en utilisant 24 threads CPU, selon les mesures publiées. La société affirme que la preuve utilise environ 70 à 95 fois plus de temps GPU par appareil que l’exécution du même modèle avec des poids de huit bits dans le moteur d’inférence vLLM. L’expérience de preuve a utilisé des poids de quatre bits, la comparaison ne s’effectue donc pas entre des calculs identiques.
Ces chiffres concernent la configuration des chercheurs et ne constituent pas une promesse sur ce qu’un utilisateur individuel de chatbot verra. Le système d’Anthropic génère des preuves après inférence plutôt que de prouver chaque jeton lors de sa diffusion vers un utilisateur.
Le prototype ne couvre pas tous les types de réponses
FlashProve vérifie actuellement une version entière du modèle en utilisant un décodage glouton. Anthropic prévient que les implémentations en virgule flottante ou les réponses échantillonnées peuvent produire des jetons différents et peuvent donc ne pas correspondre au calcul en cours de preuve.
Le système gère également des contextes allant jusqu’à 1 024 jetons, beaucoup plus courts que les fenêtres contextuelles proposées par de nombreux assistants actuels. Son vérificateur C++ plus rapide n’offre pas la garantie formelle du vérificateur Lean distinct, et l’équipe de recherche affirme que la relation entre le protocole formel et le code exécutable doit encore être auditée.
Anthropic a publié le code, la documentation et les preuves mathématiques sous la licence Apache 2.0 afin que d’autres chercheurs puissent inspecter et développer leurs travaux. Les poids du modèle ne sont pas inclus dans cette version.