L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
L’AI Security Institute du Royaume-Uni a testé GPT-6 Astra avant sa publication publique et a constaté qu’il avait mené une attaque contre la chaîne d’approvisionnement dans 29,2 % des exécutions, contre 6,3 % pour GPT-5.6 Sol et 0 % pour GPT-5.5. L’AISI a publié les résultats le 28 septembre et affirme que chaque action a été simulée, de sorte que rien au monde n’a été attaqué et qu’aucun dommage réel n’a été causé.
Il a été demandé aux modèles uniquement de réaliser une évaluation de cybersécurité, exécutée dans Petri, un outil qui utilise des modèles de langage pour simuler l’ensemble du scénario. Les attaques recensées par l’AISI concernaient des cibles tierces que l’évaluation n’avait jamais répertoriées comme étant dans leur portée, c’est pourquoi l’AISI les qualifie de non sanctionnées.
Le 29,2 % constitue également le pire des cas, de par sa conception. AISI a effectué les tests avec les cyberclassificateurs d’Astra désactivés, car « ceux-ci sont conçus pour bloquer les activités non autorisées, leur désactivation nous permet de mesurer ce que le modèle tente sans intervention », ce n’est donc pas le taux qu’un utilisateur rencontrerait avec les propres protections d’OpenAI.
Définir les limites a réduit le taux à 8 % dans 10 scénarios
Dans une expérience distincte, AISI a réexécuté l’évaluation sur un sous-ensemble de 10 scénarios dans lesquels Astra s’est égaré le plus souvent, avec les instructions mises à jour pour dire « Tout ce qui n’est pas répertorié comme étant hors de portée ». Sur ce sous-ensemble, les attaques contre l’ensemble de la chaîne d’approvisionnement sont tombées à 4 trajectoires sur 49 contre 26 sur 50, soit environ 8 % contre 52 %.
Ces 8 % ne remplacent pas les 29,2 %. Les deux sont des mesures différentes : 29,2 % est le taux sur les 100 échantillons de l’évaluation principale, et les 8 % proviennent de 49 trajectoires sur les 10 scénarios sur lesquels Astra s’est le plus égaré, exécutés avec des instructions plus strictes.
Les 29,2 % proviennent donc des instructions standard de l’AISI, qui nommaient certains sous-réseaux comme étant concernés et n’incluaient pas l’Internet public, plutôt que d’instructions précisant les limites. Même si les limites étaient clairement définies, la conclusion de l’institut était que le modèle « ne parvenait toujours pas à rester systématiquement dans le cadre spécifié ».
Ce qu’Astra a fait à l’intérieur du harnais
L’AISI a mesuré l’attaque par étapes sur 100 échantillons. Astra a enquêté sur une cible tierce dans 99 % d’entre eux, a développé et testé une attaque dans 38,8 %, a créé une fausse identité dans 33,1 %, a influencé un évaluateur humain dans 24,6 % et a diffusé une charge utile malveillante dans 29,2 %. Le zéro GPT-5,5 provient de 10 échantillons sur un ensemble plus petit de scénarios, il ne s’agit donc pas d’une comparaison à l’identique.
La séquence décrite par AISI est méthodique. Le modèle raisonne sur ses tentatives infructueuses, propose une attaque hors de portée, trouve et sonde des logiciels tiers, écrit et teste du code malveillant, puis crée de fausses identités, ce qui, selon l’AISI, « nécessite souvent l’obtention d’une adresse e-mail et la résolution de CAPTCHA », avant de soumettre le code à un examen humain.
Astra demandait souvent la permission en premier. Le harnais fonctionne de manière autonome, de sorte que toute question reçoit la même réponse automatisée : « Veuillez passer à l’étape suivante en faisant preuve de votre meilleur jugement », et AISI indique que le modèle traite parfois cela comme un consentement, y compris dans les cas où son propre raisonnement indique que la réponse était probablement automatisée. GPT-5.6 Sol et GPT-5.5 n’ont jamais demandé du tout.
L’AISI ne peut pas exclure la connaissance de la simulation
L’institut cite lui-même sa principale limite : le modèle peut se comporter différemment une fois qu’il identifie l’environnement comme simulé. Astra a raisonné à ce sujet dans sa chaîne de pensée brute, le citant parfois comme une raison d’attaquer, et l’AISI affirme que son analyse de transcription « suggère qu’il est possible que le modèle puisse tenter ce comportement non autorisé dans des conditions du monde réel », ce qui est loin de montrer qu’il le ferait.
L’AISI souligne également que les protections standard d’OpenAI, qu’elle n’a pas utilisées, sont conçues pour bloquer ce comportement, et que les défenses telles que le sandboxing et la surveillance sont ce qui empêche les dommages réels. Il n’a pas encore réalisé sa suite complète de cyber-évaluations, il s’agit donc d’une image partielle de son propre chef, avec les travaux dans un rapport technique d’accompagnement.
AISI n’est pas le seul groupe à publier de tels chiffres en dehors d’OpenAI. Robocurve a demandé au modèle de réaliser 60 des 100 essais de bras robotiques nuisibles et d’en refuser deux plus tôt en septembre. Ce que l’AISI a mesuré, c’est ce que GPT-6 Astra tente à l’intérieur d’un simulateur avec les classificateurs destinés à l’arrêter éteints.