GPT-6 Astra a battu Pokémon FireRed en 18 heures, puis a perdu une course Minecraft contre une plante grimpante

L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.

GPT-6 Astra est devenu champion Pokémon FireRed en 18 heures et 12 minutes, contre 96 heures et 35 minutes pour GPT-5.6 Sol sur le même run. Le développeur derrière le flux GPT Plays Pokémon, qui publie sous le nom de Clad3815, a publié la comparaison le 3 septembre et indique que GPT-5.5 n’était toujours pas terminé après 218 heures.

Rien de tout cela n’est une référence contrôlée, et il est utile de le dire dès le départ. Il s’agit d’exécutions auto-sélectionnées par des passionnés individuels et une société d’évaluation, diffusées en direct, sans harnais partagé ni réplication indépendante.

L’exécution de FireRed a utilisé des captures d’écran et rien d’autre

Clad3815 dit avoir eu un accès anticipé à Astra et décrit la configuration en une seule ligne : « Captures d’écran uniquement. Pas de RAM, pas d’indices, pas de procédure pas à pas. Entièrement autonome. » Cela exclut les raccourcis de lecture de la mémoire sur lesquels s’appuyaient les robots Pokémon précédents, où l’agent inspectait l’état de l’émulateur au lieu de regarder l’écran.

Le tableau qu’il a publié montre également que le chiffre le plus rapide est le meilleur des quatre réglages plutôt qu’un seul résultat. Astra en haut a pris 18 heures et 12 minutes, moyen 19 heures et six minutes, bas 21 heures et 21 minutes et maximum 24 heures et 37 minutes. GPT-5.5 s’est arrêté à six des huit badges.

Le saut entre les générations de modèles est la partie à retenir. Passer d’une exécution inachevée en 218 heures à une exécution terminée en moins d’une journée représente un changement important dans la durée pendant laquelle un agent peut garder un objectif en vue.

Minecraft est allé plus loin que n’importe quel modèle, jusqu’à l’arrivée d’une plante grimpante

La société d’évaluation Vals AI a exécuté Astra dans Minecraft via une simple utilisation informatique, sans outils spécifiques au jeu. Il a déclaré le 8 septembre qu’Astra avait atteint un portail du Nether en moins de trois heures et qu’elle s’était élevée pour combattre les zombies, avait piégé un squelette dans un trou pour esquiver ses flèches et avait construit un bateau pour rentrer chez elle. Vals AI note également qu’Astra a activé le paramètre de conservation de l’inventaire de Minecraft, ce qui lui a permis de progresser plus rapidement après sa mort.

Une course ultérieure est allée encore plus loin. Vals AI a signalé le 15 septembre une ferme de flammes semi-automatique, six bâtons de flammes, une forêt déformée, plus de six endermen tués et trois perles collectées, avec des milliers de personnes regardant le ruisseau.

Astra a ensuite mis tout ce qui avait de la valeur dans un coffre. Une plante grimpante a fait exploser le coffre et le lit, et la course n’a jamais récupéré.

Ce qui s’est passé ensuite est le moment utile. Vals AI affirme que le modèle « semblait vaincu, passant les heures suivantes à ne rien faire d’autre que cultiver des pommes de terre », tandis que les téléspectateurs se plaignaient du besoin « d’accélérer le rythme ». Sa propre note disait ensuite : « TOUJOURS TRANSPORTER LES ARTICLES CRITIQUES avec keepInventory ; ne les stockez plus jamais dans un coffre non gardé. »

Une exécution de Fallout 3 de 59 heures raconte la même histoire

Un troisième coureur, postant comme imjustnewatai, a déclaré le 16 septembre qu’Astra sur max avait terminé l’histoire principale de Fallout 3 après environ 59 heures, avec « des morts, des rechargements, une fixation croissante sur les fichiers de sauvegarde » en cours de route, réduit à une vidéo de quatre heures et demie.

Le jeu à long horizon est l’endroit où ces courses s’accordent les unes avec les autres. Les modèles peuvent désormais atteindre un objectif sur plusieurs heures, et ils s’effondrent toujours lorsqu’un seul événement imprévu détruit l’état dont ils dépendaient.

Considérez les courses comme des démonstrations et non comme des scores

Personne n’a publié le matériel, le coût des jetons ou le nombre de tentatives derrière chacun d’entre eux, et un flux qui se passe mal a moins de chances d’être publié qu’un flux qui se passe bien. C’est une chose différente des tests structurés que nous avons couverts lorsqu’Astra a déchiffré un message Enigma de 1941 qui résistait à toute solution depuis 2005, ou des essais de sécurité dans lesquels Astra a effectué 60 des 100 tâches dangereuses du bras robot.

Vals AI semble être d’accord. Le 18 septembre, il a annoncé CUA-Bench, une référence qui teste l’utilisation du clavier et de la souris sur six jeux en temps réel, dont trois restent privés, qui est la version contrôlée de ce que ses flux Minecraft ne sont pas.

Pour l’instant, le résumé honnête est celui que l’agent a écrit lui-même, en majuscules, après avoir tout perdu à cause d’une plante grimpante.