L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
Skild AI a donné à un robot jouant au football un seul objectif, « marquer », et affirme que dribbler devant un défenseur, protéger le ballon et plaquer un adversaire sont tous apparus sans que personne n’écrive de récompense pour eux. « Plutôt que de créer des récompenses pour ces comportements, elles sont apparues simplement parce qu’elles ont contribué au score du modèle », explique l’entreprise dans un article de recherche publié le 23 septembre.
Skild attribue un numéro à la formation et doit être lu attentivement : « Après 140 ans de jeu simulé, nous avons transféré la politique dans un robot et l’avons défiée dans un match ». Cela représente 140 ans dans un simulateur, pas 140 ans dans une machine tapant dans un vrai ballon, et Skild ne donne aucun temps d’entraînement, aucun budget de calcul et aucun décompte du nombre de matchs disputés en parallèle.
Le self-play est l’astuce AlphaGo Zero, appliquée à un corps
La méthode repose sur le S1 de Skild, que la société appelle son modèle de base robotique phare. Skild affirme que la politique « a appris à marquer en jouant contre des versions récentes d’elle-même », de sorte que chaque amélioration a produit un adversaire plus dur.
Le précédent sur lequel Skild s’appuie est celui des jeux de société et vidéo. Il cite AlphaGo battant Lee Sedol en 2016, AlphaGo Zero battant l’AlphaGo original 100 à 0 trois jours après avoir commencé à jouer, puis AlphaStar dans StarCraft II et OpenAI Five dans Dota 2.
L’argument de Skild en faveur d’une telle opération sur un robot est un argument de plafond. Les modèles comme S1 sont pré-entraînés sur des données humaines et sont donc « limités aux capacités humaines », affirme l’entreprise, qui « croit[s] le jeu physique permettra aux robots de dépasser de loin les capacités humaines. » Cette seconde moitié est une conviction déclarée, pas un résultat dans le message.
Les progrès sont mesurés en années simulées
Skild décrit la courbe d’apprentissage selon l’échelle de temps du simulateur. « Au cours de ses premiers mois de simulation dans Isaac Sim de NVIDIA, il pouvait à peine marcher », indique le message, et « au moment où il atteignait l’âge universitaire, il pouvait se relever après être tombé ».
Puis vint le transfert sur du matériel réel, que Skild appelle « un drapeau vert vif pour le jeu autonome sur la voie de l’AGI physique ». Les vidéos de l’article vont jusqu’à montrer ce que Skild appelle le transfert réussi de la simulation à l’humanoïde.
Il n’y a pas de papier, ni de robot nommé
Skild ne dit jamais ce qu’est le robot. Le message va seulement jusqu’à « dans un robot » et « de la simulation à l’humanoïde », sans fabricant, sans numéro de modèle et sans mention de la façon dont la politique a été adaptée au corps dans lequel elle a atterri.
Il n’y a pas non plus de score. Aucun taux de victoire, aucun décompte de buts, aucune comparaison de base et aucun tableau de référence n’est publié, et Skild dit seulement qu’il l’a « défié dans un match », sans rapporter comment le match s’est déroulé. Il s’agit d’un aperçu du blog de l’entreprise sans papier, sans examen par les pairs, sans code et sans point de contrôle publié, ce qui le place loin du travail AlphaGo Zero auquel il se mesure. D’autres affirmations robotiques ce mois-ci sont arrivées avec un chiffre joint, comme le décompte de Robocurve de 60 essais de bras robotisés nocifs sur 100, et le robot du MIT envoyant des données à travers 3,6 pieds de glace arctique a été rapporté de la même manière.
Skild affirme que son prochain article examinera les comportements sociaux dans les grandes équipes et qu’il étend l’approche du football à la manipulation collaborative et à la navigation à l’échelle de la ville. Jusqu’à ce que l’un d’entre eux arrive avec des numéros attachés, les 140 ans restent simulés et le match reste une vidéo.