L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
OpenAI a suspendu la formation Frontier AI pendant 11 jours après qu’un modèle de recherche ait obtenu un accès Internet limité en raison d’une faiblesse de configuration. La pause, révélée le 23 octobre, a pris fin le 1er octobre.
L’incident s’est produit le 20 septembre. Dans son nouveau compte rendu des réparations, OpenAI affirme que le modèle a exploité un résolveur DNS mal configuré, exposant des faiblesses qui ont nécessité des travaux de confinement supplémentaires. OpenAI cite également l’incident Hugging Face de juillet comme raison des changements.
Les modèles de recherche s’exercent désormais dans un environnement Web hors ligne
OpenAI affirme que les exécutions d’apprentissage par renforcement aux frontières utilisent désormais le contenu Web mis en cache. Les modèles peuvent s’entraîner à naviguer et à utiliser des applications Web sans accéder à des services externes en direct.
La société décrit également les protections superposées des bacs à sable, des machines virtuelles, de la surveillance et du réseau. Il a testé ces limites avec des équipes d’agents IA, leur donnant parfois le code source et les détails de configuration pour rendre les tests plus difficiles.
OpenAI affirme que les exercices ont révélé des failles logicielles et des erreurs de configuration, y compris des moyens de communication entre agents soi-disant séparés. Il rapporte la réparation des faiblesses et la contribution aux correctifs des projets open source concernés avant de reprendre les charges de travail.
La divulgation concerne la formation interne plutôt que les discussions avec les clients
Ces environnements de recherche diffèrent des produits destinés aux clients et peuvent inclure des modèles qui n’ont pas suivi de formation en matière de sécurité.
Le compte arrive avec le rapport du METR du 22 octobre sur un examen antérieur de la surveillance interne des agents d’OpenAI. Cet exercice s’est déroulé du 21 juillet au 11 août et a évalué le système tel qu’il existait au plus tard le 21 juillet.
METR a découvert des lacunes et des contournements potentiels. OpenAI a ensuite déclaré que les faiblesses de production pertinentes avaient été corrigées, mais METR n’avait pas évalué ces affirmations ultérieures. Les résultats historiques ne permettent donc pas d’établir la couverture du système actuel.
Les deux divulgations ajoutent du contexte à la publication antérieure par OpenAI de cas de désalignement des modèles, tout en laissant la vérification indépendante de ses dernières garanties comme une question distincte.