L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
Six employés de METR, une organisation à but non lucratif qui évalue les modèles d’IA frontaliers, disposent désormais du matériel de l’entreprise Anthropic, d’un espace de bureau et d’un accès à ses outils et systèmes internes, et Anthropic ne peut pas opposer son veto à ce qu’ils publient à ce sujet. Anthropic affirme que l’accès est « à peu près comparable à celui auquel nos propres équipes d’évaluation des risques ont accès », dans une mise à jour publiée le 15 octobre.
La limite à cette liberté est la rédaction et non l’approbation. « Anthropic ne peut pas opposer son veto à la publication, mais nous pouvons lui demander de caviarder des informations si elles entrent dans des catégories étroites et prédéfinies », explique la société, citant « des données sur les clients, des informations privilégiées entre avocat et client ou des informations sur nos architectures modèles ». Le METR est libre de dire en public qu’une suppression a été effectuée et s’il estime que cette suppression était justifiée, à condition qu’il ne révèle pas ce qui a été supprimé.
Anthropic emprunte le modèle de l’examinateur bancaire
La comparaison à laquelle Anthropic s’adresse est la supervision bancaire. « Les banques en savent plus sur leur propre position en matière de risque que les étrangers, c’est pourquoi les régulateurs assignent des examinateurs résidents pour travailler au sein des plus grandes banques », dit-il, tout en admettant que l’analogie « n’est pas exacte ».
À l’intérieur du bâtiment, les six personnes sont censées être traitées comme des collègues. Anthropic affirme que son personnel est « encouragé à partager des informations avec eux comme ils le feraient avec un collègue travaillant sur le risque d’alignement », en dehors des catégories exclues, et que l’équipe travaille « dans le cadre d’accords exécutoires » avec le reste du METR en vase clos, y compris les chercheurs du METR travaillant avec Anthropic sur d’autres projets.
Le silo est délibéré. L’évaluation intégrée « n’est pas un moyen pour d’autres organisations d’obtenir nos informations, ou celles de nos clients et partenaires », déclare Anthropic.
Trois niveaux décident qui publie sans autorisation
Anthropic présente une échelle d’accès qu’il est encore en train de construire. Un évaluateur de premier niveau mène des enquêtes sur les risques à portée étroite, Anthropic choisissant l’accès et approuvant les résultats avant leur diffusion. Un évaluateur de deuxième niveau voit plus et publie sans approbation, sous réserve des suppressions de catégories, sur lesquelles il peut ensuite argumenter publiquement.
Le troisième niveau est celui de METR : un accès comparable à celui des employés avec des droits de publication de deuxième niveau. Anthropic dit qu’elle espère avoir plusieurs évaluateurs sur place à temps, et elle veut quatre choses de chacun, à savoir une expertise qui inclut la compréhension de la simulation d’alignement, une indépendance sans capitaux propres et sans dépendance financière ou opérationnelle, un accès suffisant pour voir comment les modèles ont été formés et comment fonctionnent les garanties, et la liberté de publier.
METR lisait les rapports de risque d’Anthropic avant cela
Anthropic affirme avoir travaillé avec METR sur plusieurs examens de ses rapports sur les risques au cours de l’année écoulée, cette relation n’est donc pas une nouveauté. Les termes sont. Lorsqu’Anthropic a annoncé un partenariat d’évaluation intégrée rémunéré avec Accenture le 18 septembre, l’entreprise a simplement déclaré qu’elle était en dialogue avec METR sur le pilotage d’éléments d’évaluation intégrée sur le propre financement des évaluateurs, et a promis de nommer d’autres évaluateurs dans les semaines à venir.
Le reste de cette liste a également changé. SecureBio est en train de réviser le chapitre sur les armes chimiques et biologiques du rapport d’août sur les risques d’Anthropic, après avoir terminé et publié une étude pilote du précédent. C’est le domaine à risque dans lequel Anthropic a assoupli les garanties biologiques de Claude pour les équipes contrôlées en septembre. Accenture et Faculté « travaillent vers » un partenariat plus large plutôt que dans celui-ci, et Hugging Face est désigné comme une organisation avec laquelle Anthropic est en première discussion.
Anthropic ne donne aucune date de début au-delà de « commencé », aucune durée pour les fiançailles et pas d’argent, et METR n’a rien publié sur l’accord, il n’y a donc pas encore de conclusion à peser. Anthropic met plutôt le reste de l’industrie sur la sellette : « Nous intégrons volontairement des évaluateurs, et nous pensons que chaque entreprise pionnière de l’IA devrait faire de même. »
Le premier véritable test de la clause de non-veto sera un rapport METR qu’Anthropic préférerait ne pas lire.