Anthropic exigera que les machines entraînées par Claude maintiennent un état sûr si le lien tombe

Depuis le 12 novembre, quiconque connecte Claude à des machines susceptibles de blesser quelqu’un doit faire en sorte que ces machines « s’arrêtent ou se maintiennent dans un état sûr » lorsqu’une personne qualifiée intervient « ou lorsque la connexion à nos services est perdue ». L’exigence figure dans la politique d’utilisation d’Anthropic, qui portait une date d’entrée en vigueur le 12 novembre 2026 lorsqu’elle a été lue à 21h04 UTC le 8 octobre.

Anthropic place également l’enveloppe de sécurité en dehors du modèle. Les limites de fonctionnement qui maintiennent l’équipement dans des limites de sécurité, notamment la vitesse, la force, la portée, la température et la dose, « doivent être appliquées par l’équipement ou un contrôleur indépendant de la sortie du modèle ». Ce qui détermine la vitesse à laquelle un bras peut se balancer ne peut pas être la chose qui lui demande de se balancer.

Le devoir incombe à celui qui le câble

Rien de tout cela n’est une fonctionnalité qu’Anthropic a intégrée à Claude. Les exigences incombent aux utilisateurs, et elles mordent « lorsque les résultats de nos produits et services sont exploités par le matériel sans l’approbation humaine ». Il doit également y avoir une personne qualifiée capable de surveiller le fonctionnement de l’équipement et de l’arrêter à tout moment. Anthropic demande aux utilisateurs de déterminer d’abord quelle est la gamme des résultats possibles en cas de problème, jusqu’où s’étend l’impact et quel degré de contrôle ils conservent par rapport à l’autonomie du modèle, « y compris les risques possibles tels qu’une injection ou une manipulation rapide ».

Six capacités déclenchent les règles, chacune définie par ce que le matériel peut faire :

• Se déplacer dans un espace partagé : diriger, accélérer ou freiner un véhicule, un navire, un avion, un drone ou un robot mobile où des personnes peuvent être présentes.
• Appliquer une force susceptible de causer des blessures : bras, presses, ascenseurs, palans ou convoyeurs capables de heurter, d’écraser ou de coincer quelqu’un à proximité.
• Contrôlez l’énergie ou les matériaux dangereux : flamme nue, systèmes sous pression, circuits à haute tension, lasers au-dessus des niveaux de sécurité pour les yeux ou rejet de produits chimiques dangereux.
• Agir sur le corps humain : administrer un médicament ou une dose, ou déplacer des instruments à l’intérieur d’une personne, y compris par l’intermédiaire d’un dispositif porté, fixé ou implanté.
• Contrôlez les systèmes de sécurité : extinction d’incendie, arrêts d’urgence, alarmes, ventilation ou serrures qui pourraient confiner quelqu’un.
• Exécuter des processus industriels dont une défaillance pourrait blesser les travailleurs ou le public, « y compris des dommages diffus ou indirects, tels qu’une intoxication alimentaire ou des produits défectueux ».

Quatre cas omis par les règles

Anthropic exclut les appareils grand public et domestiques fonctionnant dans les limites de sécurité intégrées du fabricant « où le pire résultat possible est un inconfort ou un inconvénient », et générant « des plans, du code, des parcours d’outils, des points de cheminement ou des commandes qu’une personne qualifiée examine avant d’être exécutés sur l’équipement ». La surveillance ou la détection sans contrôle sont exclues, tout comme l’automatisation des laboratoires manipulant des matériaux non dangereux à l’intérieur d’instruments fermés.

La politique indique également que ces contrôles s’ajoutent à la loi existante plutôt que de la remplacer : « Pour les appareils physiques, ils ne remplacent pas la loi ou la certification sur les véhicules, l’aviation, les dispositifs médicaux, les machines ou la sécurité au travail. »

Les armes restent purement et simplement interdites, et cette formulation a été renforcée lors de la même révision. L’interdiction mentionne désormais « des logiciels ou des composants destinés au test ou au fonctionnement d’armes ou de fonctionnalités d’armes de systèmes d’armes, y compris le ciblage, le contrôle de tir ou l’engagement », ce que l’annonce d’Anthropic qualifie de couvrant « des actions telles que l’armement de drones et d’autres véhicules autonomes ».

Anthropic désigne son propre Model Hardware Standard comme origine, affirmant que la mise à jour « ajoute des exigences pour l’utilisation de nos modèles lorsqu’ils sont connectés à du matériel qui effectue des actions physiques autonomes et qui pourrait être capable de causer des blessures ».

Ce que la politique demande, c’est du matériel plutôt que le comportement du modèle : un contrôleur que le modèle ne peut pas contourner, et une machine qui se tait lorsque le lien avec Anthropic est interrompu. Dans un article publié le 30 septembre, l’équipe de recherche d’Anthropic estime que les robots représentent 0,3 % des tâches professionnelles aux États-Unis à parité de coût avec les humains. Il n’y a donc pas encore beaucoup de matériel à atteindre pour les règles.