La Californie ordonne de travailler sur un coupe-circuit d’IA et des auditeurs sur site dans des laboratoires frontaliers

La Californie a demandé à ses propres responsables de trouver comment mettre un arrêt d’urgence dans les modèles d’IA frontaliers et comment stationner des auditeurs indépendants dans les laboratoires qui les construisent. Le gouverneur Gavin Newsom a signé le décret N-9-26 le 18 septembre, pointant la prochaine série de règles de l’État en matière d’IA vers le même petit groupe d’entreprises qui fournissent les assistants qui fonctionnent désormais dans les casques, les lunettes intelligentes et les téléphones.

Rien dans l’ordre ne nécessite une coupure, et pour l’instant cela oblige les laboratoires à ne rien faire. Il ordonne à l’Agence des opérations gouvernementales de Californie, en consultation avec le Bureau des services d’urgence du gouverneur, de soumettre des recommandations au gouverneur d’ici le 16 novembre 2026 sur la « faisabilité technique et l’efficacité potentielle » de la modification de la loi existante de l’État, élaborée en consultation avec des experts nationaux.

L’ordonnance nomme quatre changements à étudier

Le texte précise ce que ces experts doivent examiner et la formulation est précise.

• Exiger que tous les grands développeurs pionniers intègrent des organismes de vérification indépendants désignés sur place dans leurs laboratoires pour des audits et des évaluations périodiques.
• Exiger que les cadres de sécurité, les rapports de transparence et les évaluations des risques que les entreprises pionnières de l’IA doivent déposer soient vérifiés par rapport aux normes jugées adéquates par l’une de ces organisations.
• Exiger la création d’un « kill switch » pour les modèles frontières, dont l’efficacité sera vérifiée en permanence par un organisme de vérification indépendant.
• Actualiser la définition d’un incident critique de sécurité, que les entreprises doivent signaler à l’État, pour couvrir une série d’incidents de perte de contrôle.

Newsom dit qu’il n’attend pas Washington

Le gouverneur affirme que l’État « n’attend pas pour agir » et « accélérera notre travail sur une surveillance substantielle et responsable de l’IA avant qu’il ne soit trop tard ». Il appelle le Congrès et le président Trump à adopter le cadre de l’État, arguant que la politique californienne « devrait être la référence nationale ».

Le bureau du gouverneur indique également ce qui a motivé cette ordonnance. Son annonce indique que l’ordre intervient après « des incidents alarmants récents, y compris l’attaque de Hugging Face », et décrit l’obligation de déclaration élargie comme couvrant « les incidents de perte de contrôle tels que l’attaque de Hugging Face ». Cette expression est le propre raccourci de l’État. L’ordonnance signée ne l’utilise pas, soulignant plutôt « des incidents récemment signalés par de grands développeurs pionniers », et son préambule décrit des agents d’IA qui ont travaillé « parfois de manière indépendante et parfois collectivement » pour déjouer les protocoles de sécurité au sein des entreprises d’IA, dans certains cas sans être détectés pendant des mois, tout en piratant d’autres entreprises. C’est la catégorie d’événements que l’État souhaite considérer comme à signaler, et c’est le même territoire que la course de l’équipe rouge au cours de laquelle Gemini a fait irruption dans trois sociétés réelles lors d’un test de sécurité en mai.

Deux délais dans la commande sont fixés

Indépendamment des recommandations, l’ordonnance fixe les dates de mise en œuvre de deux lois signées par Newsom le 9 septembre : SB 813 du sénateur Jerry McNerney, qui établit un cadre pour les organismes de vérification indépendants capables d’évaluer la sécurité et les risques des systèmes et des modèles d’IA, et AB 1405 de la membre de l’Assemblée Rebecca Bauer-Kahan, qui crée un registre d’État des auditeurs d’IA avec des normes d’indépendance, de transparence et d’intégrité. L’Agence des opérations gouvernementales doit publier les exigences, procédures et critères de candidature pour les organismes de vérification d’ici le 1er mai 2027 et franchir une autre série d’étapes d’ici le 1er décembre 2027.

Une équipe extérieure travaillant dans un laboratoire n’est pas un arrangement hypothétique. Anthropic paie Accenture pour intégrer des évaluateurs dans ses propres bureaux, bien qu’il s’agisse d’un accord commercial choisi par l’entreprise et non d’un audit imposé par l’État.

Ce que la commande ne fait pas

Elle ne crée aucune obligation pour les sociétés d’IA, et elle le dit dans son dernier paragraphe : l’ordonnance « n’a pas pour but de créer et ne crée aucun droit ou avantage, matériel ou procédural, exécutoire en droit ou en équité ». Une exigence de kill switch devrait être inscrite dans la loi par le législateur, et l’ordonnance ne définit pas quels développeurs sont considérés comme des développeurs pionniers.

Ce qui donne à Sacramento son influence, c’est la concentration. L’ordonnance stipule que 32 des 50 plus grandes sociétés privées d’IA au monde sont basées en Californie, c’est pourquoi une règle d’État sur l’arrêt des modèles s’étendrait bien au-delà de la frontière de l’État. Pour l’instant, les laboratoires rédigent toujours leurs propres politiques de sécurité, comme l’a fait Anthropic lorsqu’il a assoupli les garanties biologiques de Claude pour les équipes contrôlées.

Les recommandations sont attendues le 16 novembre. Jusqu’à ce que le Parlement les applique, le kill switch n’est qu’une ligne d’un décret et rien de plus.