Trois incidents plus tard, ce géant de l’intelligence artificielle suspend ses tests de sécurité les plus sensibles
Des IA qui devaient rester enfermées dans un environnement de test ont tout de même réussi à se connecter à Internet. En conséquence, Anthropic a suspendu une partie de ses évaluations et publié un bilan détaillé de ce qui a dysfonctionné avec ses modèles.
Pour évaluer les capacités d'une intelligence artificielle, notamment en matière de sécurité informatique, il faut la laisser mettre les mains dans le cambouis. On l'enferme dans un espace clos, coupé du monde, et on lui demande de trouver des vulnérabilités dans un logiciel. Mais si on peut retenir une leçon de l'été 2026, c'est que ces bacs à sable, censés être imperméables, ne tiennent pas bien longtemps face aux IA les plus avancées d'aujourd'hui.
Par exemple, le 30 juillet dernier, Anthropic a signalé trois incidents au cours desquels ses modèles ont accédé à internet alors qu'ils n'étaient pas censés sortir de leur environnement de test. Le problème venait ici d'un réglage défectueux chez un partenaire, qui a permis aux IA de s'ouvrir un accès au monde extérieur.
Quand le bac à sable est troué
La firme américaine a réagi en suspendant ce type d'évaluations, au sein de ses équipes comme chez ses partenaires. Une partie de ses systèmes d'entraînement les plus sensibles a également été mise à l'arrêt plusieurs semaines. Anthropic a, dans le même temps, publié un compte rendu inhabituellement détaillé sur certains comportements inattendus de ses modèles.
Grossièrement, ce qui s'est passé, c'est qu'ils ont foncé tête baissée. Convaincus d'évoluer dans un décor fictif, ils ont interprété à leur avantage les indices suggérant qu'ils accédaient au véritable Internet. D'une certaine manière, ces IA étaient prêtes à agir coûte que coûte, du moment que cela servait l'objectif qu'on leur avait fixé.
L'entreprise affirme avoir mis en place un nouveau dispositif de surveillance, qui doit repérer en temps réel les tentatives de sortie et bloquer l'action au plus vite. Anthropic exige par ailleurs de ses partenaires qu'ils vérifient l'étanchéité de leurs installations avant chaque série d'essais, et qu'ils formulent les limites comme des consignes plutôt que comme des constats. Les évaluations ont depuis repris, dans ce nouveau cadre. Enfin, l'éditeur de Claude invite les différents acteurs du secteur à ralentir leurs activités de manière coordonnée, afin d'éviter que ne se produise l'irréparable.
Une entreprise qui documente publiquement ses propres ratés, plutôt que de les dissimuler, voilà quelque chose d'inhabituel et vraiment bienvenu. Reste à voir si la concurrence s'en inspirera, et si tout ceci ne coûtera pas trop cher à Anthropic.
Source : Anthropic
publié le , Maxence Glineur de Humanoid