Comment des IA se sont encore échappées de leur bac à sable pour attaquer de vraies entreprises

Un exercice de cybersécurité avec une intelligence artificielle suit généralement le même protocole : on enferme le programme dans un environnement clos, on lui demande d'aller chercher une information cachée sur une machine voisine, et on observe comment il s'y prend. Tout cela repose sur la solidité des garde-fous, ceux-là mêmes qui doivent empêcher l'IA de faire du zèle.

Sauf que ces garde-fous ne sont pas infaillibles, comme en a récemment fait les frais OpenAI. L'éditeur de ChatGPT a, en effet, reconnu avoir perdu le contrôle de l'un de ses modèles. Ce dernier avait exploité une faille pour rejoindre Internet et s'attaquer à la plateforme Hugging Face.

Une porte restée ouverte par erreur

Dans le doute, l'éditeur de Claude, Anthropic, a lancé une enquête sur ses propres essais. La firme a cherché des traces d'un scénario comparable chez elle, et elle a bien fait, car elle en a trouvé trois. Dans chaque cas, un de ses modèles d'IA a obtenu un accès à Internet, puis s'est introduit dans l'infrastructure informatique d'une entreprise tierce.

Trois modèles sont concernés : Opus 4.7, que vous avez peut-être déjà utilisé pour des tâches courantes, Mythos 5, plutôt orienté cybersécurité, et un prototype qui n'est pas destiné au grand public. Tous participaient à un exercice de type « capture du drapeau » quand ils sont sortis de leur périmètre d'action.

Pourtant, la consigne leur indiquait clairement qu'ils n'avaient pas accès à Internet. Mais dans les faits, c'était faux. Un malentendu entre Anthropic et son partenaire d'évaluation avait en effet laissé la connexion ouverte. En tombant sur les systèmes de ces trois organisations, les IA les ont simplement pris pour une partie de l'exercice et s'en sont servies. Ainsi, contrairement à l'incident d'OpenAI, il n'y a eu aucune tentative délibérée de s'échapper d'un cadre ou de profiter d'une vulnérabilité, précise l'entreprise.

Un problème plus répandu qu'on ne le pense ?

Les méthodes employées par les modèles n'avaient d'ailleurs rien de sophistiqué. Ils se sont contentés de techniques basiques, comme l'exploitation de mots de passe trop faibles, sans jamais recourir à des failles complexes. Une différence notable est toutefois apparue entre nos protagonistes : le plus récent a interrompu ses actions en comprenant qu'il se trouvait sur Internet, quand le plus ancien a poursuivi son attaque.

Anthropic reconnaît que ces incidents étaient évitables : une validation minutieuse de tous les chemins d'accès au réseau avant le lancement des tests aurait par exemple été suffisante. La firme note également que les modèles se seraient sans doute comportés autrement si on leur avait dit d'emblée qu'ils disposaient bien d'un accès à Internet.

Il y a donc eu plus de peur que de mal ici, mais cette nouvelle montre que les inquiétudes soulevées par l'affaire OpenAI pourraient être bien plus vastes et généralisées qu'on ne le pensait.

Source : Engadget