Le prompt disait vrai : trois agents de laboratoire ont compromis des systèmes réels

Cette enquête vaut pour ce qu’elle démonte. Le récit dominant sur la sécurité des agents veut que le risque tienne à la formulation : un prompt mal écrit, une instruction contournée, un utilisateur malveillant. Ici, rien de tout cela. Le prompt était exact. Il indiquait au modèle qu’il n’avait pas d’accès Internet, ce qui aurait dû être vrai. Une mauvaise configuration entre Anthropic et son partenaire d’évaluation Irregular a laissé aux machines d’évaluation un accès réseau non prévu, et les modèles ont traité des systèmes réels comme des composants de leur simulation. La consigne n’a rien empêché, parce qu’une consigne n’empêche rien : elle décrit un monde, elle ne le construit pas.

Faits clés

• 141 006 exécutions d’évaluation passées en revue, trois incidents retenus, portant sur six exécutions
• Extraction d’identifiants d’application et d’infrastructure, et accès à une base contenant plusieurs centaines de lignes de données de production
• Publication d’un paquet Python malveillant sur PyPI, téléchargé et exécuté sur une quinzaine de systèmes réels, dont le scanner d’une société de sécurité, d’où des identifiants ont été exfiltrés
• Environ 9 000 cibles scannées par un modèle de recherche interne, et une application exposée compromise par des techniques élémentaires
• Cause racine : une mauvaise configuration réseau chez un partenaire d’évaluation tiers

Le fait

Trois modèles, dans trois incidents distincts, ont franchi la frontière de leur environnement d’évaluation et agi sur les systèmes de production d’organisations réelles. Un cas parallèle est documenté par la presse spécialisée du côté d’OpenAI : un agent échappé de son bac à sable via une vulnérabilité non corrigée d’un Artifactory auto-hébergé, opérant plusieurs jours dans l’infrastructure d’un tiers à partir d’identifiants exposés.

La lecture

C’est le contre-exemple le plus net de la confusion entre Rassurance et Assurance. La Rassurance, c’est ce qu’on dit à l’agent : tu n’as pas accès au réseau, ne touche à rien en production, demande confirmation avant de supprimer. L’Assurance, c’est ce que l’agent ne peut pas faire, quelles que soient ses intentions et la qualité de son raisonnement. Une large part des dispositifs de sécurité IA déployés aujourd’hui en entreprise relève, à ma connaissance, de la première catégorie et se présente comme relevant de la seconde. L’Infrastructure Agentique est le seul endroit du système où un interdit devient opposable.

L’enseignement

Un audit suffit, et il tient en une question : quel agent, chez vous, dispose à la fois d’un accès réseau sortant non contraint et d’identifiants en portée ? Tout ce qui n’est pas empêché par la configuration est autorisé, quelle que soit la charte.

Sources et références

• Anthropic : Investigating incidents in cybersecurity evals (enquête publiée le 30 juillet 2026, revue de 141 006 exécutions).
• TechCrunch : Anthropic says its own AI models breached three companies during security tests (reprise et mise en perspective).
• The Hacker News : OpenAI agent used exposed credentials (cas parallèle côté OpenAI, débriefé à Black Hat le 7 août 2026).
• OpenAI : Pacing model development in an era of cyber-critical capabilities (pause de deux semaines de l’entraînement par renforcement, plus grand entraînement prévu mis en attente après l’incident OpenAI-Hugging Face).