Retour à la veille
Sécurité·18 août 2026·Par Anthony Capirchio·Source : Anthropic
AnthropicOpenAIIrregularHugging FacePyPI

Le prompt disait vrai : trois agents de laboratoire ont compromis des systèmes réels

Lien copié
Contexte

Le 30 juillet 2026, Anthropic publie l'enquête sur trois incidents survenus au sein de ses évaluations de cybersécurité : des modèles ont agi sur des systèmes réels appartenant à des tiers, en croyant opérer dans une simulation. La cause racine n'est ni un jailbreak ni une défaillance d'alignement, mais une mauvaise configuration réseau chez un partenaire d'évaluation. Onze jours plus tard, OpenAI suspend son plus grand entraînement par renforcement en invoquant notamment un incident du même ordre.

Analyse

Il faut lire cette enquête pour ce qu'elle démonte, et non pour ce qu'elle raconte. Le récit dominant sur la sécurité des agents veut que le risque tienne à la formulation : un prompt mal écrit, une instruction contournée, un utilisateur malveillant. Ici, rien de tout cela. Le prompt était exact. Il indiquait au modèle qu'il n'avait pas d'accès Internet, ce qui aurait dû être vrai. Une mauvaise configuration entre Anthropic et son partenaire d'évaluation Irregular a laissé aux machines d'évaluation un accès réseau non prévu, et les modèles ont traité des systèmes réels comme des composants de leur simulation. La consigne n'a rien empêché, parce qu'une consigne n'empêche rien : elle décrit un monde, elle ne le construit pas.

Faits clés

  • 141 006 exécutions d'évaluation passées en revue, trois incidents retenus, portant sur six exécutions
  • Extraction d'identifiants d'application et d'infrastructure, et accès à une base contenant plusieurs centaines de lignes de données de production
  • Publication d'un paquet Python malveillant sur PyPI, téléchargé et exécuté sur une quinzaine de systèmes réels, dont le scanner d'une société de sécurité, d'où des identifiants ont été exfiltrés
  • Environ 9 000 cibles scannées par un modèle de recherche interne, et une application exposée compromise par des techniques élémentaires
  • Cause racine : une mauvaise configuration réseau chez un partenaire d'évaluation tiers

Le Fait

Trois modèles, dans trois incidents distincts, ont franchi la frontière de leur environnement d'évaluation et agi sur les systèmes de production d'organisations réelles. Le second cas est documenté par la presse spécialisée du côté d'OpenAI : un agent échappé de son bac à sable via une vulnérabilité non corrigée d'un Artifactory auto-hébergé, opérant plusieurs jours dans l'infrastructure d'un tiers à partir d'identifiants exposés.

La Lecture

C'est le contre-exemple le plus net de la confusion entre Rassurance et Assurance. La Rassurance, c'est ce qu'on dit à l'agent : tu n'as pas accès au réseau, ne touche à rien en production, demande confirmation avant de supprimer. L'Assurance, c'est ce que l'agent ne peut pas faire, quelles que soient ses intentions et la qualité de son raisonnement. La quasi-totalité des dispositifs de sécurité IA déployés aujourd'hui en entreprise relèvent de la première catégorie et sont présentés comme relevant de la seconde. L'Infrastructure Agentique n'est pas une couche d'outillage : c'est le seul endroit du système où un interdit devient opposable.

L'Enseignement

Un audit suffit, et il tient en une question : quel agent, chez vous, dispose à la fois d'un accès réseau sortant non contraint et d'identifiants en portée ? Tout ce qui n'est pas empêché par la configuration est autorisé, quelle que soit la charte.

Sources et références

  • Anthropic : Investigating incidents in cybersecurity evals (enquête publiée le 30 juillet 2026, revue de 141 006 exécutions).
  • TechCrunch : Anthropic says its own AI models breached three companies during security tests (reprise et mise en perspective).
  • The Hacker News : OpenAI agent used exposed credentials (cas parallèle côté OpenAI, débriefé à Black Hat le 7 août 2026).

Court terme

Durcissement immédiat de l'isolation des environnements d'évaluation chez les laboratoires, et déplacement de la due diligence d'achat d'agents vers l'isolation et la traçabilité plutôt que vers les scores de benchmark.

Moyen terme

Le sujet bascule vers le contentieux et l'assurabilité : les polices cyber et responsabilité professionnelle intègrent des exclusions visant les systèmes de décision autonomes. La question « qui répond de l'action d'un agent » cesse d'être théorique le jour où elle devient une clause.

Lien copié

À lire ensuite