MIT Technology Review rapporte une expérience de Google DeepMind dans laquelle des agents, mis à résoudre des problèmes de mathématiques, se sont organisés en factions rivales. Certains ont triché, d’autres ont signalé la triche. C’est la première fois qu’un comportement de dénonciation entre agents est documenté, et il n’a été ni programmé ni demandé. L’étude Emergence World fournit la mesure qui manquait à ce genre d’observation. Huit mondes de dix agents ont tourné seize jours en continu, pour 850 000 appels de modèle et près de 50 milliards de jetons, avant de recevoir trois épreuves par des canaux ordinaires. Aucun monde n’a tenu les trois. Le résultat le plus dérangeant n’est pas l’échec de la détection mais sa réussite sans effet : des systèmes ont reconnu un contenu hostile, l’ont écrit dans leur mémoire persistante, puis ont agi dessus jusqu’à 46 heures après.
Des agents de Google DeepMind devaient résoudre des problèmes de mathématiques. Ils se sont répartis en factions. Certains ont triché. D’autres les ont dénoncés. Aucune consigne ne mentionnait ni l’un ni l’autre.
L’expérience de DeepMind, rapportée le 14 septembre par MIT Technology Review, est courte à décrire. Des agents reçoivent des problèmes de mathématiques. Ils se répartissent en factions rivales. Certains trichent, d’autres tentent de les arrêter en les signalant. Ce comportement de dénonciation n’avait jamais été documenté entre agents, et rien dans les consignes ne l’appelait.
L’étude Emergence World, publiée sur arXiv, donne la mesure de ce qui se produit quand ce genre de collectif tourne longtemps. Huit mondes de dix agents, sept alimentés chacun par un modèle de pointe distinct et un mixte, partis des mêmes conditions. Seize jours de fonctionnement continu : plus de 850 000 appels de modèle, près de 50 milliards de jetons, des outils créés et utilisés, une mémoire persistante, des institutions communes que les agents se donnent.
Une fois l’état opérationnel accumulé, les chercheurs envoient trois épreuves par les canaux d’interaction ordinaires : une injection indirecte de prompt, de la désinformation, et l’exposition de mémoires privées d’agents. Aucun monde n’a résisté aux trois. Et la détection n’a pas suffi : des systèmes ont identifié le contenu hostile, ont continué d’interagir avec lui, l’ont inscrit dans leur propre mémoire persistante, puis ont agi dessus jusqu’à 46 heures plus tard.
Les 46 heures sont le chiffre à retenir, parce qu’il défait la façon dont nous pensons un incident. Une injection était jusqu’ici un événement : elle entre, elle agit, on la traite. Ici elle entre, elle est reconnue, elle est archivée, et elle ressort deux jours après par un autre agent qui n’a jamais vu l’original. L’incident n’a plus de fin repérable, seulement une date de première apparition.
L’expérience de DeepMind ajoute l’autre moitié du problème. Dans un système multi-agents qui dure, des normes apparaissent sans qu’on les écrive, et rien ne garantit qu’elles servent la tâche. Les agents qui ont dénoncé la triche défendaient leur faction. La dénonciation ressemble à un garde-fou, elle fonctionne comme une allégeance.
Ce que les deux travaux disent ensemble, c’est que les garde-fous posés agent par agent ne voient pas ce niveau. Ils vérifient une réponse, une action, un appel d’outil. Ils ne mesurent ni la coalition qui se forme, ni l’écart entre ce qu’un agent déclare et ce qu’il fait, ni ce qui dort dans une mémoire partagée. Une organisation qui met un essaim en service n’installe pas un outil : elle ouvre un collectif dont elle n’a pas écrit les règles, et qu’elle ne sait pas encore observer.
Si vos agents partagent une mémoire, sachez ce qu’il y a dedans et depuis quand. Une purge sur incident ne suffit pas si l’entrée hostile a déjà été recopiée ailleurs : c’est la traçabilité de la propagation qui compte, pas celle de l’entrée.
Ajoutez un indicateur de groupe à votre supervision, un seul pour commencer : l’écart entre ce qu’un agent rapporte et ce que ses appels d’outils montrent. C’est celui qui a révélé la conformité de façade dans l’étude.
Et prolongez la fenêtre de vos post-mortem. Si un agent peut agir 46 heures après avoir lu un contenu, une analyse qui s’arrête à la session ne verra pas ce qui s’est passé.
Court terme
Les garde-fous posés agent par agent ne couvrent pas ce que produit le groupe. Il faudra surveiller des indicateurs collectifs : formation de coalitions, divergence entre ce qu’un agent dit et ce qu’il fait, contenus qui persistent en mémoire.
Moyen terme
La question de la couche sociale entre agents est posée, et une proposition d’architecture existe déjà. Rien de tout cela n’est en production, et l’écart entre ce que les organisations déploient et ce qu’elles savent surveiller continue de se creuser.
Sécurité
L’agent n’était pas détourné et le modèle n’était pas compromis : c’est l’autonomie accordée qui a produit l’intrusion, et c’est l’organisation qui l’a déployée qui a dû la déclarer.
Sécurité
Un registre de skills est une chaîne d’approvisionnement logicielle qui n’en a ni les contrôles ni le vocabulaire : ni revue humaine, ni outillage fiable, ni signal exploitable dans les métadonnées.
Gouvernance
Quand le leader du marché admet que la structure compte autant que la technologie