Deux mesures indépendantes convergent sur un même déplacement. HarnessTax (UC Berkeley et Arena) évalue 21 paires modèle-harnais sur deux bancs d’essai publics et trouve que le choix de l’orchestrateur ne déplace presque pas le taux de réussite, mais déplace fortement la dépense : jusqu’à cinq fois pour un résultat équivalent. Les auteurs relèvent aussi qu’un modèle réussit souvent mieux dans un harnais qui n’est pas celui de son fournisseur. L’étude arXiv « Decomposition Buys Integrity, Not Yield » modélise la décomposition en sous-agents comme un arbre où chaque niveau perd une fraction de ce que les feuilles ont trouvé. Sur 600 traces de production, cette perte se mesure : un agent à plat est optimal pour le rendement, et aucune disposition d’agents n’échappe à l’exposant. Ce que la profondeur achète, c’est l’intégrité, pas le volume.
Sept modèles, trois harnais, deux bancs d’essai publics. Le résultat tient en une ligne : l’orchestrateur ne change presque rien à ce que l’agent réussit, et beaucoup à ce qu’il coûte.
L’équipe de Melissa Z. Pan, à UC Berkeley et chez Arena, a fait tourner sept modèles dans trois harnais différents, sur trente tâches tirées au sort de SWE-bench Lite et de Terminal-Bench 2.0, trois fois chacune. Sur le taux de réussite, les harnais se tiennent : ±2 % sur le premier banc, ±5 % sur le second. Sur la facture, ils divergent jusqu’au facteur cinq. Claude Fable 5 résout 97,8 % des tentatives dans Claude Code et 96,7 % dans Pi, un harnais ouvert et minimal, pour deux fois le prix. Le nombre de tours est le même, 15,3 contre 15,4 : c’est le contenu de chaque tour qui coûte.
Troisième constat, moins attendu : sur les douze comparaisons couvrant six modèles Anthropic et OpenAI, c’est neuf fois un harnais étranger au modèle qui obtient le meilleur taux. Sonnet 4.6 réussit 68,9 % dans Codex contre 66,7 % dans Claude Code, à coût comparable. GPT-5.6 Sol monte à 83,3 % dans Pi contre 78,9 % dans Codex, pour la moitié du prix.
En parallèle, une étude arXiv pose la question du côté de l’architecture : que devient l’information trouvée par les feuilles quand on découpe une tâche en arbre de sous-agents ? Réponse mesurée sur 600 traces de production : chaque niveau en perd une fraction stable, δ = 0,34, et aucune forme d’arbre n’échappe à cet exposant. À plat est optimal pour le rendement. Le titre de l’article dit le reste : la décomposition achète de l’intégrité, pas du volume.
Les deux mesures démentent la même croyance, par deux chemins. On a beaucoup dit cette année que le modèle devenait interchangeable et que la performance était passée dans l’orchestration. Ces chiffres disent l’inverse : la performance reste dans le modèle, et c’est la dépense qui est passée dans l’orchestration.
Ce n’est pas une nuance de vocabulaire, c’est un changement de ligne budgétaire. Une organisation qui compare deux agents sur le seul taux de réussite ne voit pas la moitié de ce qu’elle achète. Elle validera l’orchestrateur du fournisseur de son modèle, par défaut, et paiera deux fois le prix d’un résultat qu’un harnais ouvert lui donnait. Le couplage entre le modèle et son harnais maison n’a jamais été prouvé, il a été supposé, et la mesure le contredit dans trois cas sur quatre.
L’étude sur la décomposition prolonge le même déplacement à l’intérieur du système. Découper un agent en sous-agents ne fait pas remonter davantage de trouvailles à la racine, et coûte un brief sur seize qui part hors sujet à chaque niveau. Ce que la profondeur donne est réel, mais c’est de la maîtrise : des contextes plus petits, des frontières nettes, des fautes qui ne se propagent pas. Payer cette maîtrise est une décision défendable. La payer en croyant acheter du rendement ne l’est pas.
Posez une seule colonne de plus dans votre comparatif d’agents : le coût par tâche réussie, à côté du taux de réussite. C’est elle qui révèle l’écart, parce que le taux le masque.
Ensuite, testez votre modèle dans un harnais qui n’est pas celui de son fournisseur. Trente tâches et trois répétitions ont suffi à l’équipe de Berkeley ; votre propre banc d’essai interne suffira à trancher, et il porte sur vos tâches à vous, pas sur SWE-bench.
Enfin, si vous découpez vos agents en sous-agents, écrivez ce que vous en attendez avant de mesurer. Si la réponse est « plus de résultats », les chiffres disent que vous serez déçu. Si la réponse est « des fautes qui restent locales », vous achetez la bonne chose, et le prix par niveau est connu.
Court terme
Les équipes qui comparent des agents sur le seul taux de réussite vont découvrir qu’elles ont acheté le même résultat au double du prix. Le rapport coût par tâche réussie devient l’indicateur à poser à côté du taux.
Moyen terme
Si un harnais minimal et ouvert tient la comparaison avec les orchestrateurs des fournisseurs, la question du couplage entre modèle et harnais se rouvre : rien n’oblige à prendre les deux chez le même vendeur, et la mesure devient un argument de négociation.
Sécurité
L’agent n’était pas détourné et le modèle n’était pas compromis : c’est l’autonomie accordée qui a produit l’intrusion, et c’est l’organisation qui l’a déployée qui a dû la déclarer.
Gouvernance
Un groupe d’agents qui tourne longtemps produit des normes internes que personne n’a écrites, et une organisation qui en déploie un ne met pas en service un outil mais un collectif dont elle ne contrôle pas les règles.
Sécurité
Un registre de skills est une chaîne d’approvisionnement logicielle qui n’en a ni les contrôles ni le vocabulaire : ni revue humaine, ni outillage fiable, ni signal exploitable dans les métadonnées.