17 % : le taux de survie d’une consigne dans une session longue

Le résultat est technique, sa portée ne l’est pas. Il établit que le mode de contrôle le plus répandu, qui consiste à énoncer une règle et à supposer qu’elle tient, a un taux de survie mesurable, et qu’il est de 17 %. Surtout, la plupart des méthodes de compaction font moins bien que l’absence de compaction sur ces tâches, ce qui signifie que l’opération censée préserver l’essentiel supprime en priorité ce qui contraint. Elle garde ce qui décrit le travail et jette ce qui l’encadre, parce que rien dans sa fonction objective ne distingue une consigne permanente d’un détail de conversation périmé.

Faits clés

• 17 % de rétention moyenne des contraintes de session par les méthodes de compaction actuelles
• La plupart des méthodes évaluées font pire que l’absence totale de compaction sur ces tâches
• Le taux varie selon le type de compacteur, la formulation du prompt, la longueur du contexte, la formulation de la contrainte et sa position d’injection : le phénomène est systémique
• Un extracteur dédié, ajouté sans modifier ni le compacteur ni le modèle, remonte au-delà de 90 % sur les trois scénarios testés
• Suite d’évaluation COMPINT et code publiés

Le fait

Une évaluation systématique de la perte de contraintes lors de la compaction de contexte, sur trois scénarios : conversation multi-tours, trajectoires d’agents et recherche à long horizon.

La lecture

Voici la mesure qui manquait au débat sur la gouvernance de l’IA en entreprise. Les chartes d’usage, les consignes de kick-off, les règles rappelées en préambule de prompt : tout cela relève de la Rassurance, et l’on sait désormais ce que cela vaut en régime long. Le parallèle organisationnel est tentant : on peut soupçonner qu’une règle qui n’existe que dans la mémoire des participants d’une réunion s’érode de façon comparable, sans que personne l’ait chiffré. La correction proposée par les auteurs est instructive : ils ne demandent pas au modèle de mieux se souvenir, ils sortent la contrainte du flux et la réinjectent. La règle ne survit qu’à l’extérieur de la conversation qu’elle est censée gouverner.

L’enseignement

Tout ce qui ne doit jamais être oublié ne doit jamais être dans le flux. Sortez vos règles persistantes de la conversation vers un canal qui ne se compacte pas : fichier de projet, instruction système, garde technique. Et posez la même question à votre organisation : vos règles critiques vivent-elles dans un document que le système relit, ou dans le souvenir d’une réunion de lancement ?

Sources et références

• arXiv 2608.11242 : Zhiqi Wang, Yichi Zhang, Dongwon Lee, Yuchen Yang, Lost in Compaction : Evaluating Side-Constraint Loss under Context Compaction (soumis le 31 juillet 2026 ; suite d’évaluation COMPINT publiée).