Le point de départTout se joue à l'instant où l'on écrit la conclusion

Une journée d'analyse menée par un agent logiciel produit douze affirmations chiffrées destinées à la décision. Cinq sont fausses. On cherche une lacune de compétence ; il n'y en a pas. Les faits de métier résistent tous à la vérification. Ce qui a cédé se trouve ailleurs.

Les cinq erreurs ont la même forme, et c'est ce qui les rend traitables : une conclusion causale ou comparative tirée d'un chiffre agrégé, sans être allé voir ce qui produit ce chiffre. Chacune était réfutable en deux minutes de requête.

L'anatomie, en quatre temps

1. Une métrique agrégée arrive : une moyenne, un total, un ratio.
2. Elle bouge, ou elle surprend. Une histoire causale se forme, et elle est plausible.
3. L'histoire est écrite, avant que soit lancée la requête qui pourrait la tuer.
4. Une fois écrite, elle est défendue. Son auteur est devenu son avocat.

Le quatrième temps explique pourquoi se relire ne suffit pas. C'est une affaire de rôle, où l'attention ne peut rien : l'auteur d'une conclusion a cessé d'en être un lecteur neutre. Il la rationalise, et il le fait d'autant mieux qu'il est compétent.

Pourquoi la règle échoueUne consigne écrite ne s'applique pas toute seule

Le réflexe, après une erreur, est d'écrire une règle. C'est le geste le moins coûteux et le moins efficace. Dans le cas d'origine, la règle existait déjà : un « pré-vol » en trois gestes, rédigé une semaine plus tôt, précis, tiré d'incidents antérieurs. Il a été enfreint deux fois le même jour, par celui qui l'avait écrit.

Une règle porte sur tout et ne contraint rien. Une porte ne porte que sur un passage, et le contraint vraiment.

La cause est structurelle. Une consigne déclarative doit être rappelée au bon moment par celui-là même qui est absorbé par sa conclusion. Une contrainte exécutée n'a besoin de personne. On ne cherche donc pas à mieux se souvenir : on déplace la vérification hors de la volonté de celui qui écrit.

Le principe centralOn ne vérifie pas une pensée, on exige sa trace

Une porte mécanique ignore si la vérification a eu lieu dans la tête de quelqu'un. Elle sait si le produit de cette vérification est présent dans ce qui sort. Toute la faisabilité du dispositif tient dans ce déplacement.

Concrètement : un document portant une recommandation doit contenir une section où le dénominateur, le périmètre et la configuration sont nommés et renseignés. Avoir « réfléchi au dénominateur » ne se contrôle pas ; la présence de la section, si. La discipline invisible laisse une empreinte visible, et l'empreinte est vérifiable par un programme de trente lignes.

À quoi ressemble cette empreinte, dans un document livré. D'abord la trace, telle que la porte l'exige :

Trace de vérification
Dénominateur  : 1 997 personnes distinctes (3 496 lignes d'export, dédoublonnées) ;
                le taux est calculé par personne.
Périmètre     : 1-28 juillet contre 1-28 juin ; 20 jours ouvrés des deux côtés ;
                définition d'une réussite inchangée.
Configuration : liste des événements comptés relue ce jour : 12 entrées,
                inchangée depuis mars.

Puis le verdict du critique, quand il tue :

RÉFUTÉE : « le taux de réussite s'effondre, la refonte a échoué. »
Le taux publié divise par les lignes d'un export où chaque personne
apparaît 1,75 fois en moyenne. Recalculé par personne : stable.
L'effondrement est un artefact de dénominateur. Affirmation retirée.

Il y a un effet secondaire : le lecteur voit la trace. Il peut juger de la qualité de la vérification, et pas seulement de la conclusion. Le destinataire cesse d'avoir à faire confiance ; il peut contrôler.

L'analogieCe que l'aviation a réellement fait

On cite volontiers la liste de contrôle de cockpit comme le garde-fou de l'aviation. En réalité l'aviation a construit les quatre mêmes couches, dans le même ordre, et a payé chacune au prix d'un accident. Les voici une par une.

Couche 1 — la liste naît d'un crash, et c'est un objet un prompt

Le 30 octobre 1935, à Wright Field, le prototype Boeing Model 299 décolle avec le verrouillage des gouvernes engagé, décroche et s'écrase ; deux des cinq occupants sont tués, dont le pilote de l'Army Air Corps. La réponse ne fut pas d'exiger plus de rigueur : les pilotes de l'Air Corps fabriquent une carte de contrôles pour chaque phase de vol. Le motif retenu est le bon : l'appareil n'était pas trop difficile à piloter, il était trop compliqué pour être confié à la mémoire. Notre couche 1 n'a donc rien à dépasser ici. L'aviation a commencé par l'écrit, là où nous avons commencé par y croire.

Couche 2 — deux voix, et celui qui lit n'est pas celui qui a manœuvré un agent

Vient ensuite une procédure à deux voix : l'un énonce l'item, l'autre touche l'organe et lit la position réelle. L'indépendance ne vient pas de celui qui répond, puisque c'est lui qui a manœuvré ; elle vient de celui qui lit la liste et attend la réponse. Notre critique fonctionne ainsi, et il a la même condition de validité : il doit pouvoir aller lire l'organe. Un critique qui se contente de la réponse qu'on lui donne ne fait pas de la vérification, il fait de la conversation.

Couche 3 — ce qui retient l'appareil n'est pas la liste un script

Ici tombe la confusion la plus répandue : aucune liste signée ne retient un appareil au sol. Ce qui agit sur l'action est un dispositif séparé, un automate qui détecte la configuration interdite et alerte avant le lâcher des freins. Voilà notre porte, et son histoire dit à quoi elle sert. Le 16 août 1987 à Detroit, un MD-82 décolle volets et becs rentrés : la liste de roulage avait été escamotée et l'alerte de configuration était inopérante. Vingt et un ans plus tard à Madrid, même type d'appareil, même configuration, même alerte muette : pour une cause jamais établie avec certitude cette fois, un relais défaillant probable. C'est notre porte qui meurt en silence, écrite dans un rapport d'accident : plusieurs barrières franchies l'une après l'autre parce que chacune supposait qu'une autre tenait.

Couche 4 — compter les erreurs suppose de ne pas les punir un registre

La quatrième couche existe aussi, et c'est la plus instructive. En 1976, la FAA et la NASA créent un système de signalement des incidents de sécurité : chacun, pilote, contrôleur ou mécanicien, y déclare ce qui a failli mal tourner. Trois traits de sa conception disent pourquoi il fonctionne depuis cinquante ans et plus de deux millions de rapports : le signalement est volontaire, les rapports sont dépersonnalisés, et le système est opéré non par l'autorité qui sanctionne mais par un tiers qui n'a aucun pouvoir de sanction.

Transposé, cela donne la règle qui gouverne notre compteur : un registre d'erreurs qui sert à punir cesse d'être alimenté, et cesse donc de mesurer quoi que ce soit. Le compteur du dispositif compte des affirmations retirées, pas des fautes, et il est publié par celui qui les a commises. C'est ce qui le rend soutenable.

Le même mécanisme sert enfin à tailler les couches du dessus, et là encore on cite l'aviation à l'envers : la liste ne grossit pas indéfiniment, on l'élague. Une ligne n'entre que si son oubli coûte cher ; le repère du métier est de quelques items par point d'arrêt. Une liste qui accumule finit abandonnée.

Là où l'analogie s'arrête

Un avion a un nombre fini d'états à vérifier, une analyse n'en a pas. On ne peut donc pas tout mettre en liste, d'où la nécessité de choisir la surface et d'assumer à voix haute celle qui reste découverte.

Reconstruire le dispositifCe qu'il faut écrire pour l'avoir

Le dispositif décrit ici tient en quatre objets, et rien de tout cela ne demande d'outillage particulier.

La porte un script

Un script qui s'exécute avant l'écriture d'un fichier, reçoit le chemin et le contenu proposé, et rend un code de refus. Sa logique tient en cinq tests : le fichier appartient-il à la surface surveillée (dossier et forme du nom) ? le contenu porte-t-il les trois mots attendus ? une échappatoire motivée est-elle présente ? Si le nom du fichier ne dit rien de son contenu, la porte ne peut pas s'y greffer : nommer les documents de décision selon une convention stricte est le prérequis.

En version générique, sans rien du dispositif d'origine, la logique entière ressemble à ceci :

#!/bin/sh
# Porte : refuse un document de recommandation sans trace de vérification.
# Reçoit le chemin cible en $1, le contenu proposé sur stdin.
chemin="$1" ; contenu="$(cat)"

case "$chemin" in                          # 1. Hors surface surveillée : tout passe.
  analyses/RECO-*.md) ;;                   #    La convention de nommage EST le prérequis.
  *) exit 0 ;;
esac

if printf '%s' "$contenu" | grep -q '^ECHAPPATOIRE: ..*' ; then
  printf '%s\t%s\n' "$(date +%F)" "$chemin" >> registre/echappatoires.tsv || {
    echo "REFUS : échappatoire non comptable." >&2
    exit 2 ; }                             # 2. Motivée ET comptée, sinon rien :
  exit 0                                   #    non comptée, la porte devient formalité.
fi

for marque in 'Dénominateur :' 'Périmètre :' 'Configuration :' ; do
  printf '%s' "$contenu" | grep -q "^$marque .*[0-9]" || {
    echo "REFUS : « $marque » absent ou sans valeur." >&2
    exit 2 ; }                             # 3. Des valeurs, pas des mots-clés.
done
exit 0

Une vingtaine de lignes, aucune dépendance, aucun modèle à convaincre. Le test [0-9] de la dernière étape refuse la section remplie de mots sans une seule valeur. Il ne voit pas le chiffre-alibi : contre lui, c'est le critique qui reste de garde.

Le critique un agent

Un second agent, en lecture seule, avec sa propre consigne. Elle contient trois choses : les questions à poser, la liste des erreurs déjà commises avec leur mécanisme, et l'ordre de tuer en cas de doute. La liste des erreurs passées est ce qui fait la différence entre un critique utile et un critique qui récite : il cherche là où l'on est déjà tombé.

Le compteur un registre

Un fichier de texte, une ligne par période, et la définition de ce qui compte écrite au-dessus du tableau. Le point délicat n'est pas de compter, c'est de définir avant : sans quoi le producteur ajustera la définition à ses résultats sans même s'en apercevoir.

Le pointeur un prompt

Deux lignes dans le fichier d'instructions permanent, qui nomment les trois objets ci-dessus et l'endroit où ils vivent. La consigne ne porte pas la règle, elle porte l'adresse des mécanismes.

Par où commencer : la porte. Un après-midi, une vingtaine de lignes, et c'est la seule pièce qui change le comportement dès le premier jour. Le critique s'enrichit ensuite à chaque affirmation retirée, le compteur donne rendez-vous à la première période. Commencer par la consigne, c'est l'ordre inverse : un mois de bonnes intentions, puis ce dossier.

Où ça se situeDes briques connues, un assemblage moins courant

Cette section situe le dispositif dans le vocabulaire du domaine, pour celles et ceux qui construisent ce genre de chaînes ; elle peut se sauter sans rien perdre du raisonnement.

Pour l'essentiel, les briques sont standard. La couche 2 appartient à la famille générateur / critique (generator-critic), dont la variante notée est le modèle-juge (LLM-as-a-judge), et dont la chaîne de vérification citée plus haut est une mise en œuvre documentée. Ce qui est moins courant, c'est le mélange délibéré avec un contrôle non probabiliste : la porte est un programme qui ne négocie pas. On associe une contrainte dure et une critique souple, chacune là où l'autre est aveugle.

Boucle ou graphe : les deux, à deux échelles

Une passe est un graphe. L'audit se déploie en éventail : plusieurs critiques aux angles distincts, puis une réfutation par objection, puis une synthèse. Sans cycle, avec des dépendances explicites : un graphe orienté acyclique (DAG), ce qui permet de le paralléliser.

Le dispositif est une boucle. À l'échelle des semaines, il a une cible (la part des erreurs attrapées avant livraison), un capteur (le compteur), un comparateur et un actionneur : on resserre la porte, on enrichit le critique. C'est une boucle de régulation (control loop). La distinction avec un flux de travail (workflow) compte : un flux se termine, une boucle se règle, et il faut lui donner une cible chiffrée sous peine qu'elle ne régule rien.

Les dispositifs voisins, et pourquoi celui-là

La règle d'allocation : déterministe partout où c'est possible, contradictoire (adversarial) là où ça ne l'est pas, mesuré dans tous les cas. Et on ne dépense le critique coûteux que sur ce qui porte une décision.

Cycle de vieComment le dispositif tombe en panne, et comment il apprend

Un garde-fou est un système en service : il se dégrade, il se contourne, il se périme. Les cinq pannes suivantes sont prévisibles, donc mesurables.

Le cliquet : chaque affirmation retirée durcit une couche

Toute affirmation retirée produit immédiatement l'une de ces deux choses, et une seule fois :

• si l'erreur est mécaniquement détectable, une condition de plus dans la porte. Elle ne reviendra pas.
• sinon, une ligne dans la liste des pièges connus du critique, avec son mécanisme.

Un règlement grossit, un dispositif se durcit. Et la liste du critique se taille : une entrée qui n'a servi à tuer aucune affirmation en un trimestre en sort, sinon c'est le critique qui cessera de la lire.

Les indicateurs, et qui fixe la cible

• Taux de retrait (retraction rate) : affirmations retirées sur livrées, avec son dénominateur. Il se lit, il ne se vise pas : viser peu de retraits récompense celui qui cherche mal.
• Délai de détection (time to detection) : avant ou après la livraison ? C'est lui que la cible contraint : la part des retraits qui surviennent avant livraison. Un taux stable dont la détection passe d'après à avant est déjà un progrès considérable.
• Taux de mise à mort du critique et taux d'échappatoire : la santé des couches 2 et 3.

La cible appartient au destinataire, puisque c'est lui qui paie les conséquences. Un producteur qui fixe son propre seuil de qualité n'a pas de seuil.

Les angles qu'on oublieSept pièges, et la règle qui va avec

Voici ce qui sépare un dispositif qui tient d'un dispositif qui décore. Chaque point se lit en deux temps : la règle d'abord, en une phrase, puis ce qui l'a rendue nécessaire.

1. Dire ce que le dispositif ne garde pas

Une surface qu'on ne garde pas doit être nommée, sinon elle passe pour gardée.

La porte garde les documents, le critique garde ce qu'on lui soumet. Rien ne garde la conversation, et c'est par là que sortent les affirmations les plus spontanées, donc les moins vérifiées : deux des cinq erreurs d'origine sont parties comme ça. Filtrer la parole produirait tellement de fausses alertes que le filtre serait coupé dans la semaine. On renonce donc à couvrir cette surface, on l'écrit noir sur blanc, et c'est le compteur qui prend le relais dessus.

2. Le vérificateur se trompe aussi, et il faut savoir où s'arrêter

On ne vérifie que ce sur quoi une décision repose. Le reste a le droit de rester incertain.

Le critique lui-même s'est trompé sur son propre décompte (les 24 blocs annoncés plus haut, qui étaient 27). Si l'on vérifie le vérificateur, qui vérifie celui-là, et ainsi de suite ? La règle ci-dessus est ce qui arrête la chaîne. Elle a un effet secondaire utile : elle interdit d'ouvrir un débat sur une objection dont la réponse ne changerait rien.

3. Se tromper par excès de prudence coûte beaucoup moins cher

En cas de doute, le critique tue, et ce biais est voulu.

Une affirmation trop prudente qu'on renforce ensuite coûte une conversation. Une affirmation nette et fausse coûte une décision. Les deux erreurs n'ont pas le même prix, donc le réglage ne doit pas être neutre : on préfère perdre du temps à retravailler une affirmation vraie qu'en laisser passer une fausse.

4. Ne pas garder ce qui se garde déjà

On instrumente la couche qui échoue, pas celle qui rassure.

Dans le cas d'origine, la couche d'exécution (les scripts qui écrivent dans les systèmes) avait un taux d'erreur proche de zéro, parce qu'elle contenait déjà son propre contrôle : essai à blanc, validation par le service distant, relecture immédiate après écriture. Y ajouter une porte n'aurait rien apporté, sinon la satisfaction d'avoir mis une porte quelque part.

5. Comparer le prix du contrôle à celui de l'erreur qu'il évite

Un contrôle est cher ou bon marché au regard d'une seule chose : ce que coûterait l'erreur qu'il attrape.

La porte ne coûte rien à l'usage : on la met partout où elle est calculable et où rien ne garde encore le passage. Le critique, lui, coûte : un audit sérieux mobilise plusieurs dizaines d'agents, et cela se paie en jetons. La tentation est alors de comparer ce coût au budget du mois, ce qui conduit toujours à le trouver élevé. Le bon terme de comparaison est ailleurs.

Une seule des affirmations retirées avait eu le temps de produire une décision : le coût unitaire faux d'un facteur près de huit, celui du point de départ, réfutable en deux minutes de requête. Le dispositif ne se justifie donc pas par un rapport de coûts que je n'ai pas mesuré, mais par la nature de ce qui est en jeu de chaque côté : d'un côté des jetons, de l'autre une décision. D'où le critère de déclenchement du critique, qui tient en une question : « est-ce qu'on va décider quelque chose là-dessus ? » Un dispositif qui vérifie tout au même prix, lui, sera coupé au premier arbitrage budgétaire.

6. Séparer les questions universelles du savoir local

Le noyau se transpose, l'annexe non : les garder séparés est ce qui rend le dispositif réutilisable ailleurs.

Les trois questions valent pour n'importe quel domaine. Où aller lire ne vaut que pour le vôtre : les noms exacts des réglages, les tables, les pièges connus. D'où la forme recommandée, un noyau générique et une annexe par domaine. Tout fusionner donne un critique efficace et intransportable ; ne garder que le noyau donne un critique qui pose les bonnes questions sans savoir où trouver les réponses.

7. Le vrai produit, c'est de ne plus avoir à vérifier soi-même

La trace visible et le taux public changent le contrat lui-même.

Ce qui abîme la confiance, c'est de devoir chercher l'erreur soi-même. Quand la trace accompagne l'affirmation et que le taux est publié, le destinataire n'arbitre plus entre croire et tout revérifier : il lit une série, et il décide s'il faut resserrer.

Le bilanCe que trois heures de service ont établi, et ce qu'elles n'établissent pas

Ce qui est déjà établi

Trois heures de service, deux sessions sans contexte partagé, et sept affirmations arrêtées avant d'atteindre une décision.

Dans la session qui a construit le dispositif, quatre. Les six relectures lancées sur ce texte y ont trouvé une statistique d'audit introuvable dans le dossier et citée deux fois, un récit historique romancé, une porte créditée d'attraper des cas que son code ne voit pas, et une filiation technique attribuée à tort. Les quatre ont été corrigées avant que le destinataire n'agisse dessus.

Dans une seconde session agentique, trois. Sur une fiche de changement portant une réécriture de contenu, le critique a réfuté une redite que le comparatif soumis (diff) avait tronquée (il avait relu le bloc entier plutôt que le résumé), une affirmation géographique fausse, et un critère de vérification non falsifiable, variance en main. Il a aussi signalé un piège d'exécution qui aurait fait échouer l'écriture en base.

Le point décisif est ailleurs, et il est daté. Le 11 août à 21 h 40, moins de trois heures après la pose de la porte, le journal de session enregistre son refus sur cette fiche : « BLOQUÉ : la fiche porte une recommandation et n'a pas son bloc de vérification. Manque : le dénominateur, la configuration. » Le critique n'a été lancé qu'après ce refus. L'agent l'a ensuite écrit dans son compte rendu : sans la porte, il n'aurait pas soumis cette fiche, qu'il croyait sans chiffres. Ce récit-là vaut ce que valent les introspections d'agent ; le refus, lui, est dans le journal, horodaté. La contrainte mécanique a forcé le passage.

Ce qui n'est pas établi

La tendance. Dix-huit affirmations livrées, neuf retirées : à ce dénominateur, aucune évolution du taux n'est interprétable, et il monte pour l'instant parce qu'on cherche mieux. Les comptes, réconciliés, puisque ce dossier exige des autres ce qu'il doit à son lecteur :

Le signe utile à surveiller est le moment de la détection, davantage que le taux : cinq retraits découverts par le destinataire lui-même, quatre par les relectures du dispositif avant toute action. C'est ce rapport qui doit basculer.

Rendez-vous est pris. Le registre sera re-publié ici même fin septembre 2026, mêmes colonnes, même définition de ce qui compte : livrées, retirées, et le moment de la détection. Si le rapport n'a pas basculé, ce sera écrit aussi : un dispositif dont on ne publie que les bons trimestres est un compteur qui sert à punir, à l'envers.

AnnexeLe vocabulaire du dossier

Entre parenthèses, le terme anglais en usage dans le domaine. Deux entrées n'en ont pas de vraiment établi, « trace de vérification » et « taux de retrait » : les rendus donnés sont descriptifs, pas canoniques.

Agent (agent)

Un programme qui reçoit un objectif, décide seul de ses étapes, va lire et écrire dans de vrais systèmes, une base ou un fichier, puis rend un résultat. Ce qui est décrit ici surveille un agent logiciel ; le défaut visé est le même chez l'analyste humain.

Modèle de langage (LLM)

Le moteur qui fait tourner un agent. « Hors du modèle » signifie : du code ordinaire, qui ne raisonne pas, ne se laisse pas convaincre, et rend toujours le même verdict.

Déterministe (deterministic)

Qui rend toujours le même verdict sur la même entrée, parce qu'il applique une règle écrite. La porte est déterministe, le critique non. C'est là que se joue l'écart de fiabilité entre les deux, et l'écart de finesse.

Jeton (token)

L'unité de facturation d'un modèle, environ trois quarts de mot. Compter en jetons rappelle qu'un contrôle a un coût réel : on ne le lance pas pour vérifier une addition.

Consigne (instructions, system prompt)

Réservé ici à la couche 1 : une instruction écrite dans un document, sans effet si personne ne se la rappelle au bon moment. La couche la plus large et la plus faible du dispositif. À ne pas confondre avec la cible, plus bas.

Trace de vérification (verification evidence, audit trail)

Le bloc écrit, dans le document livré, qui donne les valeurs relevées pour les trois questions. C'est le résultat chiffré de la vérification, pas son récit : des valeurs, pas une promesse. La seule chose qu'un programme puisse contrôler.

Porte (gate, guardrail)

Un contrôle automatique greffé sur une action précise, ici l'écriture d'un document de recommandation, qui refuse cette action tant qu'une condition écrite n'est pas remplie. Elle ne juge pas un raisonnement, elle constate une présence.

Point d'accroche (hook)

L'endroit du programme où l'on peut greffer son propre script pour qu'il s'exécute avant une action, ici avant l'écriture d'un fichier. C'est le mécanisme par lequel la porte existe : sans point d'accroche, une porte reste une intention.

Échappatoire (escape hatch, override)

La sortie prévue et documentée qui permet de franchir la porte sans remplir la condition, à charge d'écrire pourquoi. Une porte sans échappatoire finit désactivée en bloc ; une échappatoire non comptée fait de la porte une formalité.

Critique indépendant (critic, adversarial reviewer)

Un second agent chargé de réfuter l'affirmation, qui dispose des mêmes accès mais ignore ce que l'auteur cherche à démontrer. Son indépendance porte sur la prémisse, non sur la puissance.

Générateur / critique (generator-critic ; sa variante notée, LLM-as-a-judge)

La famille de dispositifs où un producteur propose et un second relit. Sa forme notée s'appelle le modèle-juge. À distinguer des méthodes où le même modèle se relit lui-même, qui partagent sa prémisse.

Cible (target ; setpoint, en régulation)

La part des détections avant livraison qu'on s'engage à tenir. Fixée par le destinataire du travail, jamais par son producteur ; le taux de retrait, lui, se lit sans se viser. Sans cible, la boucle mesure sans réguler.

Taux de retrait (retraction rate)

Affirmations retirées sur affirmations livrées, sur une période donnée. L'indicateur principal du dispositif, et il n'a de sens qu'avec son dénominateur.

Délai de détection (time to detection, detection latency)

L'erreur est-elle trouvée avant ou après la livraison ? Le marqueur de maturité du dispositif, plus parlant que le taux lui-même.