Preuves et qualité¶

Page générée — ne pas éditer

Rendue au build par scripts/gen_doc_reference.py, depuis web/data/catalogue-export.json. Une modification manuelle serait perdue au build suivant.

Ces patterns transforment les affirmations, transitions et états Done en éléments vérifiables.

16 patterns dans cette famille.

QUA-01 — Claim ledger¶

Intention. Transformer les affirmations en éléments vérifiables.

Problème. L'agent peut produire des conclusions plausibles mais non prouvées.

Solution. Relier chaque affirmation critique à une source, un résultat d'outil ou une hypothèse.

Maturité. Minimal

Contrôles. QA, critique, dossier d'acceptation, evidence pack

À ne pas faire. Documentation assertive sans provenance.

Relations. À ne pas confondre avec QUA-16 · Alimenté par QUA-04

QUA-02 — Observabilité agentique¶

Intention. Comprendre et améliorer les décisions agentiques.

Problème. Sans traces, on ne sait pas pourquoi un agent a agi ni comment corriger.

Solution. Capturer prompts, contexte, outils, coûts, latence, erreurs, validations et incidents.

Maturité. Gouverné

Contrôles. Traces, métriques, evals, SLO, post-mortem

À ne pas faire. Système agentique opaque impossible à auditer.

Relations. Socle de QUA-08 · À ne pas confondre avec QUA-10

QUA-03 — Mission ledger append-only¶

Intention. Rendre les missions et transitions auditables.

Problème. Un état courant écrasé ne permet pas de comprendre pourquoi une décision a changé.

Solution. Journaliser missions, tâches, transitions, incidents et preuves comme événements append-only.

Maturité. Orchestré

Contrôles. Machine d'état, actor_id, timestamp, payload, lien evidence/verdict

À ne pas faire. Modifier silencieusement le statut d'une tâche sans événement.

Relations. Support de QUA-04

QUA-04 — Evidence pack et verification verdict¶

Intention. Transformer le Done en décision vérifiable.

Problème. Les preuves existent mais restent dispersées entre logs, tests, captures et rapports.

Solution. Regrouper les preuves dans un evidence pack, puis produire un verdict de vérification.

Maturité. Minimal

Contrôles. Digest, couverture des critères, profil de preuve, décision close/reopen/incident

À ne pas faire. Fermer une tâche parce qu'un test a été lancé sans relier le résultat aux critères.

Relations. Déclenche QUA-05

QUA-05 — Evidence-driven transition¶

Intention. Autoriser les transitions d'étape seulement par preuves proportionnées au risque.

Problème. Une mission peut passer de discovery à cadrage, de dev à QA ou de QA à livraison sans preuve suffisante.

Solution. Associer chaque transition à un gate de preuves : critères couverts, risques traités, verdict, prochaine autorité.

Maturité. Orchestré

Contrôles. Pre-stage-transition, evidence pack, verification verdict, DoD d'étape

À ne pas faire. Passer à l'étape suivante parce que le subagent a fini de répondre.

Relations. Dépend de QUA-04 · Tracée par QUA-03

QUA-06 — LLM cost registry¶

Intention. Rendre le coût LLM observable, comparable et gouvernable.

Problème. Les coûts tokens sont souvent visibles trop tard dans la facturation provider et difficiles à relier à une mission, un modèle ou un rig.

Solution. Maintenir un registre de prix par modèle/provider avec précédence explicite (défauts, pack, projet), puis rattacher tokens, coût estimé et budget à chaque trace.

Maturité. Gouverné

Contrôles. Source de prix, version de pricing, coût par mission, alerte budget, fallback modèle si dépassement

À ne pas faire. Optimiser ou limiter les coûts à partir de factures agrégées sans lien avec les décisions agentiques.

Relations. Mesure ORC-08

QUA-07 — Session reliability SLO reporter¶

Intention. Mesurer la santé réelle des sessions agentiques par runtime, modèle et version de prompt.

Problème. Un agent peut sembler fonctionnel globalement alors qu'un modèle, rig ou prompt version provoque crashs, quarantaines ou idle kills.

Solution. Agréger sessions, crashes, quarantaines, idle kills et drain events par Model/PromptVersion/Rig, puis calculer CrashRate% et UnhealthyRate%.

Maturité. Production

Contrôles. SLO de fiabilité, seuil de quarantaine, retrait capacité, incident si dérive persistante

À ne pas faire. Surveiller seulement le succès final sans métriques de santé session.

Relations. S'appuie sur QUA-08

QUA-08 — Agent telemetry plane¶

Intention. Unifier traces, métriques et événements des agents, modèles, outils, workflows et connaissances.

Problème. Les preuves existent mais restent fragmentées entre logs shell, traces provider, prompts, coûts et résultats de test.

Solution. Définir un plan télémétrique avec trace_id, mission_id, actor_id, model/provider, tool, state, coût, latence, verdict et incident.

Maturité. Gouverné

Contrôles. OpenTelemetry ou équivalent, corrélation evidence pack, politique de rétention, masquage secrets

À ne pas faire. Collecter des logs bruts impossibles à relier à une décision ou mission.

Relations. Étend QUA-02

QUA-09 — Prompt/version observability¶

Intention. Comprendre l'effet des versions de prompts, instructions, skills et modèles.

Problème. Un changement de prompt peut dégrader qualité, coût ou sécurité sans être attribuable.

Solution. Versionner prompt, instruction, skill, capability pack, provider/model et dataset d'eval dans chaque trace.

Maturité. Gouverné

Contrôles. Prompt registry, eval dataset record, canary, rollback, SLO par version

À ne pas faire. Modifier des instructions partagées sans mesurer impact ni historiser la version.

Relations. Alimenté par QUA-08

QUA-10 — Trajectory logging¶

Intention. Rejouer le raisonnement opérationnel observable d'une mission sans exposer de données sensibles inutiles.

Problème. Le résultat final ne montre pas quelles sources, outils, validations ou hésitations ont structuré l'action.

Solution. Journaliser la trajectoire en événements : intention, contexte chargé, décision, tool call, observation, correction, verdict.

Maturité. Gouverné

Contrôles. Mission ledger, telemetry plane, redaction, evidence pack, retention

À ne pas faire. Garder seulement le transcript brut ou seulement le statut final.

Relations. Alimente QUA-08

QUA-11 — Browser evidence contract¶

Intention. Rendre les actions UI/browser vérifiables et sûres.

Problème. Une validation visuelle ou E2E peut être non reproductible sans DOM, screenshot, console et réseau.

Solution. Encadrer URLs, actions autorisées, preuves visuelles, logs et dry-run pour toute interaction navigateur.

Maturité. Orchestré

Contrôles. Browser tool contract, screenshot final, DOM snapshot, console/network logs, blast-radius

À ne pas faire. Cliquer dans une UI de production sans capture, scope ni validation humaine.

Relations. Alimente QUA-04

QUA-12 — Visual Evidence Pack¶

Intention. Capturer les preuves visuelles nécessaires aux livrables UI, design ou navigateur.

Problème. Un test ou une réponse textuelle ne prouve pas toujours l'état réel de l'interface.

Solution. Grouper DOM snapshot, screenshots, console, réseau, viewport, parcours et critères UX dans un pack de preuve.

Maturité. Orchestré

Contrôles. Browser tool contract, design validation authority, evidence pack, retention courte

À ne pas faire. Déclarer une interface validée sans capture ni état reproductible.

Relations. Spécialise QUA-11

QUA-13 — Eval lifecycle¶

Intention. Faire évoluer les evals comme un actif de qualité versionné.

Problème. Les evals deviennent vite obsolètes si elles ne suivent pas prompts, modèles, skills et incidents.

Solution. Versionner datasets, juges, seuils, historique de runs, cas ajoutés depuis incidents et règles de blocage.

Maturité. Gouverné

Contrôles. Eval dataset record, prompt/version observability, canary, rollback

À ne pas faire. Rejouer toujours les mêmes cas sans vérifier qu'ils couvrent les risques actuels.

Relations. Alimente QUA-09

QUA-14 — Output contract validator¶

Intention. Garantir que la sortie respecte un contrat exploitable avant utilisation.

Problème. Une réponse plausible peut violer schéma, types, invariants ou format attendu.

Solution. Définir un contrat (schéma, champs requis, types, invariants métier) et valider la sortie avant de la consommer.

Maturité. Minimal

Contrôles. Output contract, validation automatique, claim ledger, eval lifecycle

À ne pas faire. Accepter une sortie parce qu'elle « parse » sans vérifier les invariants.

Relations. Alimente QUA-04 · S'appuie sur QUA-13

QUA-15 — Independent reviewer¶

Intention. Séparer producteur et vérificateur pour les sorties critiques.

Problème. Un agent qui valide son propre travail défend ses erreurs.

Solution. Confier la vérification à un rôle, agent ou modèle distinct, avec critères explicites et verdict tracé.

Maturité. Contrôlé

Contrôles. Validation authority, evidence pack, verification verdict, decision council pour cas critiques

À ne pas faire. Auto-validation d'une décision critique par le même agent.

Relations. Alimente QUA-04 · À ne pas confondre avec COG-03

QUA-16 — Assumption ledger¶

Intention. Distinguer explicitement hypothèses et faits prouvés.

Problème. Les hypothèses implicites sont traitées comme des certitudes et propagées sans contrôle.

Solution. Enregistrer chaque hypothèse, son statut (à confirmer, confirmée, invalidée) et son impact si elle est fausse.

Maturité. Minimal

Contrôles. Claim ledger, context conflict resolver, evidence pack

À ne pas faire. Présenter une hypothèse non vérifiée comme un résultat acquis.

Relations. Alimente QUA-01 · S'appuie sur ORC-07 · À ne pas confondre avec QUA-01