Voici la quatrième partie de notre série en cinq volets sur les agentic harnesses. Nous avons construit ce qu'est un harness, la boucle et les outils qui laissent un agent agir, et la gestion du contexte qui le garde cohérent. Voici maintenant la partie qui le garde honnête : la vérification et le contrôle.
L'échec central : les agents se félicitent eux-mêmes
Demandez à un agent de noter son propre travail : il vous dira presque toujours qu'il est excellent, même quand un humain le jugerait manifestement médiocre. Ce n'est pas une lubie, c'est systématique. Les travaux d'Anthropic sur les agents de longue durée ont montré que les montages naïfs à agent unique échouent sur les tâches complexes pour deux raisons : les modèles perdent en cohérence à mesure que la fenêtre se remplit (ce qu'aborde la gestion du contexte), et ce sont des juges peu fiables de leur propre sortie.
Les agents louent de façon fiable leur propre travail, mais un évaluateur externe peut être réglé pour le scepticisme et doté de critères de notation concrets.
Cette dernière phrase est la solution entière en miniature.