Das ist Teil vier unserer fünfteiligen Serie über Agentic Harnesses. Wir haben behandelt, was ein Harness ist, die Schleife und die Werkzeuge, die einen Agenten handeln lassen, und Context Management, das ihn kohärent hält. Jetzt der Teil, der ihn ehrlich hält: Verifizierung und Kontrolle.
Das Kernversagen: Agenten loben sich selbst
Bitte einen Agenten, seine eigene Arbeit zu benoten, und er wird dir fast immer sagen, sie sei großartig – selbst wenn sie für einen Menschen offensichtlich mittelmäßig ist. Das ist keine Macke, sondern System. Anthropics Arbeit an langlaufenden Agenten zeigte, dass naive Einzelagenten-Aufbauten bei komplexen Aufgaben aus zwei Gründen scheitern: Modelle verlieren die Kohärenz, während sich das Fenster füllt (was Context Management angeht), und sie sind unzuverlässige Richter über ihre eigene Ausgabe.
Agenten loben verlässlich ihre eigene Arbeit, aber ein externer Evaluator kann auf Skepsis getrimmt und mit konkreten Bewertungskriterien ausgestattet werden.
In diesem letzten Satz steckt die ganze Lösung.