AIWas kostet es, die Arbeit des Agenten zu überprüfen?
Perspektive entdeckenEin KI-Agent spart nur dort Aufwand, wo sich seine Arbeit schneller prüfen lässt, als ein Mensch sie selbst erledigen würde. Wir schlagen vor, die ersten agentischen Workflows nach den Kosten der Prüfung auszuwählen und die Prüfung vor dem Agenten zu entwerfen.
In diesem Artikel +
Ein KI-Agent kann heute mehrstufige Arbeit übernehmen: Dokumente lesen, interne Systeme nutzen, Datensätze ausfüllen und ein Ergebnis vorbereiten. Bevor Sie entscheiden, was Sie abgeben, lohnt sich eine weniger sichtbare Frage. Wenn die Arbeit zurückkommt: Wie lange braucht jemand, um zu entscheiden, ob sie verwendbar ist?
Unsere Sicht ist einfach. Eine Aufgabe an einen Agenten zu delegieren spart nur dort Aufwand, wo sich das Ergebnis schneller prüfen lässt, als ein Mensch die Arbeit erledigen würde. Kostet das Prüfen so viel wie das Erledigen, fügt der Agent einen Schritt hinzu und verwischt die Verantwortung. Wir würden deshalb die Kosten der Prüfung darüber entscheiden lassen, welche Workflows zuerst kommen, und die Prüfung entwerfen, bevor der Agent gebaut wird.
Prüfen gehört zur Arbeit
Eine delegierte Aufgabe endet mit einer Entscheidung: annehmen, korrigieren oder ablehnen. Jemand muss sie treffen, und diese Person braucht die Zeit und die Informationen, um sie sorgfältig zu treffen.
Ist die Prüfung schnell und verlässlich, setzt die Delegation echte Kapazität frei. Muss die prüfende Person die Arbeit wiederholen, um sicher zu sein, bleiben zwei schlechte Möglichkeiten. Sie wiederholt die Arbeit, und nichts ist gespart. Oder sie gibt frei, ohne wirklich hinzusehen, und das Unternehmen verlässt sich auf Arbeit, die niemand geprüft hat.
Deshalb sagt die Geschwindigkeit des Agenten allein wenig. Der sinnvolle Vergleich stellt den Aufwand für den Betrieb des Agenten plus die Zeit für die Prüfung seines Ergebnisses der Zeit gegenüber, die die Arbeit heute braucht.
Derselbe Agent, eine andere Rechnung
Nehmen wir einen hypothetischen Hersteller, der seinen Produktkatalog in ein neues ERP-System überführt. Die technischen Daten stehen in Datenblättern unterschiedlichen Alters und Formats. Zwei Aufgaben sehen für einen Agenten ähnlich aus, weil beide von denselben Dokumenten ausgehen.
Die erste Aufgabe besteht darin, technische Merkmale in strukturierte Felder zu übernehmen: Abmessungen, Werkstoffe, Betriebsbereiche, Zertifizierungen. Hier lässt sich die Prüfung so entwerfen, dass sie schnell geht. Jeder Wert kann auf die Seite verweisen, von der er stammt. Einfache Regeln erkennen unmögliche Werte, falsche Einheiten und fehlende Pflichtfelder. Widersprüche zwischen zwei Datenblättern zum selben Produkt gehen an das Produktmanagement. Jemand aus dem Produktdatenteam vergleicht eine Stichprobe von Produkten von Hand mit der Quelle, und die Stichprobe ist bei den Produktfamilien größer, bei denen ein Fehler teuer wäre.
Die zweite Aufgabe besteht darin, neue Produktbeschreibungen für die Website zu schreiben. Eine Beschreibung zu prüfen heißt, sie ganz zu lesen, das Produkt zu kennen und zu beurteilen, ob jede Aussage zutrifft und angemessen ist. Das kann fast so lange dauern wie das Schreiben. Ein Agent kann trotzdem helfen, etwa mit einem Entwurf auf Basis der geprüften Merkmale. Die Autorschaft bleibt aber beim Menschen, und die ganze Aufgabe zu delegieren spart wenig.
Die Technologie ist in beiden Fällen dieselbe. Der Unterschied liegt darin, was es kostet zu wissen, ob das Ergebnis stimmt.
Die Prüfung vor dem Agenten aufbauen
Eine schnelle und verlässliche Prüfung kommt nicht mit dem Agenten. Sie muss entworfen werden, und dieser Entwurf kann mehr Aufwand bedeuten als die Konfiguration des Agenten. Im Beispiel der Produktdaten würde er sechs Elemente umfassen.
Eine Definition des akzeptablen Ergebnisses, verfasst von der Person, die dafür verantwortlich ist. Für Produktdaten: welche Felder Pflicht sind, welche Toleranzen gelten, welche Quelle Vorrang hat, wenn zwei sich widersprechen.
Referenzfälle mit bekannten Antworten. Ein Satz von Produkten, die das Team bereits geprüft hat, erlaubt es allen, das Ergebnis des Agenten mit dem richtigen Ergebnis zu vergleichen, vor der Inbetriebnahme und nach jeder Änderung.
Nachvollziehbarkeit. Jeder Wert verweist auf seine Quelle. Die prüfende Person kontrolliert einen Verweis, statt die Suche zu wiederholen, und das System hält fest, was von wem geprüft wurde.
Automatische Prüfungen für triviale Fehler. Regeln zu Formaten, Wertebereichen und Konsistenz fangen sie ab, bevor ein Mensch das Ergebnis sieht.
Ein Weg für Ausnahmen. Widersprechen sich Quellen oder ist der Agent unsicher, geht der Fall an eine benannte Person, mit dem Kontext, der für die Entscheidung nötig ist. Der Agent rät nicht.
Stichproben im Verhältnis zum Risiko. Der Prüfaufwand geht dorthin, wo ein Fehler den größten Schaden anrichten würde.
Eine Folge sollte man vorab kennen. Kann niemand aufschreiben, wie ein akzeptables Ergebnis aussieht, löst ein Agent das nicht. Er macht die Lücke eher sichtbar, später und zu höheren Kosten.
Der stärkste Einwand
Die wertvollste Arbeit ist oft am schwersten zu prüfen. Ein Kriterium, das auf den Prüfkosten beruht, könnte Agenten zu Aufgaben mit geringem Wert lenken und die wichtige Arbeit unberührt lassen.
Wir sehen zwei Antworten. Erstens ist Prüfbarkeit keine feste Größe. Ein Teil des Projekts kann darin bestehen, wertvolle Arbeit leichter prüfbar zu machen: die Eingaben strukturieren, Referenzfälle vereinbaren, trennen, was sich per Regel prüfen lässt und was Urteilsvermögen braucht. Zweitens ist dort, wo das nicht möglich ist, ein unterstützter Workflow, in dem der Agent entwirft und die Autorschaft beim Menschen bleibt, ein legitimes Ergebnis und kein Mangel an Ehrgeiz.
Eine verwandte Versuchung besteht darin, weniger zu prüfen, je mehr man sich an den Agenten gewöhnt. Weniger Prüfung sollte auf Nachweisen aus Referenzfällen und Stichproben beruhen, nicht auf Gewöhnung. Ändern sich der Prozess, die Daten oder der Agent, müssen diese Nachweise erneuert werden.
Fragen vor dem ersten Agenten
Bevor wir entscheiden, welche Arbeit delegiert wird, würden wir vier Fragen mit den Menschen durchgehen, die das Ergebnis abnehmen werden.
Wer entscheidet, ob das Ergebnis verwendbar ist, und wie lange dauert diese Entscheidung heute?
Was lässt sich per Regel oder durch Vergleich mit einer Quelle prüfen, und was braucht einen Menschen?
Wohin geht ein Fall, wenn der Agent unsicher ist oder die Quellen sich widersprechen, und wer entscheidet ihn?
Welche Nachweise würden weniger Prüfung rechtfertigen, und was würde uns veranlassen, wieder mehr zu prüfen?
Hier treffen sich aus unserer Sicht agentische Workflows und menschliche Aufsicht: Aufgabe, Bewertung und der Weg für Ausnahmen werden gemeinsam entworfen und in der tatsächlichen Arbeitsumgebung erprobt, mit den Menschen, die für das Ergebnis einstehen werden.
Bevor Sie fragen, ob ein Agent die Arbeit erledigen kann, fragen Sie, woran das Unternehmen schnell und verlässlich erkennt, dass sie richtig erledigt wurde.


