AIVor der Berechnung der Einsparungen den Stopp des Agenten planen
Perspektive entdeckenEin KI-Agent, der denselben Fehler wiederholt, löst keinen Störungsalarm aus, und ihn zu stoppen hinterlässt halb erledigte Arbeit in mehreren Systemen. Wir schlagen vor, den Stopp vor der Inbetriebnahme zu entwerfen und zu proben. Die Rückfallebene, die er braucht, entscheidet, wie viel Kapazität des Teams Sie tatsächlich freisetzen können.
In diesem Artikel +
Geht ein KI-Agent in Produktion, beschreibt der Plan, wie er läuft und wo ein Mensch freigibt. Seine härteste Prüfung erlebt der Entwurf in einem anderen Moment. Etwas läuft schief, der Agent arbeitet weiter, und jemand muss entscheiden, ihn zu stoppen.
Unsere Sicht: Bevor ein Agent einen laufenden Prozess übernimmt, sollte das Unternehmen entwerfen und proben, wie er gestoppt wird. Dazu gehört, wer ihn pausieren kann, ohne auf die IT zu warten, welche Teile sich stoppen lassen, während der Rest weiterläuft, in welchem Zustand jede Anfrage zurückbleibt und wer die Warteschlange von Hand bearbeitet, während die Ursache behoben wird. Die Menschen, die die Arbeit noch von Hand erledigen können, sind dieselben, die der Business Case freisetzen will. Der Stopp-Plan entscheidet also auch, wie viel ihrer Zeit Sie tatsächlich freigeben können.
Das gilt für Agenten, die in Ihre Systeme schreiben oder in Ihrem Namen Nachrichten versenden. Ein Agent, der nur Entwürfe vorbereitet, die ein Mensch fertigstellt, braucht einen deutlich leichteren Stopp-Plan.
Ein Agent, der falsch liegt, sieht nicht defekt aus
Kontinuitätspläne sind für Systeme gemacht, die ausfallen: Fällt ein Server aus, startet ein Alarm das Verfahren. Ein Agent kann leiser versagen. Er läuft weiter, das technische Monitoring bleibt grün, und er wiederholt denselben Fehler bei jeder neuen Anfrage.
Das erste Signal kommt daher wahrscheinlich aus dem Fachbereich. Jemand aus der Kundschaft ruft wegen einer merkwürdigen Bestätigung an, oder das Lager sieht Aufträge, die keinen Sinn ergeben. Wer es bemerkt, kann den Agenten oft nicht selbst abschalten. Die Entscheidung zu stoppen ist zudem ein geschäftliches Urteil: Ist es ein Einzelfall, oder ist jede Anfrage seit zehn Uhr betroffen?
Ein Vormittag bei einem Händler
Nehmen wir einen hypothetischen Industriehändler. Ein Agent bearbeitet Kundenanfragen zur Änderung offener Aufträge. Er liest die E-Mail, aktualisiert den Auftrag im ERP-System, schickt eine Bestätigung und teilt dem Lager mit, was zu kommissionieren ist. Das Kundenserviceteam, das dies früher von Hand erledigt hat, kümmert sich nun um Reklamationen und Schlüsselkunden.
Eines Morgens, nach einer Änderung der Lagercodes im ERP-System, beginnt der Agent, eine Art von Anfragen falsch zu bearbeiten: Änderungen, die einen Auftrag in ein anderes Lager verlegen. Er schickt sie an das falsche Lager, und seine Bestätigungen sehen weiterhin einwandfrei aus. Eine Schichtleitung im Lager bemerkt das Problem am Vormittag und geht zum Kundenservice hinüber.
Kann die Leitung des Kundenservice den Agenten pausieren, oder braucht es ein Ticket an die IT und einen Anruf beim Anbieter? Wenn der Agent jetzt stoppt: Welche Anfragen sind abgeschlossen und welche halb erledigt? Manche Aufträge sind aktualisiert, aber die Bestätigung ist nicht verschickt. Manche Bestätigungen sind verschickt, aber das Lager hat die falsche Anweisung. Und wer bearbeitet die Anfragen des Nachmittags, wenn diejenigen, die es können, mit anderer Arbeit beschäftigt sind und manche nicht mehr die früheren Systemzugänge haben?
Diese Antworten müssen vor der Inbetriebnahme geklärt und getestet sein. An dem Tag selbst bleibt keine Zeit, sie zu erfinden.
Der Stopp-Plan bestimmt, was Sie freisetzen können
Der Business Case für einen Agenten zählt die Stunden, die das Kundenserviceteam nicht mehr für die Aufgabe aufwendet. Der Stopp-Plan zeigt, dass ein Teil dieser Stunden nicht verschwinden kann.
Eine echte Behebung kann Tage dauern. Muss das Kundenserviceteam bei einer Pause so lange die gesamte Warteschlange zurücknehmen, kann das Unternehmen nicht das ganze Team anderen Aufgaben zuweisen. Es kann einige Personen in Teilzeit am Prozess halten, mit ihren Zugängen und regelmäßiger Übung. Es kann Teilstopps bauen, damit die meisten Probleme keine vollständige Pause erfordern. Oder es beginnt mit einem kleineren Anteil der Anfragen und erweitert ihn, wenn sich die Nachweise mehren. Jeder dieser Wege funktioniert. Die gesamte Kapazität freizusetzen, während die Rückfallebene nur auf dem Papier besteht, funktioniert nicht.
Dieselbe Frage stellt sich erneut, wenn die Autonomie des Agenten wächst. Jedes Mal, wenn er eine neue Art von Anfrage oder eine neue Aktion übernimmt, muss der Stopp-Plan auch diese abdecken.
Was ein Stopp-Plan enthält
Für den Händler würden wir vor der Inbetriebnahme fünf Dinge voraussetzen.
Die Befugnis zu pausieren, im Fachbereich. Wer in einer benannten Rolle Dienst hat, hier die Leitung des Kundenservice, kann den Agenten direkt pausieren. Praktisch bedeutet das einen Schalter in einem Werkzeug, das die Leitung bereits nutzt, eingebaut vor der Inbetriebnahme. In einem kleinen Team kann das eine Person mit benannter Vertretung sein. Eine unnötige Pause kostet etwas manuelle Arbeit. Eine verspätete kann weit mehr kosten, an Korrekturen und an Vertrauen der Kundschaft. Die Entscheidung zu stoppen liegt beim Fachbereich; IT und Anbieter beheben anschließend die Ursache.
Mehr als eine Art zu stoppen. Im Fall des Händlers könnten Anfragen, die einen Auftrag in ein anderes Lager verlegen, an einen Menschen gehen, während der Agent den Rest weiterbearbeitet. Das allein hätte das Problem jenes Vormittags begrenzt. Eine weitergehende Möglichkeit: Der Agent bereitet weiterhin Aktualisierungen und Bestätigungen vor, und ein Mensch gibt jede einzelne frei, bevor etwas gespeichert oder versendet wird. Die vollständige Pause ist das letzte Mittel. Diese Modi gehören zum Bau und damit in den Umfang, der mit denen vereinbart wird, die den Agenten bauen.
Ein bekannter Zustand für jede Anfrage. Das System hält für jede Anfrage fest, welche Schritte erledigt sind. Wird der Agent pausiert, beginnt er keine neuen Schritte, und das Kundenserviceteam erhält die Liste der halb erledigten Anfragen mit dem, was jeweils fehlt. Es erhält auch die Anfragen, die der Agent seit Beginn des Problems abgeschlossen hat, damit sie geprüft werden können. Beim Neustart muss der Agent Schritte erkennen, die ein Mensch bereits erledigt hat, damit das Lager dieselbe Anweisung nicht zweimal erhält.
Eine Rückfallebene mit Menschen und Zugängen. Jemand muss die Warteschlange bearbeiten, während der Agent pausiert: namentlich benannte Personen, ein kurzes Verfahren und Systemzugänge, die nicht entzogen wurden. Bemessen Sie sie an der Zeit, die eine echte Behebung dauern kann. An einem normalen Tag braucht sie niemand. Diese Kapazität muss deshalb bewusst erhalten werden, etwa indem das Team regelmäßig einen kleinen Anteil der Anfragen von Hand bearbeitet.
Kriterien für den Neustart. Bevor der Agent weiterarbeitet, ist die Ursache behoben, die betroffenen Anfragen sind abgeglichen, und ein Satz von Testanfragen mit bekannten richtigen Ergebnissen ist durch den Agenten gelaufen. Eine benannte Person entscheidet, wann der Agent neu startet.
Dann proben Sie es. Pausieren Sie den Agenten in der Testumgebung mitten in einem Stapel und beobachten Sie, was geschieht. Wie lange dauert es, bis jede Anfrage in einem bekannten Zustand ist? Kann das Kundenserviceteam die Warteschlange mit den Zugängen übernehmen, die es tatsächlich hat? Eine Probe ist der günstigste Ort, um einen Schritt zu finden, der sich nicht gefahrlos wiederholen lässt, oder eine Berechtigung, an die niemand gedacht hat.
Der stärkste Einwand
Ein Einwand lautet, das alles gebe es schon. Der Händler hat bereits ein Incident Management und einen Kontinuitätsplan, und einen Agenten abzuschalten ist technisch einfach.
Wir würden den bestehenden Incident-Prozess als Ort für den Stopp-Plan beibehalten und ergänzen, was für Agenten spezifisch ist. Jemand im Fachbereich braucht die Befugnis, den Schalter auf geschäftliche Signale hin zu nutzen, vor jedem technischen Alarm. Das Abschalten hinterlässt zudem halb erledigte Arbeit in mehreren Systemen, und eine technische Wiederherstellung sagt Ihnen nicht, wer welche Zusage erhalten hat.
Ein zweiter Einwand sind die Kosten. Der Stopp-Plan bedeutet tatsächlich Mehrarbeit: Teilstopps und Schrittverfolgung müssen gebaut werden, und ein Teil der Kapazität bleibt, wo er ist. Diese Kosten lassen sich im Business Case leichter akzeptieren, als sie während eines Vorfalls zu entdecken. Teilstopps zahlen sich später auch aus: Das Unternehmen kann dem Agenten mehr Arbeit übertragen, wenn das Stoppen einer Anfrageart nicht bedeutet, alles zu stoppen.
Fragen für die Prüfung vor der Inbetriebnahme
Würde der Agent jetzt pausiert: Könnten wir jede halb erledigte Anfrage auflisten und jede, die seit Beginn des Problems abgeschlossen wurde?
Wer würde die Warteschlange morgen von Hand bearbeiten, bei Bedarf mehrere Tage lang, und sind die Zugänge noch vorhanden?
Welche Teilstopps gibt es, und ist jeder einzelne getestet?
Lautet die ehrliche Antwort auf die zweite Frage „niemand“, zählt der Business Case Stunden, die er noch nicht freisetzen kann.


