AIWenn eine KI-Kennzahl besser wird: Prüfen Sie, was sich darunter geändert hat
Perspektive entdeckenEin KI-Workflow läuft auf Diensten, die Anbieter nach ihrem eigenen Zeitplan aktualisieren, manchmal einschließlich der Art, wie die Nutzung gezählt wird. Wir schlagen ein unternehmenseigenes Änderungsprotokoll vor, das Ihre Änderungen und die der Anbieter erfasst, sowie feste Testanfragen, die nach jeder Änderung erneut laufen, bevor jemand den Trend liest.
In diesem Artikel +
Stellen Sie sich eine Monatsbesprechung vor, einige Monate nachdem ein KI-Assistent im Kundenservice in Betrieb gegangen ist. Der Assistent entwirft Antworten auf Kundenanfragen, die per E-Mail eingehen, und schließt die einfachen selbst ab. Zwei Zeilen im Dashboard sehen gut aus: Ein größerer Anteil der Anfragen wird abgeschlossen, ohne dass jemand eingreift, und die Kosten pro Anfrage sind gesunken. Auf dem Tisch liegt der Vorschlag, den Assistenten auf ein zweites Serviceteam auszuweiten.
Hinter dem Assistenten stehen zwei Anbieter. Der Modellanbieter stellt das KI-Modell bereit, das die Antworten schreibt. Der Plattformanbieter betreibt den Assistenten und erstellt den Nutzungsbericht, auf dem das Dashboard aufbaut. Es können zwei verschiedene Unternehmen sein, und jedes aktualisiert seinen Dienst nach eigenem Zeitplan.
In denselben Wochen haben sich drei Dinge geändert. Das Serviceteam hat die Standardantwort zum Abschluss neu geschrieben, die der Assistent verschickt. Das Unternehmen hatte sich entschieden, immer die neueste Version des Modellanbieters zu nutzen; als eine neue Version erschien, wechselte der Assistent über Nacht darauf. Und der Plattformanbieter hat geändert, was sein Nutzungsbericht zählt: Anfragen, die mit einem Fehler endeten, sind nicht mehr enthalten, sofern niemand sie anfordert. Nur die erste Änderung war eine Entscheidung des Unternehmens. Die beiden anderen kamen als Release Notes in einem IT-Postfach an.
Niemand im Raum kann sagen, welche Änderung die Zahlen bewegt hat. Das Dashboard übernimmt seine Gesamtzahl aus dem Nutzungsbericht, und Anfragen, die mit einem Fehler endeten, wurden nie abgeschlossen. Nimmt man sie heraus, sinkt die Gesamtzahl, und der automatisch abgeschlossene Anteil steigt, ohne dass sich an der Arbeit etwas geändert hat. Die Kosten pro Anfrage bewegen sich aus mehr als einem Grund. Weniger Anfragen in der Zählung würden sie erhöhen, es sei denn, auch der Kostenwert lässt dieselben Fehler weg. Das neue Modell kann günstiger sein oder kürzere Antworten schreiben, die auch weniger sagen.
Unsere Sicht: Bewegt sich eine Zahl nach der Inbetriebnahme, lautet die erste Frage, was sich darunter geändert hat. Manche Änderungen verändern die Arbeit des Assistenten. Andere verändern nur, wie die Arbeit gemessen wird, und können eine Zahl genauso weit bewegen. Gute Nachrichten verdienen diese Frage mehr als schlechte. Wir schlagen vor, dass das Unternehmen für jeden KI-Workflow ein eigenes Änderungsprotokoll führt, das seine Änderungen und die der Anbieter erfasst, mit einer namentlich benannten Verantwortung. Nach jedem Eintrag läuft ein fester Satz von Testanfragen erneut. Jede Besprechung der Zahlen beginnt mit dem Protokoll und diesen Ergebnissen.
Warum gute Nachrichten der riskante Fall sind
Sinkt eine wichtige Kennzahl, geht jemand der Sache nach. Diese Person öffnet die Fehlerprotokolle, fragt das Serviceteam, was es geändert hat, und findet oft die Mitteilung des Anbieters. Steigt eine Kennzahl, landet sie in den Folien für den Lenkungsausschuss und wird zum Argument für die nächste Investition. Stammt der Anstieg aus einer Änderung dessen, was gezählt wird, weitet das Unternehmen den Assistenten auf ein Ergebnis hin aus, das nach der Definition des Vormonats nicht entstanden wäre.
Das zweite Serviceteam erbt dann ein Ziel, das das erste nie erreicht hat, und seine Mitarbeitenden werden an einer Zahl gemessen, die es nie gab.
Wer die Release Notes liest
Im Beispiel sitzen diejenigen, die Anbietermitteilungen lesen, und diejenigen, die das Dashboard lesen, in verschiedenen Abteilungen. Die IT sieht die Mitteilung zum Nutzungsbericht und legt sie als Detail des Reportings ab. Die Betriebsleitung sieht das Dashboard und hat keinen Anlass, nach einer Mitteilung zu suchen. Niemand hatte den Auftrag, die Mitteilung neben das Dashboard zu legen.
Eine neue Modellversion kommt mit Hinweisen darauf, was sie allgemein besser kann. Wie sie mit Ihren Anfragen umgeht, mit Ihrer Abschlussantwort und Ihren Geschäftsregeln, zeigen nur Ihre eigenen Tests.
Ein Protokoll für beide Seiten
Das Änderungsprotokoll ist eine gemeinsame Aufzeichnung für jeden KI-Workflow, getrennt von den Release Notes der Anbieter. Jeder Eintrag hält fest, was sich geändert hat, auf welcher Seite, ab wann es gilt, ob es die Arbeit verändert oder nur deren Messung und welche Zahlen es bewegen könnte. Auf Unternehmensseite betrifft das die Anweisungen, mit denen der Assistent arbeitet (oft Prompts genannt), Standardantworten, Geschäftsregeln und Datenquellen. Auf Anbieterseite betrifft es Modellversionen, Standardeinstellungen, die das Unternehmen nie gewählt hat, Konnektoren (die Verbindungen zu E-Mail, CRM und anderen Systemen) und alles, was die Zählung der Nutzung durch die Plattform angeht.
Das wichtigste Feld ist, ob eine Änderung die Arbeit verändert oder nur die Messung. Eine Änderung am Modell oder an den Anweisungen verändert die Arbeit. Eine Änderung an der Zählung der Nutzung verändert nur die Messung und erreicht das Dashboard, ohne eine einzige Antwort zu berühren.
Die verantwortliche Person verfolgt die Mitteilungen aller Anbieter, von denen der Workflow abhängt, entscheidet, welche relevant sind, und trägt sie ein. Die Rolle passt zu jemandem, der eine technische Mitteilung lesen kann und weiß, nach welchen Zahlen das Unternehmen entscheidet. Sie braucht eine Vertretung und eingeplante Zeit, sonst verstummt das Protokoll im ersten vollen Monat.
Testanfragen, die gleich bleiben
Um zu sehen, was eine Änderung an der Arbeit bewirkt hat, hält das Serviceteam einen festen Satz von Testanfragen vor: echte Anfragen, wo nötig anonymisiert, die den Alltag abdecken und die Fälle, die früher schiefgegangen sind. Zu jeder gehört die Antwort, auf die sich der Fachbereich als richtig geeinigt hat. Nach jedem Eintrag im Protokoll, gleich auf welcher Seite, läuft der Satz erneut, und die Ergebnisse werden mit dem vorherigen Durchlauf verglichen. Eine Änderung braucht manchmal etwas Zeit, bis sie überall angekommen ist; der erneute Durchlauf wartet daher, bis sie vollständig wirksam ist.
Hat sich das Modell geändert und die Testanfragen fallen gleich aus, braucht der Anstieg im Dashboard eine andere Erklärung. Fallen sie anders aus, weiß das Serviceteam, wo es suchen muss, bevor die Kundschaft etwas bemerkt.
Wo ein Anbieter es zulässt, bei einer Modellversion zu bleiben, ist das für alles sinnvoll, was in eine Geschäftsentscheidung einfließt. Der Wechsel auf eine neue Version geschieht dann bewusst, nachdem die Testanfragen darauf gelaufen sind. Eine feste Version bleibt nur so lange verfügbar, wie der Anbieter sie bereithält; der Wechsel muss also trotzdem geplant werden.
Die Reihenfolge der Monatsbesprechung
Die Besprechung beginnt mit den Protokolleinträgen seit dem letzten Termin. Für jede Änderung an einer Zählweise rechnet die Person, die die Besprechung vorbereitet, entweder den Vormonat nach der neuen Definition neu oder setzt eine neue Baseline, also einen neuen Ausgangspunkt für den Vergleich, und vermerkt das auf der Folie. Danach folgen die Ergebnisse der Testanfragen. Der Trend kommt zuletzt.
Im Beispiel würde die vorbereitende Person die Anfragen, die mit einem Fehler endeten, wieder in die Gesamtzahl aufnehmen und den automatisch abgeschlossenen Anteil neu berechnen, bevor jemand über das zweite Serviceteam spricht. Hält die Verbesserung stand, stützt sich die Ausweitung des Assistenten auf ein geprüftes Ergebnis.
Zwei Einwände und ein Preis
Die IT betreibt bereits Change Management, und manche Anbieter lassen das Unternehmen bei einer festen Version bleiben. Change Management deckt die Änderungen ab, die das Unternehmen selbst beauftragt. Änderungen der Anbieter kommen als Mitteilungen, oft zu Standardeinstellungen oder zum Reporting, und nicht jeder Teil eines Dienstes lässt sich festhalten. Das Änderungsprotokoll steht neben dem Change Management und ergänzt die Änderungen, die niemand beauftragt hat, jeweils verknüpft mit den Zahlen, die sie bewegen können.
Ein zweiter Einwand lautet, Monitoring-Werkzeuge leisteten das bereits. Monitoring misst mit den Definitionen, die es bekommt. Ändert sich eine Definition vorgelagert, bleibt das Dashboard in sich stimmig und ist mit dem Vormonat nicht mehr vergleichbar.
Der Fachbereich muss die Testanfragen einmal abstimmen und aktuell halten, und jemand, der sowohl die Anbietermitteilungen als auch das Dashboard versteht, muss dem Protokoll regelmäßig Zeit widmen. Für einen Assistenten, der nur Texte entwirft, die ein Mensch prüft, genügt eine leichtere Variante. Das vollständige Protokoll und der Testsatz lohnen den Aufwand dort, wo die Zahlen darüber entscheiden, ob das System wächst.
Wo Sie anfangen können
Listen Sie die externen Dienste auf, von denen Ihr KI-Workflow abhängt, und finden Sie für jeden heraus, wo der Anbieter Änderungen ankündigt. Fragen Sie dann, wer die letzte Mitteilung gelesen hat und ob jemand sie mit den Zahlen abgeglichen hat, auf die Ihre Geschäftsleitung schaut.


