AIBevor KI aus Ihrer Geschichte lernt: Was wurde nie aufgezeichnet?
Perspektive entdeckenHistorische Aufzeichnungen zeigen, was der alte Prozess bemerkt hat, und das ist weniger als das, was die Kundschaft brauchte. Bevor ein KI-System daraus lernt, schlagen wir vor, mit den Menschen, die die Arbeit gemacht haben, durchzugehen, was fehlt, und zu jeder Lücke eine Entscheidung zu treffen.
In diesem Artikel +
Angenommen, ein KI-Projekt im Servicebetrieb beginnt mit etwas, das das Unternehmen bereits hat: Tickets und Fallnotizen aus mehreren Jahren. Mit dieser Historie wird ein Modell trainiert oder ein Assistent mit Beispielen versorgt, wie Anfragen bearbeitet wurden, und anschließend wird er vor der Inbetriebnahme daran getestet.
Unsere Sicht: Historische Daten halten fest, was der alte Prozess bemerkt und aufgeschrieben hat. Ein KI-System, das daraus lernt, behandelt selten Erfasstes als selten und kann nicht lernen, was nie erfasst wurde. Bevor die Historie genutzt wird, sollte das Unternehmen deshalb mit den Menschen, die die Arbeit gemacht haben, durchgehen, was darin fehlt. Für jede Lücke sollte am Ende eine Entscheidung stehen: einen menschlichen Weg beibehalten, die Daten korrigieren, eine ungeschriebene Praxis zu einer Regel mit klarer Zuständigkeit machen oder ändern, woran Erfolg gemessen wird. Wo nichts davon schnell geht, sollte das System zunächst weniger übernehmen.
Am wichtigsten ist das, wenn das System Prioritäten setzt oder Anfragen zuordnet. Ein Assistent, der nur Antworten entwirft, die ein Mensch prüft, trägt dasselbe Risiko in kleinerer Form.
Ein guter Wert deckt nur ab, was erfasst wurde
Die übliche Prüfung ist die Genauigkeit. Ein Teil der Historie wird zurückgehalten, das System läuft darauf, und seine Antworten werden mit dem verglichen, was tatsächlich geschah. Die Testfälle stammen aus derselben Historie und teilen deren Lücken. Ein System kann bei jedem erfassten Fall gut abschneiden und die Anfragen, die nie erfasst wurden, trotzdem falsch behandeln. Der Wert deckt nur die Arbeit ab, die die Aufzeichnungen beschreiben konnten.
Ein Heizungsservice und seine Tickets
Nehmen wir ein hypothetisches Unternehmen, das Heizungsanlagen für Wohnhäuser und kleine Mehrfamilienhäuser installiert und wartet. Es möchte einen Assistenten, der jeder eingehenden Anfrage eine Priorität zuweist und den nächsten Schritt vorschlägt, damit die Disposition ihre Zeit den schwierigen Fällen widmen kann. Geplant ist, Tickets aus mehreren Jahren als Beispiele dafür zu nutzen, wie Anfragen priorisiert wurden, und den Assistenten daran zu testen.
Vorher setzen sich Disposition und Technik mit dem Projektteam zusammen und gehen durch, was die Tickets nicht enthalten. Das Ergebnis ist eine kurze Liste von Lücken, jeweils mit der getroffenen Entscheidung. Vier Lücken zeigen sich.
Anfragen, die nie zu Tickets wurden. Manche langjährigen Kundinnen und Kunden rufen direkt auf dem Mobiltelefon ihrer Technikerin oder ihres Technikers an. Hausverwaltungen schreiben der Person, die sie kennen, eine E-Mail. Diese Anfragen wurden bearbeitet, oft gut, aber sie haben kein Ticket hinterlassen. In der Historie sieht es aus, als bräuchten diese Kunden selten etwas.
Anliegen, für die das Formular keinen Platz hatte. Die Ticketkategorien wurden für Gerätestörungen geschrieben. „Die Heizung läuft, aber eine Wohnung bleibt kalt“ oder „Ich komme nicht ins Kundenportal, um einen Termin zu buchen“ landen unter Sonstiges, wo sie oft geschlossen oder von Hand verschoben werden. Der Assistent lernt, dass Sonstiges niedrige Priorität hat.
Urteil, das nie aufgeschrieben wurde. Bei einer Kältewelle zieht eine Disponentin Kundinnen und Kunden vor, die allein leben oder kleine Kinder haben. Sie kennt sie. Kein Feld hält den Grund fest. Der Assistent lernt die geschriebene Regel und verpasst die Praxis, die Menschen geschützt hat, als es am meisten darauf ankam.
Geschlossen heißt nicht gelöst. Ein Ticket wird geschlossen, wenn die Technikerin oder der Techniker geht. Fällt die Heizung zwei Tage später wieder aus, eröffnet der Anruf ein neues Ticket. Die Historie zählt den ersten Einsatz in beiden Fällen als Erfolg. Wo der damals gewählte nächste Schritt der falsche war, wird dem Assistenten angerechnet, dass er ihn kopiert.
Eine übliche Prüfung der Datenqualität würde diese Lücken nicht melden, denn jedes vorhandene Feld ist ausgefüllt.
Eine Entscheidung für jede Lücke
Für den Heizungsservice führt jede Lücke zu einer anderen Entscheidung.
Einen menschlichen Weg beibehalten. Anfragen, die über die Telefone der Technik eingehen, bleiben vorerst bei Menschen. Der Assistent sieht sie nicht, und niemand tut so, als täte er es. Will das Unternehmen sie später im System haben, braucht es zuerst einen mit der Technik abgestimmten Weg, sie zu erfassen. Erst dann werden sie zu Daten.
Die Daten korrigieren, bevor sie genutzt werden. Jemand, der die Arbeit kennt, liest eine Stichprobe der Tickets unter Sonstiges erneut und ordnet sie neu zu, und für neue Tickets ändern sich die Kategorien. Der Assistent wird mit der korrigierten Stichprobe eingerichtet und getestet.
Eine Regel mit klarer Zuständigkeit daraus machen. Die Priorität bei Kälte wird zu einer ausdrücklichen Regel, für die die Serviceleitung zuständig ist und die sie ändern kann. Der Assistent wendet sie an, und die Disposition sieht, wann er es getan hat. Die Regel sollte nur verwenden, was Kundinnen und Kunden dem Unternehmen mitteilen wollten und dessen Speicherung sie zugestimmt haben. Wo das fehlt, bleibt der Fall bei der Disposition.
Daran messen, ob die Reparatur gehalten hat. Der Test prüft anhand wiederholter Anrufe zur selben Adresse, ob die Heizung Tage später noch lief. Kann das Unternehmen diese Anrufe noch nicht verknüpfen, wird die Verknüpfung Teil des Projekts.
Wo sich eine Lücke nicht schnell schließen lässt, kann das Team den Umfang einschränken. Der Assistent beginnt mit den Anfragearten, die die Historie gut beschreibt, der Rest bleibt bei der Disposition.
Testen, was die Historie auslässt
Vor der Inbetriebnahme schreibt das Team für jede Lücke Testfälle von Hand: die Wohnung, die kalt bleibt, das Portalproblem, die allein lebende Person während einer Kältewelle, den wiederholten Ausfall. Die Disposition schreibt sie, weil sie weiß, wie diese Anfragen in der Praxis aussehen. Der Assistent wird an diesen Fällen ebenso gemessen wie am historischen Wert, und ein guter historischer Wert gleicht ein Scheitern an ihnen nicht aus.
Die Durchsicht sollte nach der Inbetriebnahme wiederholt werden. Ein laufendes System erzeugt eigene Lücken. Kundinnen und Kunden lernen womöglich, welche Wörter schneller zu einer Antwort führen, und manche schicken keine Anfragen mehr, von denen sie erwarten, dass der Assistent sie missversteht.
Zwei Einwände und ein Preis
Datenteams profilieren ihre Daten bereits, und Bewertungswerkzeuge können prüfen, ob ein Modell Gruppen von Menschen unterschiedlich behandelt. Ein Einwand lautet daher, die Durchsicht bringe nichts Neues. Diese Prüfungen arbeiten mit dem, was im Datensatz steht, und mit den erfassten Merkmalen. Einen Kanal, der nie erfasst wurde, oder ein Anliegen, für das das Formular keinen Platz hatte, sehen sie nicht. Sie lohnen sich, sobald die Durchsicht gezeigt hat, was die Daten auslassen.
Ein zweiter Einwand betrifft den Datenschutz: Zu suchen, wer fehlt, klingt nach der Erhebung weiterer personenbezogener Daten. Drei der vier Lücken im Beispiel betreffen die Art, wie Anfragen erfasst und geschlossen wurden, und die Korrektur ist oft eine Prozessentscheidung, etwa ein menschlicher Weg oder eine ausdrückliche Regel. Wo eine Korrektur bedeuten würde, etwas Sensibles über Menschen zu erfassen, ist das eine eigene Entscheidung, die mit den Betroffenen und mit den für den Datenschutz Verantwortlichen zu treffen ist. Diese Fälle bei einem Menschen zu belassen bleibt eine Möglichkeit.
Die Durchsicht hat auch ihren Preis. Sie kostet Zeit der Menschen, die die Arbeit am besten kennen, und kann die erste Version kleiner machen als geplant. Dafür weiß das Team, an welcher Arbeit das System getestet wurde.
Wo Sie anfangen können
Bevor jemand etwas trainiert oder testet, fragen Sie die Menschen, die die Anfragen bearbeiten, welche Anfragen sie erreichen, ohne eine Aufzeichnung zu hinterlassen, und was sie tun, wovon das System nichts weiß. Ihre Antworten sind die ersten Lücken auf der Liste.


