AIBevor Sie einem KI-Piloten vertrauen: Wie viel Zeit hatte die Fachperson?
Perspektive entdeckenEin Pilotergebnis ist nur so gut wie die Prüfung dahinter, und die Menschen, die prüfen können, sind wenige und werden oft von mehreren Projekten zugleich gebraucht. Wir schlagen vor, ihre Zeit vor der Finanzierung zu budgetieren und die Vorhaben Person für Person zu vergleichen. Jedes Pilotergebnis kommt dann zusammen mit der Prüfzeit, die die Fachperson tatsächlich hatte.
In diesem Artikel +
Stellen Sie sich die Geschäftsleitung eines mittelgroßen Industrieunternehmens vor. Drei KI-Vorhaben liegen auf dem Tisch. Der Vertrieb möchte einen Assistenten, der Angebote für konfigurierte Maschinen entwirft. Der Service möchte einen Assistenten, der Fragen der Technikerinnen und Techniker aus Handbüchern und früheren Reparaturberichten beantwortet. Die Kundenbetreuung möchte einen Assistenten, der Antworten auf Reklamationen entwirft und eine Abhilfe vorschlägt. Zu jedem Vorhaben gibt es einen Sponsor und die Aufwandsschätzung eines Dienstleisters. Zusammen passen sie in das Jahresbudget, und das Gremium genehmigt alle.
Keines der Vorhaben erwähnt Elena. Sie ist die erfahrene Anwendungsingenieurin, die seit Jahren entscheidet, welche Konfigurationen funktionieren und welche Reparaturen sich lohnen. Der Angebotsassistent braucht sie, um festzulegen, wie ein korrektes Angebot aussieht. Der Serviceassistent braucht sie, um zu sagen, welchen alten Reparaturberichten man trauen kann. Der Reklamationsassistent braucht sie, um zu entscheiden, welche Abhilfen er vorschlagen darf. Ihre eigentliche Arbeit hat sie außerdem noch.
Im zweiten Monat startet der Pilot des Angebotsassistenten, ein begrenzter Versuch mit echten Anfragen. Elena prüft seine Angebote abends und beantwortet die Testfragen des Serviceteams zwischen Kundengesprächen. Die Arbeit an den Reklamationen wartet. Ihre Prüfungen werden kürzer. Nach einigen Wochen erfährt das Gremium, dass der Angebotspilot gut gelaufen ist, und nimmt den Assistenten in den täglichen Betrieb. Im dritten Monat kommen dessen Ausnahmen zu ihr zurück, gerade als der Servicepilot geprüft werden muss, und die Reklamationen warten immer noch.
Unsere Sicht: Ein Pilotergebnis ist nur so gut wie die Prüfung dahinter, und die Menschen, die diese Prüfung leisten können, sind wenige. Mehrere Vorhaben können dieselbe Person zur selben Zeit brauchen, und ein Budget zeigt nur Geld. Wir schlagen vor, dass jedes KI-Vorhaben ein Budget für Expertenzeit enthält: die namentlich genannten Personen, deren Urteil es braucht, und die Tage pro Monat, die es von ihnen verlangt, auch nachdem das System im täglichen Betrieb ist.
Das Gremium vergleicht die Vorhaben Person für Person, bevor es sie finanziert. Während jedes Piloten meldet die Fachperson neben den Ergebnissen die Prüfzeit, die sie tatsächlich hatte.
Wohin die Zeit der Fachperson fließt
Im Beispiel deckt die Schätzung jedes Dienstleisters dessen eigene Arbeit ab, und Elenas Stunden tauchen nirgends auf. Ihre Zeit fließt in vier Phasen jedes Projekts.
Die Regeln festlegen. Bevor etwas gebaut wird, muss jemand sagen, wie eine korrekte Antwort aussieht, welche Quellen das System nutzen darf und welche Fälle einen Menschen brauchen. In diesem Unternehmen kann das niemand so verlässlich wie Elena, und es gut zu sagen braucht mehrere Gespräche, weil sie vieles von dem, was sie weiß, nie aufschreiben musste.
Testfälle aufbauen. Das sind echte Beispiele mit der vereinbarten richtigen Antwort, einschließlich der Fälle, die früher schiefgegangen sind. Elena wählt sie aus und prüft die Antworten.
Den Piloten prüfen. Jemand muss lesen, was der Assistent erzeugt hat, und sagen, wo es falsch ist. Diese Phase kommt, wenn das Projekt schon läuft und alle erwarten, dass sie schnell geht. Deshalb wird hier am leichtesten gekürzt.
Mit dem System leben. Ist der Assistent im täglichen Betrieb, kommen die Ausnahmen zu der Person zurück, die die Regeln kennt, ebenso die Anpassungen, wenn sich das Geschäft ändert. Im Plan ist das Projekt da bereits abgeschlossen.
Was eine verkürzte Prüfung bewirkt
Reicht die Zeit nicht, wird die Prüfung kürzer. Elena liest die ersten Angebote sorgfältig und überfliegt die übrigen; sie gibt frei, was plausibel aussieht. Im Pilotbericht steht, dass ein Mensch jedes Angebot geprüft hat. Die Fehler, für die ihr die Zeit fehlte, erreichen die Kundschaft später, wenn sie mehr kosten und sich schwerer zurückverfolgen lassen.
Es ist ihr gegenüber auch unfair. Die Projekte sollten ihre Arbeit erleichtern. Sie haben ihr eine zweite Aufgabe gebracht, und wenn später ein Problem auftaucht, ist ihre Freigabe dokumentiert.
Das Budget für Expertenzeit
Für jedes Vorhaben nennt das Budget die Personen, deren Urteil der Assistent braucht, und schätzt ihre Tage pro Monat in jeder der vier Phasen. Eine grobe Schätzung genügt, um den Bedarf sichtbar zu machen. Sie wird gemeinsam mit diesen Personen erstellt, denn sie können am besten sagen, wie lange das Festlegen der Regeln dauert. Verantwortlich ist der Sponsor, der das Budget zusammen mit dem Vorhaben ins Gremium bringt.
Das Gremium legt die Vorhaben dann nebeneinander, Person für Person und Monat für Monat. Wo von jemandem mehr Tage verlangt werden, als vorhanden sind, muss es wählen: die Projekte nacheinander durchführen, eine zweite Person darauf vorbereiten, einen Teil der Arbeit zu übernehmen, oder etwas aus der bisherigen Arbeit dieser Person herausnehmen und sagen, wer es übernimmt. Jede Option hat Kosten, die das Gremium sehen kann. Der Vergleich zeigt auch die anderen in den Budgets genannten Personen, sodass sichtbar wird, wer einen Teil übernehmen könnte.
Im Beispiel könnte das Gremium mit dem Reklamationsassistenten beginnen, weil eine falsche Abhilfe den größten Schaden anrichtet und seine Prüfung Elenas volle Aufmerksamkeit verdient. Oder es beginnt mit dem Angebotsassistenten und überträgt die Testfragen und die Pilotprüfung des Serviceassistenten einer zweiten Fachkraft aus dem Engineering, deren Arbeit Elena stichprobenartig prüft.
Prüfzeit als Teil des Ergebnisses
Das Budget legt außerdem für jeden Piloten eine Mindestprüfzeit fest, die Sponsor und Fachperson vor dem Start vereinbaren. Während des Piloten notiert die Fachperson jede Woche, wie viel Zeit sie tatsächlich für die Prüfung hatte. Sie schreibt das selbst, in wenigen Zeilen. Die Pilotergebnisse gehen mit dieser Notiz ans Gremium, gemessen an den zu Beginn vereinbarten Erfolgskriterien.
Fällt die Prüfzeit unter das Minimum, läuft der Pilot nur mit Ergebnissen weiter, die jemand geprüft hat, bevor sie hinausgehen, oder er pausiert. Niemand nennt ihn einen Erfolg oder verlängert ihn, bevor die Fachperson die vereinbarte Mindestzeit für die Prüfung hatte. Diese Entscheidung trifft das Gremium auf Grundlage der Notiz.
Einwände und Grenzen
Der erste Einwand lautet, das sei gewöhnliche Ressourcenplanung. Selbst wenn ein Ressourcenplan Personen nennt, wird die Zeit für die Beurteilung von KI-Ergebnissen leicht übersehen. Sie erreicht ihren Höhepunkt bei der Pilotprüfung, die der Plan als kurz ansetzt, und sie läuft weiter, wenn das System im täglichen Betrieb ist und das Projekt den Plan verlassen hat.
Der zweite Einwand lautet, KI solle den Fachleuten doch Zeit sparen. Arbeitet ein Assistent einmal gut, kann das so sein. Bis dahin kostet er zunächst ihre Zeit, und das Unternehmen sollte diese Phase planen, statt sie erst zu entdecken.
Am wichtigsten ist das Budget dort, wo das Ergebnis vom Urteil eines Menschen abhängt. Lässt sich das Ergebnis eines Assistenten automatisch prüfen, etwa gegen einen Auftrag, der bereits in den Systemen des Unternehmens erfasst ist, fällt die Prüfzeit der Fachperson weniger ins Gewicht. Der Preis des Ansatzes: Weniger Projekte laufen parallel, und manche beginnen später.
Wo Sie anfangen können
Nehmen Sie die KI-Vorhaben, die gerade auf Genehmigung warten, und notieren Sie zu jedem die Namen der Personen, die sagen müssen, was eine richtige Antwort ist. Taucht derselbe Name mehr als einmal auf, sprechen Sie mit dieser Person, bevor das Gremium tagt.


