Kurz gesagt: In vielen Unternehmen läuft die KI längst. Sie schreibt Antworten, fasst Dokumente zusammen, sortiert Anfragen. Und trotzdem liest jemand jede einzelne Antwort gegen, bevor sie verwendet wird. Die Einsparung, mit der das Projekt begründet wurde, ist nie eingetreten. Nicht weil die Antworten schlecht sind, sondern weil niemand belegen kann, dass sie gut genug sind.
Das Projekt läuft, die Einsparung nicht
Das Muster ist so häufig, dass ich es inzwischen in fast jedem Erstgespräch abfrage. Ein KI-Werkzeug wurde eingeführt. Es funktioniert. Die Mitarbeitenden finden es hilfreich. Aber eine Person, oft die erfahrenste im Team, prüft jede Ausgabe, bevor sie rausgeht.
Am Anfang war das als Übergang gedacht. „Bis wir sicher sind.“ Nur hat niemand festgelegt, woran man sicher ist. Also bleibt die Prüfung. Monat für Monat.
Rechnen Sie das einmal durch. Wenn die KI eine Antwort in Sekunden schreibt, ein Mensch sie aber drei Minuten lang prüft, haben Sie das Schreiben gespart und das Prüfen behalten. Bei einfachen Antworten ist Prüfen fast so teuer wie Selbstschreiben. Die Rechnung geht dann nicht auf.
Das Problem heißt Nachweis
Als ich vor einigen Wochen meine Notizen zu Gesprächen mit Unternehmen und Ausschreibungen sortiert habe, fiel mir ein Muster auf, das sich durch fast alles zieht. Es geht selten um die Frage, ob KI etwas kann. Es geht um die Frage, wie man belegt, dass sie es kann.
- Die Datenschutzbeauftragte will einen Nachweis, bevor sie freigibt
- Der Kunde will einen Nachweis, bevor er einer automatischen Antwort traut
- Die Geschäftsführung will einen Nachweis, bevor sie die Prüfschleife abschafft
- Nach einem Systemwechsel will jemand den Nachweis, dass das neue System dasselbe liefert wie das alte
Ohne diesen Nachweis bleibt jede KI ein Assistent mit Aufpasser. Und ein Assistent mit Aufpasser spart wenig.
Dazu passt ein Befund, der 2025 viel zitiert wurde: Laut einer Untersuchung des MIT-Projekts NANDA („The GenAI Divide“) sollen rund 95 Prozent der untersuchten KI-Piloten keinen messbaren Effekt auf das Geschäftsergebnis gehabt haben. Die Methodik dieser Studie ist umstritten, ich würde die Zahl nicht als Naturgesetz lesen. Aber die Richtung deckt sich mit dem, was ich sehe: Piloten scheitern selten an der Technik. Sie scheitern daran, dass niemand misst.
Gefühl ist keine Metrik
Noch ein Hinweis, warum „fühlt sich schneller an“ nicht reicht. In einer Studie der Organisation METR aus dem Juli 2025 haben 16 erfahrene Softwareentwickler 246 echte Aufgaben bearbeitet, teils mit KI, teils ohne. Mit KI waren sie im Schnitt 19 Prozent langsamer. Gleichzeitig schätzten sie selbst, sie seien rund 20 Prozent schneller gewesen.
Das ist eine Studie aus der Softwareentwicklung, nicht aus dem Kundenservice. Sie zeigt aber gut, wie weit Gefühl und Messung auseinanderliegen können. Selbstauskunft ist als Erfolgsnachweis unbrauchbar. Das gilt für Entwickler genauso wie für Ihr Team.
Und es gilt in beide Richtungen. Manche Teams unterschätzen, wie gut die KI schon ist, und prüfen aus Gewohnheit weiter. Auch das sieht man nur, wenn man misst.
Wie ein Nachweis aussieht
Ein Nachweis muss nicht kompliziert sein. Er braucht 20 bis 50 echte Fälle aus Ihrem Alltag, für jeden Fall die richtige Antwort, aufgeschrieben von jemandem aus dem Team, und eine Schwelle, die vorher feststeht. Zum Beispiel: Wenn die KI bei mindestens 45 von 50 Fällen eine Antwort liefert, die ohne Änderung verwendet werden kann, fällt die Pflichtprüfung für diese Art von Anfrage weg. Bei einer Terminbestätigung darf die Schwelle niedriger liegen als bei einer Vertragsauskunft.
Wie Sie Goldstandard, Metrik und Schwelle im Detail aufsetzen, steht in Woran Sie erkennen, ob Ihre KI gut genug ist. Hier geht es um die Folge: Damit wird aus „Wir sind noch nicht sicher“ eine Frage, die man beantworten kann.
Jeder Fehler wird ein Testfall
Das Testset ist kein einmaliges Dokument. Es wächst.
Jedes Mal, wenn die KI im Alltag danebenliegt, wird dieser Fall aufgeschrieben und ins Testset übernommen. Ich nenne das das Fehlerprotokoll, und es ist das wichtigste Werkstück, das in einem KI-Projekt entsteht. Wichtiger als jeder Prompt.
Der Grund: Wenn Sie später das Modell wechseln, die Anweisungen ändern oder neue Daten anbinden, lassen Sie das Testset einmal durchlaufen. Dann sehen Sie sofort, ob alte Fehler zurückkommen. Ohne Testset merken Sie es erst, wenn sich ein Kunde beschwert.
Dazu gehört, dass vom ersten Tag an mitgeschrieben wird, was die KI bekommen und was sie geantwortet hat. Ohne diese Aufzeichnung ist jede Fehlersuche Raten.
Was passiert, wenn man es ohne Nachweis macht
Das bekannteste Beispiel dafür ist Klarna. 2024 verkündete das Unternehmen, sein KI-Assistent leiste die Arbeit von rund 700 Mitarbeitenden im Kundenservice. 2025 ruderte Klarna teilweise zurück und setzte wieder stärker auf menschlichen Support, weil die Qualität nicht stimmte.
Ich kenne die internen Zahlen von Klarna nicht. Aber das Muster ist lehrreich: Erst wurde die Prüfschleife abgeschafft, dann zeigte sich die Qualität. Die richtige Reihenfolge wäre umgekehrt gewesen.
Adoption in Woche vier
Ein letzter Indikator, der mehr verrät als jede Statistik: Wird das System in der vierten Woche noch benutzt?
In Woche eins probiert jeder alles aus. In Woche vier zeigt sich, ob das Werkzeug wirklich Arbeit abnimmt. Wenn die Nutzung bis dahin eingebrochen ist, hat das einen Grund. Meistens ist es genau dieser: Die Leute vertrauen den Antworten nicht und prüfen alles selbst. Dann ist es schneller, gleich selbst zu schreiben.
Diese Zahl ist der ehrlichste Frühindikator, den ich kenne. Schauen Sie hin, bevor Sie das nächste Werkzeug kaufen.
Im Kundensupport von Online-Shops lässt sich das besonders einfach messen. In der Testwoche bewerten zwei bis drei Agents jeden KI-Entwurf direkt im Ticket mit Daumen hoch oder runter. Nach einer Woche steht eine Zahl statt eines Gefühls, und die Schwelle dafür liegt vorher fest. Wie das abläuft, steht auf der Seite Support-Wissen für Online-Shops.
Was das für Sie heißt
Wenn bei Ihnen schon KI im Einsatz ist, stellen Sie diese Fragen:
- Wer liest heute die Antworten gegen, und was war der ursprüngliche Plan, wann das aufhört?
- Gibt es eine Sammlung echter Fälle mit der jeweils richtigen Antwort?
- Ist festgelegt, ab welcher Trefferquote die Prüfung entfällt?
- Wird jeder Fehler aufgeschrieben und beim nächsten Test wiederverwendet?
- Wie viele Leute nutzen das Werkzeug heute noch, verglichen mit der ersten Woche?
Wenn die erste Frage mit einem Namen beantwortet wird und die zweite mit nein, liegt Ihr größter Hebel nicht in einer neuen KI. Er liegt im Nachweis für die bestehende.
Wenn Sie das für einen Ihrer Abläufe aufsetzen möchten, buchen Sie ein Erstgespräch. Wir schauen gemeinsam, wo bei Ihnen gerade jemand prüft, der es nicht mehr müsste.
