Kurz gesagt: Ob ein KI-System gut genug ist, lässt sich nicht im Gespräch klären und auch nicht in einer Demo. Sie brauchen drei Dinge: echte Fälle mit der richtigen Antwort, eine Zahl, die Sie messen, und eine Schwelle, die vorher feststeht. Mehr nicht.
„Sieht gut aus“ ist keine Messung
Die meisten KI-Projekte, die ich sehe, werden so abgenommen: Jemand probiert zehn Beispiele aus, die Antworten wirken vernünftig, das System geht live. Drei Wochen später kommen die ersten Beschwerden, und niemand kann sagen, ob es ein Ausreißer ist oder ein Muster.
Das Problem ist nicht, dass die KI schlecht ist. Das Problem ist, dass niemand vorher festgelegt hat, was gut bedeutet. Gefühl ist keine Metrik.
In dem Vertriebstool, das ich gerade mit einem Partner baue, haben wir deshalb die Bewertung ganz bewusst einfach gehalten. Kein Framework, kein Dashboard, kein zweites Modell. Goldstandard, Metrik, Schwelle.
Baustein 1: Der Goldstandard
Ein Goldstandard ist eine Sammlung echter Fälle, bei denen ein Mensch aufgeschrieben hat, was das richtige Ergebnis wäre.
Bei uns sind das rund hundert Firmen, sortiert nach den Fällen, die in der Praxis Ärger machen: ganz normale Betriebe, Sammelseiten, die sich als Firma ausgeben, Filialen einer Kette, Dubletten und echte Grenzfälle. Jeder Fall wird von einem Menschen beschriftet. Das dauert pro Fall ein paar Minuten.
Zwei Regeln haben sich dabei bewährt.
Beschriften Sie, was richtig wäre, nicht was das System tut. Wer das System nebenher offen hat, übernimmt unbewusst dessen Antwort. Dann misst man am Ende, ob das System mit sich selbst übereinstimmt.
Stellen Sie eine Leitfrage aus dem Alltag. Bei uns lautet sie: Wenn dieser Lead morgen früh im Anrufmodus auftaucht, ist das richtig? Diese Frage kann jeder Vertriebler beantworten, ohne zu wissen, wie das System intern arbeitet.
Wichtig: Echte Fälle, keine ausgedachten. Ausgedachte Fälle sind immer sauberer als die Wirklichkeit. Wenn Ihr Unternehmen Kundenanfragen automatisieren will, nehmen Sie 20 bis 50 echte Anfragen aus dem letzten Monat, auch die komischen.
Baustein 2: Die Metrik
Die Metrik ist die Zahl, die Sie am Ende vergleichen. Sie sollte so einfach sein, dass ein Geschäftsführer sie ohne Erklärung versteht.
Bei uns sind es zum Beispiel diese:
- Wie viele Sammelseiten erkennt das System als Sammelseite?
- Wie viele gute Firmen sortiert es fälschlich aus?
- Bei wie vielen Firmen findet es die Telefonnummer, und wie oft ist eine gefundene Nummer falsch?
Die letzte Unterscheidung ist wichtiger, als sie klingt. Ein leeres Feld und ein falsches Feld sind zwei verschiedene Fehler. Ein leeres Feld heißt: Hier fehlt eine Quelle. Ein falsches Feld sieht aus wie ein gefundenes. Eine falsche Telefonnummer ist teurer als gar keine, weil jemand sie anruft.
Deshalb zählen wir beide getrennt. Wer sie in einer Zahl zusammenfasst, versteckt den gefährlicheren Fehler im harmloseren.
Baustein 3: Die Schwelle, und was passiert, wenn sie reißt
Die Schwelle legen Sie fest, bevor Sie messen. Nicht danach. Wer die Schwelle nach dem Ergebnis setzt, setzt sie immer so, dass es passt.
Bei uns heißt das: Sammelseiten und Dubletten müssen vollständig erkannt werden. Kein guter Lead darf fälschlich aussortiert werden. Eine gefundene Telefonnummer darf nie falsch sein. Das sind harte Schwellen, weil diese Fehler unsichtbar Schaden anrichten.
Mindestens genauso wichtig ist, was passiert, wenn eine Schwelle nicht hält. Das muss ebenfalls vorher feststehen.
Ein Beispiel: Wir haben einen KI-Prüfer, der Impressumstexte liest und beurteilt. Wenn er in mehr als 40 % der Fälle mit „unklar“ antwortet, wird er abgeschaltet. Dann trägt er nichts bei, sondern kostet nur. Diese Entscheidung ist gefallen, bevor wir wussten, wie gut er ist. Das macht sie ehrlich.
Warum wir keine KI zur Bewertung der KI nutzen
Eine verbreitete Idee ist, eine zweite KI die Antworten der ersten bewerten zu lassen. Das spart scheinbar die Handarbeit.
Ich halte das in den meisten Fällen für einen Umweg. Eine bewertende KI braucht selbst eine Grundwahrheit, sonst misst sie nur, ob zwei Modelle derselben Meinung sind. Und sobald diese Grundwahrheit existiert, brauchen Sie die zweite KI nicht mehr. Dann vergleichen Sie direkt.
Was wir stattdessen gegen erfundene Antworten tun, ist schlichter: Unser KI-Prüfer muss seine Begründung wörtlich aus dem Text zitieren, den er bekommen hat. Steht das Zitat nicht im Text, zählt sein Urteil als „unklar“. Eine Regel prüft die KI, nicht eine zweite KI.
Getrennt messen, was KI macht und was Regeln machen
Ein letzter Punkt, der in Projekten oft untergeht. Wenn ein System aus Regeln und KI besteht, messen Sie beide getrennt. Wie viele Telefonnummern findet die einfache Regel, und wie viele kommen zusätzlich durch die KI?
Nur so sehen Sie, ob die KI etwas beiträgt oder nur kostet. Es ist nicht selten, dass die Regel den Großteil der Arbeit macht und die KI den Rest teuer und unzuverlässig erledigt. Dann ist die richtige Entscheidung manchmal, sie wegzulassen.
Der Aufwand ist kleiner, als Sie denken
Für den gesamten Goldstandard und die Messung haben wir rund anderthalb Personentage veranschlagt. Das ist wenig im Vergleich zu den Wochen, die ein System ohne Messung später kostet: Beschwerden sammeln, Ausreißer diskutieren, nachbessern ohne zu wissen, ob es besser wird.
Und der Goldstandard bleibt. Jede Änderung am System, jedes neue Modell, jeder neue Prompt wird gegen dieselben Fälle gemessen. Jeder Fehler, der im Betrieb auffällt, wird ein neuer Fall. So wächst die Sammlung mit dem System mit.
Was das für Sie heißt
Bevor ein KI-System in Ihrem Unternehmen live geht, sollten Sie diese Fragen beantworten können:
- Gibt es eine Sammlung echter Fälle mit der richtigen Antwort? 20 bis 50 reichen für den Anfang.
- Welche Zahl entscheidet, ob es gut genug ist? Eine, höchstens drei.
- Wo liegt die Schwelle, und wurde sie vor dem Test festgelegt?
- Was passiert, wenn die Schwelle reißt? Abschalten, nachbessern oder Mensch prüft alles?
- Werden leere und falsche Ergebnisse getrennt gezählt?
Wenn diese Fragen beantwortet sind, ist die Entscheidung über den Betrieb keine Glaubensfrage mehr.
Im Erstgespräch schauen wir uns gerne an, wie Sie die Qualität Ihres KI-Vorhabens messen können, bevor es live geht.
