LLM-Halluzinationen im Produktivbetrieb verhindern

TL;DR

Halluzinationen verschwinden nicht durch bessere Prompts — ihr baut fünf Schichten um das Modell: Grounding per RAG (Antworten nur aus abgerufenen Quellen), erzwungene Schemas mit „nicht gefunden" als vollwertiger Antwort, prüfbare Quellenangaben, ein Eval-Set mit gemessener Genauigkeit vor dem Launch und Confidence-Routing an einen Menschen. Das Ziel: eine bekannte Fehlerrate mit sauberem Fallback, nicht null Fehler.

Ein KI-Feature, das selbstbewusst Fakten erfindet, ist schlimmer als gar kein KI-Feature. Hier ist die Architektur, mit der wir Halluzinationen aus produktiven Antworten heraushalten.

Warum lassen sich Halluzinationen nicht wegprompten?

Weil Halluzination kein Ungehorsam ist, sondern die Funktionsweise dieser Modelle. Sie erzeugen die plausibelste Fortsetzung — und wo Trainingsdaten oder Kontext enden, ersetzt „plausibel" leise „wahr". Ein „Erfinde niemals Fakten" im System-Prompt ändert nichts Messbares. Zuverlässigkeit muss aus dem System um das Modell herum kommen, nicht aus höflichem Bitten.

Die fünf Schichten und was sie abfangen

Schicht	Was sie abfängt	Aufwand
Grounding (RAG)	Frei erfundene Antworten	Tage–Wochen
Erzwungene Ausgabeformate	Freitext-Drift, ungültige Werte	Stunden–Tage
Prüfbare Quellenangaben	Plausible, aber falsche Aussagen	Tage
Eval-Set	Unbekannte Genauigkeit, stille Regressionen	Tage, dann laufend
Confidence-Routing	Das Restrisiko	Tage

Grounding heißt: Das Modell antwortet ausschließlich aus Dokumenten, die ihr abgerufen habt — und „in den Quellen nicht gefunden" ist eine vollwertige Antwort, kein Fehlerfall. Die meisten Halluzinationen in unseren Audits entstehen, weil das Modell auf sein eigenes Gedächtnis zurückfällt, sobald das Retrieval leer ausgeht.

Erzwungene Ausgabeformate eliminieren ganze Fehlerklassen. Wenn ein Feld nur fünf Status kennen darf, erzwingt ein Enum — das Modell kann physisch keinen sechsten erfinden. Schemas, erlaubte Werte und ein explizites „unbekannt" fangen Drift ab, bevor eure Nutzer es tun.

Quellenangaben verlagern die Prüfung zum Leser. Jede Aussage verlinkt auf die Textstelle, aus der sie stammt. Nutzer verzeihen eine falsche Antwort, die sie prüfen konnten — keine, die als unbelegbare Wahrheit auftritt.

Woher kennt ihr eure Genauigkeit vor dem Launch?

Ihr baut ein Eval-Set: 100–300 echte Fragen mit verifizierten Antworten, gegen die Pipeline gemessen, bevor irgendetwas live geht. Diese Zahl — 87 %, 92 %, 96 % — wird eure Baseline, und jede Prompt-Änderung, jeder Retrieval-Umbau, jeder Modellwechsel läuft als Regressionstest dagegen. Wer seine Genauigkeitszahl nicht nennen kann, hat eine Demo, kein Feature.

Das ehrliche Ziel: eine bekannte Fehlerrate

Null Halluzinationen ist keine erreichbare Spezifikation — wer sie verspricht, verkauft euch die Demo. Erreichbar ist: eine gemessene Fehlerrate, Quellen an jeder Antwort und ein sauberer Pfad bei niedriger Konfidenz — die Antwort geht dann an einen Menschen statt an den Nutzer. Ein Feature mit 92 % gemessener Genauigkeit und sichtbaren Quellen schlägt eines mit unbekannter Genauigkeit jedes Mal.

Genau diese Leitplanken bauen wir im Rahmen unserer AI & LLM Integration — und wenn ihr gerade entscheidet, wie ihr euer Modell erdet, startet mit RAG vs. Fine-Tuning.