KI-Chatbots halluzinieren, weil ein Sprachmodell die wahrscheinlichste Formulierung berechnet und nicht auf gesichertes Wissen zugreift. Vermeiden lässt sich das, indem die Antwort an geprüfte Quellen gebunden wird. Retrieval-Augmented Generation (RAG) erdet die Antwort in echten Daten, eine hybride Architektur trennt zusätzlich die Logik von der Formulierung, und bei fehlender Quelle übernimmt ein Mensch. So sinkt das Halluzinationsrisiko deutlich, und jede Antwort bleibt nachvollziehbar.
Auf einen Blick
Ursache: Sprachmodelle berechnen die wahrscheinlichste Formulierung, sie kennen die Fakten nicht.
RAG: erdet Antworten in echten, abgerufenen Quellen.
Hybride Architektur: trennt die Logik von der sprachlichen Ausgestaltung.
Modellorchester: Experten, Interpreten und Moderatoren prüfen Quelle und Berechtigung.
Sicherheitsnetz: Findet das System keine belegte Antwort, übergibt es an einen Menschen.
Warum KI-Chatbots überhaupt halluzinieren
Ein großes Sprachmodell ist ein Wahrscheinlichkeitsmodell für Sprache. Es sagt das nächste Wort voraus, das am besten zum Kontext passt. Diese Fähigkeit macht es stark im Formulieren und schwach im Faktischen. Fehlt eine Information, füllt das Modell die Lücke mit der plausibelsten Variante. Das Ergebnis klingt überzeugend und ist mitunter falsch.
Im Kundenservice wiegt das schwer. Eine erfundene Lieferzeit, eine falsche Vertragsklausel oder eine ungenaue Normangabe kostet Vertrauen und kann Haftung auslösen. Die Antwort auf das Halluzinationsproblem liegt deshalb in der Architektur rund um das Modell.
RAG: der erste Schritt
Retrieval-Augmented Generation bindet das Sprachmodell an eine Wissensquelle an. Vor der Antwort ruft das System passende Inhalte aus einer Datenbank oder Dokumentensammlung ab und gibt sie dem Modell als Kontext mit. Die Antwort entsteht dann auf Basis dieser abgerufenen Fakten.
RAG ist ein großer Fortschritt, hat aber Grenzen. Werden die falschen Passagen abgerufen oder ist die Wissensbasis unstrukturiert, entstehen weiterhin Fehler. Warum Standard-RAG im Service oft zu kurz greift, vertieft der Beitrag Kundenservice durch Tiefe.
Hybride Architektur: Logik und Formulierung trennen
Eine hybride Architektur geht einen Schritt weiter. Sie trennt zwei Aufgaben, die ein reines Sprachmodell vermischt: die Frage, was richtig ist, und die Frage, wie es formuliert wird. Die Fakten und Regeln stammen aus geprüften, abgegrenzten Quellen. Die generative KI übernimmt nur die sprachliche Ausgestaltung. So bleibt die Kontrolle über den Inhalt bei der geprüften Wissensbasis, während die Antwort natürlich klingt.
Der Unterschied zwischen einem reinen Sprachmodell-Agenten und diesem Ansatz ist grundlegend. Mehr dazu im Beitrag KI-Agenten und Hybrid-Architektur.
Das Modellorchester: Experten, Interpreten, Moderatoren
Mercury.ai setzt diese Idee mit einem orchestrierten Zusammenspiel mehrerer Modelltypen um, dem Modellorchester:
Experten rufen das passende Wissen aus den freigegebenen Quellen ab.
Interpreten verstehen die Anfrage und ihre Absicht.
Moderatoren steuern den Ablauf, prüfen Berechtigung und Quelle und entscheiden, ob eine Antwort belegt ist.
Diese Rollen arbeiten zusammen und prüfen die Antwort gemeinsam. Auf dieselbe Frage folgt dieselbe korrekte Antwort, weil die Logik nachvollziehbar bleibt. Wie das im Detail funktioniert, zeigt Mercury Intelligence.
Quellenbindung und kontrollierte Übergabe
Der wirksamste Schutz gegen Halluzinationen ist die Quellenbindung. Antworten entstehen ausschließlich aus dem kuratierten Unternehmenswissen, etwa aus Produktdaten, Verträgen und Prozessen im Knowledge Hub. Offenes Weltwissen bleibt außen vor, und jede Aussage ist bis zur Quelle, Dokumentversion und Regel rückverfolgbar.
Genauso wichtig ist das Verhalten an der Grenze des Wissens. Findet das System keine belegte Antwort, rät es nicht. Es übergibt den Fall kontrolliert an einen Menschen, mit voller Gesprächshistorie. Dieses Sicherheitsnetz verhindert, dass aus einer Wissenslücke eine erfundene Auskunft wird.
Warum das auch ein Compliance-Thema ist
Verlässliche Antworten sind kein reines Komfortmerkmal. Falsche Auskünfte können Informationspflichten verletzen, und der EU AI Act verlangt Nachvollziehbarkeit und wirksame menschliche Aufsicht. Eine Architektur, die Antworten an Quellen bindet und bei Unsicherheit übergibt, zahlt direkt auf diese Anforderungen ein. Wie Datenschutz und EU-KI-Verordnung zusammenwirken, lesen Sie im Beitrag zum DSGVO- und EU-AI-Act-konformen KI-Chatbot.
Häufige Fragen (FAQ)
Was bedeutet Halluzination bei einem KI-Chatbot?
Eine Halluzination ist eine Antwort, die plausibel klingt, aber sachlich falsch ist. Sie entsteht, wenn ein Sprachmodell eine Wissenslücke mit der wahrscheinlichsten Formulierung füllt, ohne auf eine geprüfte Quelle zuzugreifen.
Reicht RAG, um Halluzinationen zu vermeiden?
RAG senkt das Risiko deutlich, weil Antworten in echten Quellen geerdet werden. Bei unstrukturierter Wissensbasis oder falsch abgerufenen Passagen bleiben jedoch Fehler möglich. Eine hybride Architektur mit Quellenprüfung und menschlicher Übergabe geht weiter.
Kann man Halluzinationen vollständig ausschließen?
Ein Restrisiko bleibt bei jeder generativen KI. Durch Quellenbindung, geprüfte Wissensbasis und kontrollierte Übergabe an den Menschen lässt sich das Risiko jedoch deutlich reduzieren und jede Antwort nachvollziehbar machen.
Was ist der Unterschied zwischen RAG und einer hybriden Architektur?
RAG liefert dem Sprachmodell abgerufene Fakten als Kontext. Eine hybride Architektur trennt zusätzlich die inhaltliche Logik von der Formulierung, sodass die Kontrolle über den Inhalt bei der geprüften Wissensbasis bleibt.
Fazit
Halluzinationen lassen sich durch die richtige Architektur beherrschen. Wer Antworten an geprüfte Quellen bindet, Logik von Formulierung trennt und bei Unsicherheit an einen Menschen übergibt, macht aus einem kreativen Sprachmodell einen verlässlichen Gesprächspartner. Genau das ist der Kern eines belastbaren KI-Chatbots.
Sie möchten sehen, wie verlässliche Antworten in Ihrem Unternehmen aussehen? Sprechen Sie mit uns oder entdecken Sie Mercury Intelligence.
Über den Autor: Dr. Maximilian Panzner ist CTO und Mitbegründer von Mercury.ai. Er hat am CITEC-Institut der Universität Bielefeld in Informatik promoviert und dort zu multimodalem maschinellem Lernen und intelligenten Interaktionssystemen geforscht. Seit über 20 Jahren arbeitet er an Künstlicher Intelligenz, Mensch-Maschine-Interaktion und dialogorientierten KI-Plattformen für den Unternehmenseinsatz.
