Guardrails sind alle Mechanismen, die festlegen, was ein KI-Chatbot sagen darf und was nicht. Wirksam sind vor allem die Leitplanken, die außerhalb des Sprachmodells sitzen: die Bindung an freigegebene Quellen, eine Prüfung jeder Antwort vor der Ausgabe, feste Dialoge für verbindliche Abläufe und die Übergabe an einen Menschen. Regeln im Prompt helfen am Anfang eines Gesprächs und verlieren mit jeder Nachricht an Kraft. Dieser Beitrag ordnet sechs Arten von Guardrails danach, wo sie sitzen und was sie zuverlässig verhindern.
Sechs Leitplanken im Vergleich
Leitplanke | Wo sie sitzt | Was sie verhindert | Wo ihre Grenze liegt |
|---|---|---|---|
Regeln im Prompt | im Kontext des Sprachmodells | unerwünschte Themen und Tonfall, am Anfang des Gesprächs | verblassen im langen Verlauf, längere Listen verschärfen das |
Eingabefilter | vor dem Sprachmodell | eingeschleuste Anweisungen, offensichtlicher Missbrauch | erkennen nur, was sie kennen |
Quellenbindung | in der Suche | Antworten ohne Grundlage, Inhalte ohne Berechtigung | nur so gut wie die freigegebenen Quellen |
Ausgabeprüfung | nach der Generierung | Aussagen, die die Quelle nicht deckt | braucht eine Quelle, gegen die sie prüfen kann |
Feste Dialoge | anstelle der Generierung | Fehler in verbindlichen Abläufen wie Kündigung oder Reklamation | müssen redaktionell gepflegt werden |
Übergabe | am Ende der Kette | Antworten, die eine Entscheidung oder fehlendes Wissen erfordern | braucht ein Team, das übernimmt |
Warum Regeln im Prompt nicht reichen
Die naheliegende Leitplanke ist eine Anweisung an das Modell: keine Preisauskünfte, keine Aussagen zu Gesundheit, keine Rechtsberatung. Sie wirkt in den ersten Nachrichten zuverlässig. Je länger ein Gespräch wird, desto weniger Gewicht bekommen die Anweisungen am Anfang des Kontexts. Wie sich dieser Effekt messen lässt und warum längere Regellisten ihn verstärken, beschreibt der Beitrag zu Context Rot.
Prompt-Regeln haben trotzdem ihren Platz, etwa für Tonfall und Länge der Antworten. Für Grenzen, die immer gelten müssen, sind sie die schwächste Leitplanke.
Was Eingabefilter leisten
Eingabefilter prüfen eine Anfrage, bevor sie das Sprachmodell erreicht. Sie erkennen typische Muster eingeschleuster Anweisungen, etwa „Ignoriere alle bisherigen Regeln“, und offensichtlichen Missbrauch. Werkzeuge wie die Open-Source-Bibliothek Guardrails AI setzen an dieser Stelle und bei der Ausgabe an, mit Regeln und Validierungen, die sich programmieren lassen.
Ihre Grenze: Sie erkennen, was sie kennen. Eine Anweisung, die in einem Dokument versteckt ist, das der Chatbot als Quelle nutzt, erreicht das Modell an einer anderen Stelle. Deshalb braucht es zusätzlich Schutz auf der Seite der Quellen.
Die Leitplanken, die außerhalb des Modells sitzen
Quellenbindung. Der Chatbot sucht ausschließlich in Inhalten, die das Unternehmen freigegeben hat, und nur in denen, für die der Fragende berechtigt ist. Was nicht in der Quelle steht, hat keine Grundlage für eine Antwort.
Ausgabeprüfung. Nach der Generierung prüft ein eigener Schritt, ob die Antwort von der Quelle gedeckt ist. Dieser Schritt läuft bei jeder Antwort, unabhängig davon, wie lang das Gespräch schon dauert.
Feste Dialoge. Für Abläufe, die verbindlich sein müssen, formuliert das Sprachmodell gar nicht frei. Ein redaktioneller Dialog fragt die nötigen Angaben ab, prüft sie und gibt die festgelegten Antworten.
Übergabe. Fehlt das Wissen, ist eine Entscheidung nötig oder will der Kunde einen Menschen, übergibt der Chatbot mit dem bisherigen Verlauf. Welche Themen von vornherein an Menschen gehören, zeigt der Beitrag Was ein Chatbot nicht beantworten sollte.
Wie Mercury.ai die Leitplanken anordnet
In Mercury Intelligence entscheidet nicht das Sprachmodell, welche Fakten gelten. Ein Modellorchester erkennt das Anliegen und wählt den Weg: eine Wissensantwort aus freigegebenen Quellen, eine Produktauswahl mit Rückfragen oder einen redaktionellen Dialog. Wissensinhalte lassen sich nach Berechtigung filtern. Antworten werden vor der Ausgabe gegen die Quellen geprüft, Halluzinationen werden dadurch deutlich reduziert. Gegen Prompt Injection, Datenabfluss und die Manipulation der Wissensbasis gibt es eigene Schutzmechanismen, und für Themen mit kritischer Faktenlage lassen sich generative Antworten ganz abschalten. Kommt der Chatbot nicht weiter, übergibt er im Agent Desk an das Team.
Geändert wird in getrennten Umgebungen für Entwurf, Test und Betrieb, mit automatisierten Tests für zentrale Abläufe. So lässt sich eine neue Leitplanke prüfen, bevor sie live geht. Mehr zur Architektur auf der Seite zu Mercury Intelligence.
Drei Fragen an jede Leitplanke
Wo sitzt sie? Im Kontext des Modells, davor, danach oder an seiner Stelle?
Gilt sie in der zweihundertsten Nachricht so wie in der ersten?
Lässt sie sich testen, bevor sie live geht, und ist ihr Verstoß im Betrieb sichtbar?
Eine Leitplanke, die alle drei Fragen gut beantwortet, kontrolliert eine Antwort. Die übrigen helfen dabei.
Sie möchten die Leitplanken Ihres Chatbots prüfen? Sprechen Sie mit uns.
Über den Autor
Dr. Maximilian Panzner
Chief Technology Officer @Mercury.ai
Dr. Maximilian Panzner ist CTO und Mitbegründer von Mercury.ai. Er hat am CITEC-Institut der Universität Bielefeld in Informatik promoviert und dort zu multimodalem maschinellem Lernen und intelligenten Interaktionssystemen geforscht. Seit über 20 Jahren arbeitet er an Künstlicher Intelligenz, Mensch-Maschine-Interaktion und dialogorientierten KI-Plattformen für den Unternehmenseinsatz.
