Kurz gesagt: Generative KI wird riskant, sobald sie auf Unternehmenswissen zugreift. Fünf Risiken treten dabei regelmäßig auf: verlorene Zugriffsrechte, Prompt Injection, widersprüchliche Quellen, Antworten ohne Herkunft und Daten, die den eigenen Kontrollbereich verlassen. Abfangen lassen sie sich mit Governance an zwei Stellen. In die Architektur gehören Rechteprüfung vor der Generierung, ein Beleg für jede Aussage und eine Prüfung vor jeder Ausgabe. In die Organisation gehören Quellenverantwortung, Schulung und dokumentierte Datenflüsse.
Warum das Risiko mit der Anbindung entsteht
Ein Sprachmodell ohne Zugriff auf Ihre Systeme kennt nichts Vertrauliches und kann entsprechend nichts davon preisgeben. Das ändert sich mit dem ersten Connector. Sobald SharePoint, Confluence, das CRM oder das Dokumentenmanagement angebunden sind, kann jede Antwort auf diese Inhalte zurückgreifen.
Genau deshalb wird angebunden. Erst mit Firmenwissen beantwortet ein Chatbot Fragen zu Produkten, Verträgen und Prozessen. Mit derselben Anbindung entstehen die Risiken, um die es in diesem Beitrag geht. Die OWASP-Liste der zehn wichtigsten Risiken für LLM-Anwendungen führt in ihrer Fassung 2025 die Offenlegung sensibler Informationen auf Platz zwei und hat Schwächen in Vektor- und Embedding-Speichern als eigenen Eintrag neu aufgenommen. Beides betrifft direkt Systeme, die Unternehmenswissen abrufen.
Fünf Risiken
1. Zugriffsrechte gehen im Index verloren
In SharePoint darf die Vertriebsassistenz die Gehaltsrichtlinie nicht öffnen. Im Suchindex eines einfachen RAG-Systems liegt dieselbe Richtlinie als Textabschnitt neben dem Produktkatalog. Werden die Berechtigungen beim Indexieren nicht mitgenommen und bei jeder Anfrage geprüft, entscheidet die semantische Ähnlichkeit darüber, was in eine Antwort gelangt. Warum klassisches RAG an dieser Stelle strukturell bricht, beschreibt unser Beitrag zu den Grenzen von Standard-RAG im Service.
2. Prompt Injection über Eingaben und Dokumente
Nutzer können versuchen, ein Modell mit geschickt formulierten Eingaben aus seinen Vorgaben zu lösen. Öffentlich dokumentiert ist der Fall eines Chevrolet-Autohauses in Watsonville, Kalifornien, dessen Chatbot sich im Dezember 2023 dazu bringen ließ, einem Nutzer ein Neufahrzeug für einen Dollar als „rechtlich bindendes Angebot“ zuzusagen. Bei angebundenem Wissen kommt ein zweiter Weg hinzu: Anweisungen, die in einem Dokument stehen und beim Abruf mitgelesen werden. OWASP führt Prompt Injection auf Platz eins.
3. Widersprüchliche und veraltete Quellen
Unternehmenswissen ist selten konsistent. Dasselbe Datenblatt liegt in drei Fassungen auf zwei Laufwerken, eine Preisliste ist abgelaufen und trotzdem noch abrufbar. Ein Leiter Service hat das im Erstgespräch so beschrieben: „Ich weiß nicht, wo welche Information liegt und wo sie sich widerspricht.“ Ein Modell, das aus allen Quellen zieht, übernimmt diese Widersprüche und formuliert sie überzeugend.
4. Antworten ohne Herkunft
Nennt eine Antwort keinen Beleg, lässt sich im Nachhinein nicht klären, ob sie aus einem freigegebenen Dokument stammt oder vom Modell ergänzt wurde. Das ist ein Haftungsthema. Das Oberlandesgericht Hamm hat im Mai 2026 entschieden, dass ein Unternehmen für die falschen Aussagen seines KI-Chatbots haftet. Das Urteil ist noch nicht rechtskräftig. Wer im Streitfall belegen kann, worauf eine Auskunft beruhte, steht deutlich besser da. Die Rechtslage im Detail beschreibt der Beitrag Sind KI-Chatbots rechtlich zulässig?
5. Daten verlassen den eigenen Kontrollbereich
Viele Lösungen schicken jede Anfrage samt abgerufenem Kontext an die Schnittstelle eines externen Modellanbieters. Damit verlassen genau die Inhalte, die angebunden wurden, bei jeder Anfrage das Unternehmen. Zu klären ist, wo verarbeitet wird, ob Anfragen zum Training genutzt werden und welche Unterauftragsverarbeiter beteiligt sind.
Governance in der Architektur
Die wirksamen Kontrollen liegen im System, außerhalb des Gesprächs. Regeln, die im System-Prompt stehen, verlieren mit wachsender Gesprächslänge an Wirkung und lassen sich durch Prompt Injection gezielt aushebeln. Sechs Kontrollen gehören deshalb in die Architektur:
Rechteprüfung vor der Generierung. Jede Information durchläuft eine Autorisierungsprüfung, bevor sie das Sprachmodell erreicht. Was der Nutzer nicht sehen darf, gelangt auch nicht in die Antwort.
Freigegebene Quellen mit Versionierung. Angebunden werden geprüfte Quellen, jede mit Version und verantwortlicher Stelle. Veraltete Fassungen werden archiviert.
Ein Beleg für jede Aussage. Jede Antwort ist bis zu Quelle, Dokumentversion oder Regel rückverfolgbar.
Prüfung vor jeder Ausgabe. Ein eigener Validierungsschritt gleicht die Antwort mit der Quelle ab, bevor sie ausgespielt wird.
Abschaltbare Generierung. Bei kritischer Faktenlage lassen sich generative Antworten deaktivieren. Der Bot gibt dann freigegebene Texte aus oder übergibt.
Übergabe an Menschen und Protokoll. Fehlt ein Beleg, übernimmt ein Mitarbeiter mit vollständigem Vorgang. Jeder Schritt wird im Audit-Log festgehalten.
Wie eine solche Grenze für einzelne Fragetypen festgelegt wird, beschreibt der Beitrag Was ein Chatbot nicht beantworten sollte.
Governance in der Organisation
Technik regelt, was das System darf. Die Organisation regelt, wer es verantwortet.
Quellenverantwortung. Für jede angebundene Quelle gibt es eine Person, die Inhalte freigibt und für ihre Aktualität sorgt.
Schulung. Wer mit dem System arbeitet, muss wissen, was es leistet und wo seine Grenzen liegen. Die EU-KI-Verordnung greift das Thema KI-Kompetenz in Artikel 4 auf.
Transparenz. Nach Artikel 50 der EU-KI-Verordnung müssen Nutzer erkennen können, dass sie mit einem KI-System sprechen.
Klare Rollen. Als Betreiber verantworten Sie Zweck und Einsatz des Systems, der Anbieter die Technik. Dazu gehören ein Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO, wo nötig eine Datenschutz-Folgenabschätzung und festgelegte Löschfristen.
Ein freigegebenes Angebot. Wo es keines gibt, fragen Mitarbeitende öffentliche Chatbots nach internen Regeln und erhalten Antworten ohne Bezug zu Ihren Dokumenten. Governance umfasst deshalb auch, ein geprüftes Werkzeug bereitzustellen.
Wie Mercury.ai das umsetzt
Betrieb in Deutschland. Die Plattform läuft ausschließlich auf AWS Frankfurt, ohne Übermittlung in Drittländer. Einziger Unterauftragsverarbeiter ist Amazon Web Services EMEA SARL, Niederlassung Deutschland. Kundenverwaltete Schlüssel sind optional möglich.
Keine externen Modellaufrufe. Mercury.ai nutzt lizenzierte, selbst gehostete Mistral-Modelle. Anfragen gehen an keine externe Modell-API, und Kundendaten werden nicht zum Training verwendet.
Isolation je Kunde. Jeder Kunde erhält eigene Bot-Container pro Umgebung, ohne geteilte Instanz und ohne geteilte Daten.
Kontrollierte Antworten. Mercury Intelligence bereitet Inhalte in einem Wissensgraphen auf, prüft sie auf Konsistenz und versioniert sie. Vor der Generierung läuft eine Rechteprüfung, vor jeder Ausgabe ein Faktencheck. Jede Antwort nennt ihre Quelle. Das Halluzinationsrisiko wird dadurch deutlich reduziert.
Zugriff und Betriebssicherheit. Rollen- und Mandantentrennung, Zwei-Faktor-Anmeldung, SCIM, vollständiges Audit-Logging, regelmäßige Penetrationstests und Schutz gegen Prompt Injection und Manipulation der Wissensbasis.
Standards. Mercury.ai orientiert sich an ISO 27001, die genutzten Rechenzentren sind ISO-27001-zertifiziert.
Das Vorgehen ist im Security Paper zu EU AI Act und KI-Sicherheit dokumentiert.
Sieben Fragen vor der Anbindung
Werden die Berechtigungen der Quellsysteme bei jeder Anfrage geprüft, oder nur beim Indexieren?
Wer gibt eine Quelle frei, und wer ist für ihre Aktualität verantwortlich?
Wie erkennt das System widersprüchliche Fassungen desselben Dokuments?
Nennt jede Antwort ihre Quelle, und lässt sich das im Nachhinein belegen?
Wohin gehen Anfragen und abgerufene Inhalte, und werden sie zum Training genutzt?
Wie ist das System gegen Prompt Injection über Eingaben und Dokumente geschützt?
Was passiert, wenn kein Beleg vorliegt?
Häufige Fragen
Ist es grundsätzlich riskant, generative KI mit Firmendaten zu nutzen?
Das Risiko hängt an der Architektur. Mit Rechteprüfung vor der Generierung, freigegebenen Quellen, Belegpflicht und Verarbeitung im eigenen Rechtsraum lässt es sich auf ein beherrschbares Maß senken. Welche Fragen sich bei ChatGPT stellen, beschreibt der Beitrag Ist ChatGPT im Kundenservice DSGVO-konform?
Reicht es, Berechtigungen im Quellsystem zu pflegen?
Nur wenn das KI-System diese Berechtigungen übernimmt und bei jeder Anfrage prüft. Viele RAG-Lösungen legen Inhalte in einem gemeinsamen Index ab, in dem die ursprünglichen Rechte fehlen.
Was ist Prompt Injection?
Ein Angriff, bei dem Eingaben oder Dokumentinhalte so formuliert sind, dass das Modell seine Vorgaben ignoriert. Das kann zu unerwünschten Zusagen oder zur Preisgabe interner Informationen führen. Wirksam sind Kontrollen außerhalb des Modells, etwa eine Prüfung vor jeder Ausgabe.
Ist ein Chatbot mit Firmenwissen ein Hochrisiko-System nach EU-KI-Verordnung?
Ein Service- oder Wissens-Chatbot fällt in der Regel nicht in die Hochrisiko-Kategorien. Für ihn gelten vor allem die Transparenzpflichten. Maßgeblich ist der konkrete Einsatzzweck, den der Betreiber verantwortet.
Brauchen wir eine eigene KI-Richtlinie?
Sinnvoll ist eine kurze Regelung, die festlegt, welche Werkzeuge freigegeben sind, welche Daten hineindürfen und wer Quellen verantwortet. Sie wirkt am besten zusammen mit einem freigegebenen Werkzeug, das die Fragen der Mitarbeitenden tatsächlich beantwortet.
Wie verhindert man, dass vertrauliche Dokumente im Chat auftauchen?
Durch eine Rechteprüfung, die vor der Generierung greift, und durch eine bewusste Auswahl der angebundenen Quellen. Was nicht freigegeben ist, wird nicht angebunden.
Quellen
OWASP GenAI Security Project, OWASP Top 10 for LLM Applications 2025, veröffentlicht am 18.11.2024. LLM01:2025 Prompt Injection, LLM02:2025 Sensitive Information Disclosure, LLM08:2025 Vector and Embedding Weaknesses.
Verordnung (EU) 2024/1689 (EU AI Act), Artikel 4 (KI-Kompetenz) und Artikel 50 (Transparenzpflichten).
OLG Hamm, Urteil vom 12.05.2026, Az. 4 UKl 3/25: Ein Unternehmen haftet für die falschen Aussagen seines KI-Chatbots. Noch nicht rechtskräftig, Revision zum BGH zugelassen.
Chevrolet of Watsonville, Kalifornien, Dezember 2023: öffentlich berichteter Fall eines manipulierten Händler-Chatbots.
