Ein DSGVO- und EU-AI-Act-konformer KI-Chatbot verarbeitet personenbezogene Daten auf einer gültigen Rechtsgrundlage und ausschließlich in der EU, weist Nutzer transparent darauf hin, dass sie mit einer KI sprechen, und gibt nur nachvollziehbare, quellenbasierte Antworten. 2026 gelten beide Regelwerke parallel: Die DSGVO regelt den Umgang mit personenbezogenen Daten, die EU-KI-Verordnung (EU) 2024/1689 den Einsatz des KI-Systems selbst. Wer einen Chatbot im Kundenservice, in der HR oder im Vertrieb einsetzt, muss beide gleichzeitig erfüllen.
Dieser Leitfaden erklärt, was das konkret bedeutet, und liefert eine Checkliste, an der Sie jeden Anbieter messen können.
Auf einen Blick
Zwei Regelwerke, parallel: DSGVO (Datenschutz) und EU AI Act (KI-System) gelten gleichzeitig. Eines ersetzt das andere nicht.
Die meisten Service-Chatbots sind kein Hochrisiko-System im Sinne des EU AI Act. Verantwortlich für die Einstufung des konkreten Anwendungsfalls bleibt aber der Betreiber.
Transparenzpflicht (Art. 50 EU AI Act): Nutzer müssen erkennen können, dass sie mit einer KI interagieren.
Datenstandort ist entscheidend: Eine Verarbeitung außerhalb der EU, etwa über US-Clouds, ist datenschutzrechtlich angreifbar. In regulierten Branchen und der öffentlichen Hand ist sie oft ein Ausschlusskriterium.
Halluzinationen sind ein Compliance-Risiko: Falsche oder erfundene Auskünfte können Haftungs- und Informationspflichten verletzen.
Worauf achten: Rechtsgrundlage, EU-Hosting, AVV nach Art. 28, kein Training mit Ihren Daten, Transparenz-Kennzeichnung, Löschkonzept und nachvollziehbare Antworten.
Was bedeutet „DSGVO- und EU-AI-Act-konform" bei einem KI-Chatbot?
Ein KI-Chatbot berührt zwei Rechtsgebiete zugleich. Er verarbeitet personenbezogene Daten wie Namen, Anliegen, Kontaktdaten und Gesprächsverläufe und fällt damit unter die DSGVO. Gleichzeitig ist er ein KI-System, das mit natürlichen Personen interagiert, und unterliegt damit der EU-KI-Verordnung (EU) 2024/1689.
Konformität verlangt deshalb beides gemeinsam:
DSGVO: rechtmäßige, transparente und zweckgebundene Verarbeitung personenbezogener Daten, Datenminimierung, Betroffenenrechte, Auftragsverarbeitung und Sicherheit der Verarbeitung.
EU AI Act: risikobasierte Pflichten für das KI-System, von Transparenz und Kennzeichnung über Kompetenzanforderungen bis zu Governance und menschlicher Aufsicht.
Beide Regelwerke greifen ineinander. Ein Chatbot kann technisch DSGVO-konform gehostet sein und trotzdem gegen die Transparenzpflicht des EU AI Act verstoßen. Umgekehrt kann er als KI korrekt gekennzeichnet sein und dennoch Daten unzulässig in ein Drittland übermitteln.
Die EU-KI-Verordnung 2026: der Zeitplan für Chatbots
Die EU-KI-Verordnung ist seit August 2024 in Kraft und wird gestaffelt wirksam. Für Chatbots sind drei Punkte zentral:
Verbotene Praktiken und KI-Kompetenz gehören zu den früh greifenden Pflichten. Manipulative oder unzulässige KI-Anwendungen sind untersagt; Mitarbeitende, die KI-Systeme betreiben, müssen über ausreichende KI-Kompetenz verfügen (Art. 4).
Transparenzpflichten (Art. 50) sind der Kern für dialogorientierte Systeme: Nutzer müssen erkennen können, dass sie mit einer KI und nicht mit einem Menschen sprechen.
Die strengeren Hochrisiko-Pflichten werden zuletzt wirksam. Der Digital Omnibus (2026) hat Anforderungen und Fristen angepasst; Teile davon greifen erst gestaffelt bis 2027/2028.
Auch wenn einzelne Fristen weiter in der Zukunft liegen, ist 2026 das Jahr, in dem Unternehmen ihre Chatbots ausrichten sollten. Wer Konformität erst zum letzten Stichtag herstellt, baut Datenschutz und Transparenz nachträglich in ein laufendes System ein. Das wird teurer und fehleranfälliger als eine durchdachte Auslegung von Anfang an.
Ist ein KI-Chatbot ein Hochrisiko-System?
In den meisten Fällen nein. Ein Chatbot, der wiederkehrende Service-, HR- oder Vertriebsfragen beantwortet, trifft keine automatisierten Entscheidungen über Personen in sensiblen Bereichen und ist damit kein Hochrisiko-System im Sinne des EU AI Act.
Die Einstufung hängt jedoch vom konkreten Anwendungsfall ab, und dafür ist der Betreiber verantwortlich (Art. 3 Nr. 4 EU AI Act). Setzen Sie einen Bot etwa zur Vorauswahl von Bewerbungen oder zur Bonitätskommunikation ein, kann der Einsatzkontext die Risikoeinstufung verändern. Klären Sie den Zweck deshalb bereits vor dem Go-Live.
„KI muss nachvollziehbar und kontrollierbar sein und einer wirksamen menschlichen Aufsicht unterliegen."
Dr. Maximilian Panzner, CTO und Co-Founder bei Mercury.ai
Die drei Säulen eines EU-AI-Act-konformen Chatbots
Ein konformer Chatbot ruht auf drei Säulen, die sich direkt aus der Verordnung ableiten:
1. Transparenz (Art. 50). Nutzer müssen erkennen, dass sie mit einer KI interagieren, etwa durch eine klare Kennzeichnung und ein erkennbares Bot-Icon. Dazu gehören perspektivisch maschinenlesbare Metadaten für KI-generierte Inhalte sowie barrierefreie Zugänglichkeit nach WCAG.
2. KI-Kompetenz (Art. 4). Die Menschen, die den Bot betreiben und pflegen, müssen verstehen, was das System kann, wo seine Grenzen liegen und wann sie eingreifen müssen. KI-Kompetenz muss fortlaufend aufgebaut werden und bleibt eine dauerhafte Aufgabe.
3. Governance und Informationssicherheit. Hier verzahnen sich EU AI Act und DSGVO (Art. 5, 28, 32): dokumentierte Verantwortlichkeiten, Auftragsverarbeitung, technische und organisatorische Maßnahmen, Audit-Trails und eine wirksame menschliche Aufsicht.
DSGVO-Checkliste für KI-Chatbots
Diese Punkte sollte jeder KI-Chatbot erfüllen, der personenbezogene Daten verarbeitet:
Rechtsgrundlage (Art. 6): Für jede Verarbeitung muss eine Rechtsgrundlage bestehen, in der Regel berechtigtes Interesse oder Einwilligung. Klären Sie, auf welcher Grundlage Chatverläufe verarbeitet und gespeichert werden.
Transparenz und Informationspflichten (Art. 13): Nutzer müssen wissen, welche Daten zu welchem Zweck verarbeitet werden. Die Datenschutzhinweise gehören direkt an den Chat, erreichbar mit einem Klick.
Datenminimierung (Art. 5): Der Bot sollte nur die Daten erheben, die er für das Anliegen tatsächlich braucht. „Wir speichern alles, vielleicht brauchen wir es" ist kein zulässiges Prinzip.
Auftragsverarbeitung (Art. 28): Mit dem Anbieter muss ein Auftragsverarbeitungsvertrag (AVV) bestehen. Prüfen Sie die Liste der Unterauftragsverarbeiter. Je kürzer und je stärker auf die EU begrenzt, desto einfacher der Nachweis.
Datenstandort und Drittlandübermittlung (Art. 44 ff.): Werden Daten an einen US-Anbieter übermittelt, brauchen Sie einen tragfähigen Übermittlungsmechanismus. Eine Verarbeitung ausschließlich in der EU vermeidet dieses Risiko vollständig.
Besondere Kategorien (Art. 9): Verarbeitet der Bot Gesundheits-, Religions- oder andere sensible Daten, gelten erhöhte Anforderungen. Im Zweifel sollte er solche Eingaben gar nicht erst erfassen.
Betroffenenrechte: Auskunft, Berichtigung und Löschung müssen praktisch umsetzbar sein, idealerweise mit konfigurierbaren Löschfristen und der Möglichkeit, dass Nutzer ihre Daten selbst löschen.
Keine ungeprüfte automatisierte Einzelentscheidung (Art. 22): Entscheidungen mit rechtlicher Wirkung dürfen nicht allein automatisiert fallen. Ein Eskalationsweg zum Menschen ist Pflicht.
Kein Training mit Ihren Daten: Werden die Inhalte Ihrer Gespräche genutzt, um fremde Modelle zu trainieren, verlieren Sie die Kontrolle. Konforme Lösungen schließen das vertraglich und technisch aus.
Datenschutz-Folgenabschätzung (Art. 35): Bei voraussichtlich hohem Risiko ist eine DSFA erforderlich. Ein seriöser Anbieter unterstützt Sie mit der nötigen Dokumentation.
Warum US-Cloud-Chatbots zum Compliance-Risiko werden
Viele populäre KI-Chatbots verarbeiten Daten in US-Rechenzentren oder rufen im Hintergrund die API eines US-Anbieters auf. Datenschutzrechtlich ist das die heikelste Stelle: Sobald personenbezogene Daten in ein Drittland gelangen, brauchen Sie einen belastbaren Übermittlungsmechanismus und tragen das Risiko, wenn dessen Grundlage wegfällt.
Für regulierte Branchen und die öffentliche Hand ist der Datenstandort häufig ein K.-o.-Kriterium. Datensouveränität durch Architektur löst das Problem an der Wurzel: Daten, die die EU nie verlassen, werfen die Frage nach der Drittlandübermittlung gar nicht erst auf.
Achten Sie deshalb auf beide Ebenen: den Hosting-Ort und die Datenflüsse im laufenden Betrieb. Ein in Deutschland gehostetes Frontend, das für jede Antwort eine US-API anfragt, ist nicht datensouverän. Wie sich Datensouveränität durch Architektur erreichen lässt, vertieft der Beitrag zum Chatbot-Hosting in Deutschland.
Halluzinationen sind auch ein Compliance-Thema
Compliance endet nicht beim Datenschutz. Wenn ein Chatbot Auskünfte erfindet, etwa zu Vertragskonditionen, Fristen oder rechtlichen Ansprüchen, kann das Informationspflichten verletzen und Haftung auslösen. Genau das beobachten viele Unternehmen, wenn Mitarbeitende oder Kunden auf eigene Faust generische KI-Tools nutzen: Die Antwort klingt plausibel, ist aber „gar nicht so".
Der Auslöser liegt in der Architektur. Ein reiner Sprachmodell-Chatbot erzeugt Antworten auf Basis von Wahrscheinlichkeiten. Er errechnet die wahrscheinlichste Formulierung, ohne die Fakten zu kennen. Eine hybride Architektur trennt dagegen die Logik von der Formulierung. Die Fakten stammen ausschließlich aus geprüften, freigegebenen Quellen, die generative KI übernimmt nur die sprachliche Ausgestaltung. Findet das System keine belegte Antwort, übergibt es den Fall kontrolliert an einen Menschen.
Dieser Ansatz reduziert das Halluzinationsrisiko deutlich und macht jede Antwort bis zur Quelle nachvollziehbar. Das ist ein direkter Beitrag zu Transparenz und menschlicher Aufsicht, wie sie der EU AI Act verlangt. Wie das technisch funktioniert, lesen Sie unter Mercury Intelligence und im Knowledge Hub.
Wie Mercury.ai DSGVO- und EU-AI-Act-Konformität umsetzt
Mercury.ai ist die Conversational-AI-Plattform aus Deutschland und auf die Anforderungen von DSGVO und EU-KI-Verordnung (EU) 2024/1689 ausgelegt. Die wichtigsten Bausteine:
Hosting ausschließlich in Deutschland (AWS Frankfurt,
eu-central-1). Endnutzerdaten werden ausschließlich dort verarbeitet, ohne Drittlandübermittlung. Verschlüsselung in Transit und at Rest, Schlüsselverwaltung über AWS KMS und HSM, kundenverwaltete Schlüssel optional.Ein einziger Unterauftragsverarbeiter (Amazon Web Services, Niederlassung Deutschland) hält die Verarbeitungskette kurz und den AVV-Nachweis einfach.
Europäische, selbst gehostete Modelle. Mercury.ai nutzt lizenzierte, selbst gehostete und feinjustierte Mistral-Modelle. Es gibt keine API-Aufrufe an externe Anbieter, die Daten bleiben in Deutschland und unter Kontrolle.
Kein Training mit Kundendaten, kein Cross-Client-Learning. Antworten entstehen ausschließlich aus Ihren geprüften, abgegrenzten Quellen; offenes Weltwissen bleibt außen vor.
Hybride KI gegen Halluzinationen. Das Modellorchester trennt Fakten von Formulierung, prüft Quelle und Berechtigung und übergibt bei fehlender Quelle an den Menschen. Das Halluzinationsrisiko wird deutlich reduziert, jede Antwort bleibt bis zur Quelle rückverfolgbar.
Sicherheit und Governance. Rollen- und Mandantentrennung, Zwei-Faktor-Authentifizierung, vollständiges Audit-Logging, regelmäßige Penetrationstests und Schutz vor Prompt Injection. Die genutzten Rechenzentren sind ISO-27001-zertifiziert; Mercury.ai orientiert sich an ISO 27001.
EU-AI-Act-Konformität nach dem Drei-Säulen-Modell aus Transparenz, KI-Kompetenz und Governance, dokumentiert im EU-AI-Act-Sicherheitspaper.
Dass dieses Modell auch in stark regulierten Umgebungen trägt, zeigt die Volkswagen Bank: Sie automatisiert mit Mercury.ai rund um die Uhr wiederkehrende Kundenanfragen, in einer Branche, in der Datenschutz und Nachvollziehbarkeit nicht verhandelbar sind.
Die Vorgehensweise zur EU-KI-Verordnung können Sie im EU-AI-Act-Sicherheitspaper nachlesen.
In 7 Schritten zum konformen Chatbot: die Anbieter-Checkliste
Stellen Sie jedem Chatbot-Anbieter diese sieben Fragen, bevor Sie sich entscheiden:
Wo werden die Daten verarbeitet, und wohin sendet der Bot im Betrieb Daten? Die Antwort sollte lauten: ausschließlich in der EU, ohne Drittland-API.
Wer steht im AVV als Unterauftragsverarbeiter? Je kürzer und EU-zentrierter die Liste, desto besser.
Werden unsere Gespräche zum Training fremder Modelle genutzt? Die einzig akzeptable Antwort lautet: nein, vertraglich und technisch ausgeschlossen.
Wie kennzeichnet der Bot sich als KI? Art. 50 verlangt, dass Nutzer das erkennen können.
Woher stammen die Antworten, und sind sie bis zur Quelle nachvollziehbar? Quellenbindung ist der wirksamste Schutz gegen Halluzinationen.
Wie funktioniert die Übergabe an einen Menschen? Es muss einen klaren Eskalationsweg geben, wenn der Bot an seine Grenzen kommt.
Welche Dokumentation erhalten wir für DSFA, AVV und EU-AI-Act-Nachweis? Ein seriöser Anbieter liefert sie aktiv mit.
Wer auf diese sieben Fragen klare, belegbare Antworten erhält, hat die Grundlage für einen Chatbot, der 2026 sowohl die DSGVO als auch den EU AI Act erfüllt.
Häufige Fragen (FAQ)
Ist ein KI-Chatbot automatisch ein Hochrisiko-System nach EU AI Act?
Nein. Ein Chatbot, der wiederkehrende Service-, HR- oder Vertriebsfragen beantwortet und keine automatisierten Entscheidungen über Personen in sensiblen Bereichen trifft, ist in der Regel kein Hochrisiko-System. Die Einstufung des konkreten Anwendungsfalls verantwortet jedoch der Betreiber (Art. 3 Nr. 4 EU AI Act).
Muss ich Nutzer informieren, dass sie mit einer KI chatten?
Ja. Die Transparenzpflicht aus Art. 50 der EU-KI-Verordnung verlangt, dass Nutzer erkennen können, dass sie mit einem KI-System und nicht mit einem Menschen interagieren, etwa durch eine klare Kennzeichnung und ein erkennbares Bot-Icon.
Wo dürfen die Daten eines DSGVO-konformen Chatbots gespeichert werden?
Personenbezogene Daten sollten innerhalb der EU verarbeitet werden. Eine Übermittlung in Drittländer wie die USA ist nur mit einem belastbaren Übermittlungsmechanismus zulässig und bleibt rechtlich angreifbar. Eine ausschließliche Verarbeitung in der EU, etwa in Frankfurt, vermeidet das Risiko vollständig.
Ist ein generisches KI-Tool wie ChatGPT im Kundenservice DSGVO-konform?
Generische, öffentlich gehostete KI-Tools verarbeiten Eingaben häufig außerhalb der EU und bieten keine Kontrolle über Datenstandort, Löschung oder Trainingsnutzung. Für die Verarbeitung personenbezogener Kundendaten sind sie ohne zusätzliche vertragliche und technische Absicherung in der Regel nicht geeignet. Eine in der EU gehostete, quellengebundene Plattform ist hier der sichere Weg. Den Fall ChatGPT vertieft der Beitrag Ist ChatGPT im Kundenservice DSGVO-konform?.
Brauche ich für einen Chatbot eine Datenschutz-Folgenabschätzung (DSFA)?
Eine DSFA ist erforderlich, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten der betroffenen Personen bedeutet (Art. 35 DSGVO). Ob das der Fall ist, hängt vom Anwendungsfall und den verarbeiteten Datenkategorien ab. Ein seriöser Anbieter unterstützt Sie mit der nötigen Dokumentation.
Wer haftet, wenn der Chatbot eine falsche Auskunft gibt?
Gegenüber dem Kunden tritt das einsetzende Unternehmen als verantwortliche Stelle auf. Deshalb ist eine Architektur entscheidend, die Antworten an geprüfte Quellen bindet, das Halluzinationsrisiko deutlich reduziert und bei Unsicherheit an einen Menschen übergibt, bevor falsche Auskünfte entstehen.
Fazit: Konformität gehört von Anfang an in die Architektur
2026 müssen KI-Chatbots zwei Regelwerke gleichzeitig erfüllen, die DSGVO und den EU AI Act. Beide lassen sich am verlässlichsten einhalten, wenn Datenstandort, Quellenbindung, Transparenz und menschliche Aufsicht von Anfang an Teil der Architektur sind. Wer Anbieter konsequent an der Checkliste oben misst, trifft eine Entscheidung, die auch zu den späteren Stichtagen der EU-KI-Verordnung trägt.
Sie möchten wissen, wie ein DSGVO- und EU-AI-Act-konformer Chatbot in Ihrem Unternehmen aussieht? Sprechen Sie mit uns oder laden Sie das EU-AI-Act-Sicherheitspaper herunter.
Über den Autor: Dr. Maximilian Panzner ist CTO und Mitbegründer von Mercury.ai. Er hat am CITEC-Institut der Universität Bielefeld in Informatik promoviert und dort zu multimodalem maschinellem Lernen und intelligenten Interaktionssystemen geforscht. Seit über 20 Jahren arbeitet er an Künstlicher Intelligenz, Mensch-Maschine-Interaktion und dialogorientierten KI-Plattformen für den Unternehmenseinsatz.
