Anonyme KI-Prompts: Warum Anonymisierung allein nicht vor Re-Identifikation schützt

Viele Nutzerinnen und Nutzer sowie Unternehmen setzen auf anonymisierende Proxy-Dienste, um beim Einsatz von Large Language Models (LLMs) keine persönlichen Identifikatoren wie IP-Adressen oder Kontodaten an KI-Anbieter zu übermitteln. Es entsteht dabei leicht der Eindruck, dass Anfragen dadurch vollkommen anonym verarbeitet werden können. Eine wissenschaftliche Untersuchung der University of Massachusetts Amherst mit dem Titel „Can Prompt Anonymity Protect Your Identity From LLM Providers?“ stellt diesen Schutzmechanismus jedoch grundlegend infrage. Die Forschenden weisen nach, dass allein die sichtbaren Textinhalte von Prompts ausreichen, um anonyme Anfragen mit hoher Genauigkeit früheren, identifizierten Unterhaltungen desselben Urhebers zuzuordnen.

Proxies schützen Metadaten, nicht Prompt-Inhalte

Um die Verknüpfung zwischen der Nutzeridentität und vertraulichen Eingabedaten zu kappen, haben sich verschiedene anonymisierende KI-Proxies etabliert. Diese Dienste fungieren ähnlich wie ein VPN für LLM-Prompts. Sie kaufen Nutzungskontingente ein, entfernen Identifikationsmerkmale wie IP-Adressen sowie Account-IDs und leiten die Prompts im Namen der Nutzenden an KI-Anbieter weiter. Während das Netzwerk-Tracking dadurch unterbunden wird, bleibt der reine Textinhalt der Prompts für die Modellbetreiber weiterhin vollständig einsehbar. Nutzerinnen und Nutzer verlassen sich somit häufig darauf, dass aus dem Fließtext selbst keine Rückschlüsse auf ihre Identität gezogen werden können.

Datengrundlage der Studie

Zur empirischen Überprüfung dieses Risikos entwickelten die Forschenden den Benchmark PROMPTANONBENCH. Dieser umfasst mehr als 175.000 bereinigte Mehrfach-Unterhaltungen von über 25.000 individuellen Nutzenden aus den Reallabor-Datensätzen SWE-Chat und WildChat. Ergänzend wurden über 140.000 Konversationen aus ShareChat als öffentliches Hintergrundwissen einbezogen. Im Experiment simulierten die Wissenschaftler Angriffs-Szenarien, bei denen ein KI-Anbieter bereits über eine historische, identifizierte Gesprächshistorie von Nutzerinnen und Nutzern verfügt und neu eingehende, über Proxies anonymisierte Prompts diesen Personen zuzuordnen versucht.

Semantische Muster und Vektoren als digitale Fingerabdrücke

Das grundlegende Problem liegt in den individuellen Verhaltens- und Sprachmustern der Nutzenden. Auch wenn direkte Identifikatoren wie Namen, Telefonnummern oder IP-Adressen entfernt werden, sprechen Personen wiederholt über spezifische Projekte, Fachthemen, berufliche Problemstellungen oder persönliche Interessen. Mithilfe moderner vektorieller Text-Embeddings (wie Gemini Embedding 2) werden diese Prompts in hochdimensionale mathematische Räume übersetzt. Über Nearest-Neighbor-Analysen und Zentroid-Berechnungen können KI-Anbieter semantische Ähnlichkeiten zwischen anonymen Prompts und den bekannten Nutzerprofilen abgleichen.

Testergebnisse: Hohe Trefferquoten bei der Re-Identifikation

Die Ergebnisse der Studie belegen ein erhebliches Re-Identifikationsrisiko im sogenannten Open-Set-Szenario, bei dem nicht zwingend alle Personen im System bekannt sind. Bei einer festgelegten Falsch-Positiv-Rate (FAR) von maximal 10 % konnten 50 bis 75 % der Nutzenden im Entwickler-Datensatz SWE-Chat und bis zu 10 % der Nutzenden im allgemeinen WildChat-Datensatz anhand mindestens einer anonymen Unterhaltung korrekt re-identifiziert werden. Zudem erwies sich das Gruppieren anonymer Prompts nach demselben Urheber (Authorship Clustering) mittels Standard-Clusteralgorithmen als sehr treffsicher.

Textbereinigung bietet keinen sicheren Schutz

Um Re-Identifikationen zu erschweren, setzen manche Proxies oder Nutzer auf automatisierte Text-Umschreibungen oder Bereinigungs-Tools. Die Studie testete mehrere dieser Schutzverfahren, darunter StyleRemix zur Stil-Anpassung, den Scrubber von OpenAnonymity zur Platzhalter-Ersetzung sowie den neu entwickelten Ansatz PROMPTEMBAD, der gegnerische Prompt-Injections nutzt. Das zentrale Ergebnis: Weder Stil-Anpassungen noch das Ersetzen von Oberflächenmerkmalen konnten die Wiedererkennungsrate durch semantische Embeddings signifikant reduzieren. Die zugrundeliegenden semantischen Themenstrukturen bleiben trotz Umformulierungen weitgehend erhalten.

Datenschutzrechtliche Einordnung

Die Erkenntnisse der Studie fügen sich nahtlos in die fortlaufende Debatte um den datenschutzkonformen KI-Einsatz ein. Bereits Initiativen wie das Forschungsprojekt EAsyAnon verdeutlichen, dass eine wirksame Anonymisierung im KI-Kontext technologisch hochkomplex ist. Darüber hinaus werden Pseudonymisierungen oft fälschlicherweise als echte Anonymisierungen eingestuft. Nach Erwägungsgrund 26 DSGVO gelten Daten nur dann als anonymisiert, wenn eine Identifizierung mit verhältnismäßigem Aufwand ausgeschlossen ist. Da moderne Embedding-Modelle eine Re-Identifikation allein über Fließtext-Semantik ermöglichen, verbleiben auch vermeintlich anonymisierte Prompts rechtlich im Bereich personenbezogener oder pseudonymgestützter Daten.

Auch technische Lösungsansätze wie die vom DFKI vorgestellte Chrome-Erweiterung Privacy Guardrail setzen primär auf das lokale Erkennen und Ersetzen strukturierter PII (wie E-Mail-Adressen oder IBANs) durch Platzhalter. Wie die Entwickler selbst betonen und die neue Studie bestätigt, stellen solche Browser-Tools eine wertvolle Schutzschicht dar, bieten jedoch keine Garantie für eine vollständige Anonymisierung. Ebenso macht die Diskussion um die Memorisierung personenbezogener Daten in LLM-Modellparametern deutlich, dass Daten in KI-Systemen auf vielfältige Weise fortbestehen und rekonstruiert werden können.

Maßnahmen für Unternehmen

Für Unternehmen und Compliance-Verantwortliche, die sich etwa an den Leitfäden der Landesdatenschutzbehörden (wie dem LfDI MV für KMU) orientieren, ergeben sich daraus konkrete organisatorische und technische Konsequenzen:

• Kein Verlass auf reine Anonymisierungs-Proxies: Das bloße Kappen von IP-Adressen und Metadaten schützt nicht vor einer Re-Identifikation durch den Modellanbieter.
• Vertragliche Absicherung priorisieren: Unternehmen müssen mit KI-Dienstleistern verbindliche Auftragsverarbeitungsverträge (AV-Verträge) nach Art. 28 DSGVO schließen und die Trainingsnutzung sowie Speicherung von Eingaben vertraglich ausschließen.
• Inhaltliche Datenminimierung und Mitarbeiterschulungen: Unternehmen müssen Beschäftigte sensibilisieren, dass auch in anonymen Chat-Fenstern keine geschäftsspezifischen Details, Projektinhalte oder vertraulichen Sachverhalte eingegeben werden dürfen.
• Betrachtung des Gesamtkontexts bei Risikobewertungen: Im Rahmen von Datenschutz-Folgenabschätzungen (DSFA) sollten Unternehmen berücksichtigen, dass semantische Verhaltensmuster als Risikofaktor für Profilbildung wirken können.

Fazit

Die Studie „Can Prompt Anonymity Protect Your Identity From LLM Providers?“ deckt eine zentrale Sicherheitsillusion beim Einsatz generativer KI auf. Die Annahme, dass das Fehlen von Namen und IP-Adressen automatisch Anonymität gewährleistet, erweist sich gegenüber modernen Einbettungs- und Analysemodellen als nicht haltbar. Für eine rechtssichere KI-Governance in Unternehmen bleibt die vertragliche, organisatorische und technische Gesamtabstimmung unverzichtbar. Bloße Metadaten-Anonymisierer im Browser oder Proxy-Szenario reichen als alleinige Schutzmaßnahme nicht aus.