EDSA & KI: Bias erkennen und Betroffenenrechte umsetzen

Künstliche Intelligenz (KI) nimmt eine zunehmend zentrale Rolle in der Verarbeitung personenbezogener Daten ein und wirft zugleich erhebliche datenschutzrechtliche Fragen auf. Besonders kritisch sind dabei die potenziellen Diskriminierungsrisiken durch verzerrte Algorithmen sowie die effektive Durchsetzung der Rechte betroffener Personen. Der Europäische Datenschutzausschuss (EDSA) hat am 23. Januar 2025 die Ergebnisse des Projekts „KI: Komplexe Algorithmen und effektive Datenschutzaufsicht“ von Dr. Kris Shrishak veröffentlicht. Dieses Projekt wurde im Rahmen des Programms “Support Pool of Experts” auf Ersuchen der Bundesdatenschutzbehörde (DSA) ins Leben gerufen und soll insbesondere Datenschutzbehörden helfen Voreingenommenheit und Umsetzung von Betroffenenrechten im KI-Kontext zu verstehen und zu bewerten.

Bias in KI-Systemen

Im ersten Bericht befasst sich Dr. Shrishak unter dem Titel „Bias evaluation“ mit der Bewertung von Bias in KI-Systemen und untersucht dessen Ursachen sowie Methoden zur Abschwächung.

Was ist ein Bias?

Bias in KI-Systemen bezieht sich auf Verzerrungen, die zu schädlichen oder diskriminierenden Ergebnissen führen können. Diese Verzerrungen können verschiedene Ursachen haben und sich in unterschiedlichen Phasen des KI-Lebenszyklus äußern. Wenn KI-Systeme, die auf verzerrten Daten oder Algorithmen basieren, in Bereichen wie der Strafverfolgung, dem Gesundheitswesen oder dem Finanzwesen eingesetzt werden, können diese Entscheidungen, wie Shrishak beschreibt, die Grundrechte von Einzelpersonen verletzen.

Quellen von Bias

Die Ursache eines Bias wird von Shrishak in drei Hauptgruppen gegliedert: datenbedingte Bias, algorithmische Bias, evaluationsbedingte Bias.

Bias in Daten kann die Fairness von KI-Systemen erheblich beeinflussen. Die Gründe für einen datenbedingten Bias können vielfältige sein. Ein historisches Bias entsteht beispielsweise, wenn KI-Modelle mit alten Daten trainiert werden, die gesellschaftliche Vorurteile enthalten. Zudem kann Bias entstehen, wenn die gesammelten Daten nicht die gesamte Zielgruppe abdecken oder nicht repräsentativ sind. Zu Verzerrungen kann es wie Shrishak hervorhebt auch kommen, wenn Daten nur als Ersatz für die eigentlich relevanten Informationen dienen oder die Erfassungsmethoden zwischen Gruppen variieren. Ein Aggregationsbias führt dazu, dass allgemeine Trends aus großen Datensätzen fälschlicherweise auf Einzelpersonen oder kleine Gruppen übertragen werden, was ebenfalls zu verzerrten Ergebnissen führen kann.

Daneben bezieht sich ein Algorithmusbias auf Verzerrungen in KI-Systemen, die nicht aus den Daten selbst stammen, sondern aus den algorithmischen Entscheidungen und Prozessen während der Entwicklung und des Trainings eines KI-Modells. Wichtig ist hierbei, dass selbst wenn die Trainingsdaten nicht verzerrt sind, der Algorithmus selbst zu diskriminierenden Ausgaben führen kann. Auch Kompromisse während der Entwicklung, wie z.B. die Modellgröße oder der Einsatz von Datenschutzmechanismen, können zu diskriminierenden Ergebnissen führen, so Dr. Shrishak.

Ein Evaluationsbias dagegen tritt auf, wenn der Benchmark- oder Testdatensatz selbst zu Bias beiträgt. KI-Systeme können beispielsweise in einem bestimmten Testdatensatz sehr gut abschneiden. Doch dieses Ergebnis könne aufgrund einer “Überanpassung” an die Testdaten nicht in der Realität erzielt werden.

Bias in Gesichtserkennung und generative AI

Dr. Shrishak verdeutlicht die verschiedenen Bias an zwei Beispielen, denn Bias kann in verschiedenen KI-Anwendungen auf unterschiedliche Weise entstehen. In der Gesichtserkennungstechnologie sind historische, Repräsentations- und Evaluationsbias besonders problematisch. Oft stammen Trainings- und Benchmark-Datensätze aus öffentlich zugänglichen, aber nicht repräsentativen Bilddatenbanken. Dadurch werden bestimmte demografische Gruppen schlechter erfasst, was zu ungenauen oder diskriminierenden Ergebnissen führen kann.

Generative KI übernimmt Bias sowohl aus den verwendeten Daten als auch aus den zugrunde liegenden Algorithmen und Bewertungsmethoden. Da diese Systeme riesige Mengen ungeprüfter Daten verarbeiten, wird die Identifizierung und Kontrolle von Verzerrungen zusätzlich erschwert. Auch die Datenkennzeichnung und spätere Feinabstimmung des Modells können unbewusst Bias verstärken. Zudem können spurious correlations in Textdaten – also zufällige, nicht kausale Zusammenhänge – dazu führen, dass das Modell unerwartete Verzerrungen entwickelt.

Methoden zur Identifizierung und Minderung von Bias

Die Identifizierung und Bekämpfung von Bias in KI-Systemen erfordere, wie Dr. Shrishak herausarbeitet, kontextbezogene Maßnahmen, die sich in Pre-Processing, In-Processing und Post-Processing unterteilen.

Pre-Processing-Methoden setzen vor dem Modelltraining an, um Verzerrungen in den Daten zu reduzieren. Dazu gehört die Analyse der Datenherkunft, um deren Ursprung und Nutzung zu verstehen, sowie die Kausalanalyse, die Proxy-Variablen identifiziert. Weitere Ansätze sind Transformation zur Verringerung von Verzerrungen, Massaging/Relabeling zur Anpassung von Labels, Reweighing zur Gewichtung einzelner Datenpunkte und Resampling zur besseren Berücksichtigung unterrepräsentierter Gruppen. GANs (generative adversarial networks) können zudem künstliche Trainingsdaten erzeugen, um Bias zu minimieren. In-Processing-Methoden greifen direkt in das Modelltraining ein. Mit verschiedenen Ansätzen wird dabei versucht diskriminierende Klassifikationen zu verhindern oder Fairness-Metriken zu integrieren. Post-Processing-Methoden kommen nach dem Training zum Einsatz, wenn Trainingsdaten oder Lernprozesse nicht mehr verändert werden können. Mittels Kalibrierung soll für faire Vorhersagewerte über alle Gruppen hinweg gesorgt werden, während durch Anpassung von Schwellenwerten verzerrte Ergebnisse reduziert werden sollen.

Bei generativen KI-Systemen wird auch RLHF (Reinforcement Learning with Human Feedback) genutzt. Dabei wird menschliches Feedback genutzt, um diskriminierende Ergebnisse zu vermeiden und die Fairness zu verbessern. Doch Dr. Shrishak betont kann RLHF selbst zu Verzerrungen führen, da es von den eingesetzten Personen abhängt. Je nachdem wie diese handeln, werden damit möglicherweise andere Bias oder Verzerrungen zum Nachteil von unterrepräsentierten Gruppen hervorgehoben.

Verfügbare Tools zur Bias-Bewertung

Um Festzustellen, inwiefern ein KI-System davon betroffen ist, hat Dr. Shrishak verschiedene Tools zur Bias-Bewertung vorgestellt. Er stellt jedoch auch klar, dass es derzeit kein Tool gibt, das Bias in generativen KI-Systemen ausreichend erkennen und mindern kann. Beispielsweise IBM AIF360 biete umfassende Bias-Erkennungs- und -Minderungsmethoden, berücksichtige jedoch keine Proxy-Variablen. Andere Vor- und Nachteile bieten Tools wie Fairlearn, Holistic AI oder Aequitas als Open-Source-Tool. Auch die großen Tech-Giganten haben Tools zur Bias-Bewertung. Das What-If Tool von Google, Amazons SageMaker Clarify, die Microsoft Responsible AI Toolbox sollen dabei helfen, Bias und diskriminierende Verzerrungen in KI-Systemen zu erkennen und zu mindern.

Schlussfolgerung

KI-Systeme mit personenbezogenen oder pseudonymisierten Daten unterliegen den Datenschutzvorschriften wie der Datenschutzgrundverordnung (DSGVO). Dr. Shrishak empfiehlt daher, dass KI-Modelle keine personenbezogenen Daten nutzen sollten, außer wenn dies zur Bias-Erkennung und -Korrektur gemäß der KI-Verordnung erlaubt ist. Zudem weist Dr. Shrishak darauf hin, dass Proxy-Variablen unbewusst sensible Merkmale offenlegen und Bias verstärken können. Er hebt hervor, dass die Identifikation und Minderung von Bias essenziell sind, um faire KI-Systeme zu gewährleisten. Dr. Shrishak stellt jedoch fest, dass technischen Ansätzen zur Bias-Reduzierung noch in der Entwicklung sind und technisches Know-how erfordern. Abschließend unterstreicht er, dass technische Maßnahmen allein nicht ausreichen – sozio-kulturelles Wissen ist entscheidend, um Bias nachhaltig zu minimieren.

Umsetzung der Betroffenenrechte in KI-Systemen

In dem zweiten Bericht des EDSA-Projekts geht Dr. Shrishak auf die Herausforderungen bei der Umsetzung von Betroffenenrechten nach der DSGVO ein. Die DSGVO gewährt Einzelpersonen Rechte, die auch für KI-Systeme gelten soweit sie personenbezogene Daten verarbeiten. Besonders wichtig sind hier das Recht auf Berichtigung, das Recht auf Löschung und das Recht auf Widerspruch gegen automatisierte Entscheidungen.

Herausforderungen bei der Umsetzung

Ein zentrales Problem ist, dass KI-Modelle, insbesondere solche mit Deep Learning, Daten nicht nur speichern, sondern auch Muster und Zusammenhänge „memorieren“. Dies erschwert die nachträgliche Entfernung oder Korrektur einzelner Datenpunkte. Besonders problematisch seien sogenannte Membership Inference Attacks (MIA), bei denen sich aus einem Modell ableiten lässt, ob bestimmte Daten in seinem Trainingsdatensatz enthalten waren.

Zusätzlich erschweren weitere Faktoren die Umsetzung: Stochastisches Training führt dazu, dass die Reihenfolge der Trainingsdaten das Modell beeinflusst, wodurch nachträgliche Änderungen schwer nachzuvollziehen sind. Aufgrund des Incremental training process, bei dem Modelle kontinuierlich auf vorherigen Versionen aufbauen, ist das gezielte Löschen einzelner Datenpunkte besonders kompliziert. Schließlich bleibt der Einfluss einzelner Datenpunkte auf das Modell oft unklar, da es aufwendig und rechenintensiv ist, den spezifischen Beitrag eines einzelnen Datensatzes zu analysieren.

Techniken zur Datenlöschung und „Unlearning“

Um das Recht auf Berichtigung und Löschung umzusetzen, wurden verschiedene „Machine Unlearning“-Methoden entwickelt, da das Retraining des KI-Modells zu kostspielig und zweitaufwendig ist. Dabei wird das bestehende Modell gelöscht, die problematischen Daten entfernt und das Modell mit den verbleibenden Daten neu trainiert. Zu den Unlearning Methoden zum „exakten“ Entfernen zählt die SISA-Methode. Diese verändert den Trainingsprozess, um spätere Löschungen zu erleichtern. Modell-intrinsisches Unlearning funktioniert für bestimmte Modelltypen wie Entscheidungsbäume und Random Forests. Anwendungsspezifisches Unlearning dagegen für spezielle Einsatzgebiete wie Empfehlungssysteme optimiert ist. Approximative Unlearning reduziert lediglich den Einfluss bestimmter Daten, anstatt sie vollständig zu entfernen. Dazu gehören Methoden wie Finetuning, Intentional Misclassification und Parameterlöschung.

Um zu überprüfen, ob ein KI-Modell die zu verlernenden Daten durch approximative (ungefähre) Techniken erfolgreich „verlernt“ hat, stellt Dr. Shrishak verschiedene Methoden vor. Darunter sind Membership Inference Attacks (MIAs). MIAs werden verwendet, um zu testen, ob es möglich ist, “gelöschte” Daten aus dem Modell zu extrahieren. Wenn die Wahrscheinlichkeit solcher Ergebnisse bei 50% liegt, werde dies als erfolgreiches “Verlernen” interpretiert.  Doch Dr. Shrishak betont, dass MIAs als Privacy-Angriffe gelten und deren Verwendung als einzige Testmethode unzuverlässig sei. Ein gut entwickeltes Modell sollte nicht anfällig für MIAs sein, so Shrishak weiter.

Schlussfolgerung

Wie Dr. Shrishak betont, stellt die Umsetzung des Rechts auf Berichtigung und Löschung in KI-Systemen eine Herausforderung dar. Er hebt hervor, dass Datenkuration und Datenherkunft zentrale Voraussetzungen für Datenschutzmaßnahmen sind.  Im Kontext von „Privacy by Design“ könnte die Umsetzung von Löschanfragen erleichtert werden. Doch Shrishak betont auch , dass künftige Projekte sich mit weiteren datenschutzrechtlichen Aspekten der DSGVO befassen sollten. Als klare Empfehlung spricht sich Dr. Shrishak für die Verwendung vollständig anonymisierter Daten aus, um Datenschutzverpflichtungen zu minimieren. Falls personenbezogene Daten genutzt werden, sollten rechtliche Vorgaben eingehalten und Änderungen am Modell sorgfältig dokumentiert werden.

Fazit

Ein datenschutzkonformer Einsatz von KI-Modellen erfordert gezielte Maßnahmen zur Bias-Reduktion, Wahrung der Betroffenenrechte und Sicherstellung von Transparenz. Wo möglich, sollte die anonymisierte Datenverarbeitung bevorzugt werden, um Verpflichtungen zur Berichtigung und Löschung personenbezogener Daten zu minimieren. Ist dies nicht umsetzbar, sind Datenminimierung und eine sorgfältige Pseudonymisierung essenziell. Zudem spielt die Dokumentation der Datenherkunft eine zentrale Rolle, um Bias frühzeitig zu erkennen und dessen Auswirkungen zu reduzieren. Wie Dr. Shrishak aufzeigt, bleibt Bias in KI-Systemen eine fortlaufende Herausforderung, die nur durch eine Kombination aus technischen, organisatorischen und rechtlichen Maßnahmen bewältigt werden kann. Datenschutzrichtlinien sollten dabei nicht nur als regulatorische Verpflichtung, sondern als integraler Bestandteil einer verantwortungsvollen KI-Entwicklung betrachtet werden („Privacy by Design“).

Zur Förderung von Fairness sollten gezielt Pre-Processing-, In-Processing- und Post-Processing-Methoden eingesetzt werden. Machine Unlearning-Techniken können dazu beitragen, das Recht auf Berichtigung und Löschung effektiv umzusetzen. Darüber hinaus sollten Unternehmen interne Leitlinien etablieren und regelmäßige Schulungen durchführen, um sowohl den verantwortungsvollen Umgang mit KI als auch ein notwendiges Maß an KI-Kompetenz sicherzustellen.