EU AI Act: Wie lassen sich KI-Risiken bewerten?

KI-Risiken im EU AI Act zu bewerten, ist komplizierter, als es die Definition des Begriffs zunächst vermuten lässt. Die KI-Verordnung definiert Risiko als Kombination aus der Wahrscheinlichkeit eines Schadens und dessen Schwere. Gleichzeitig sollen insbesondere mögliche Auswirkungen auf Gesundheit, Sicherheit und Grundrechte berücksichtigt werden.

Eine aktuelle wissenschaftliche Untersuchung von Gustavo Gil Gasiola, Sarah H. Cen und Frederike Zufall zeigt, wo dabei praktische Schwierigkeiten entstehen. Die Autoren untersuchen, wie quantitative Risikobewertung und qualitative Grundrechtsprüfung miteinander verbunden werden können.

Der EU AI Act folgt einem risikobasierten Ansatz. Je höher das Risiko eines KI-Systems bewertet wird, desto umfangreicher können die regulatorischen Anforderungen ausfallen.

Die Untersuchung unterscheidet dabei zwischen inakzeptablen, hohen und minimalen Risiken. Besonders relevant wird die Risikobewertung bei Hochrisiko-KI-Systemen. Art. 9 der KI-Verordnung verlangt hier ein Risikomanagementsystem, mit dem Risiken identifiziert, bewertet und durch geeignete Maßnahmen reduziert werden.

Auch bei der Einstufung eines Systems kann die Bewertung entscheidend sein. Unter bestimmten Voraussetzungen können Systeme aus den in Anhang III genannten Bereichen nach Art. 6 Abs. 3 KI-Verordnung von einer Einstufung als Hochrisiko-System ausgenommen werden, wenn sie kein erhebliches Risiko darstellen.

Ein erstes Problem betrifft die Wahrscheinlichkeit eines Schadens. Entscheidend ist bereits, welches Ereignis überhaupt gemessen wird. So kann die Wahrscheinlichkeit, dass eine einzelne Interaktion mit einem KI-System einen Schaden verursacht, sehr gering sein. Betrachtet man dagegen sämtliche Interaktionen über ein Jahr und eine große Zahl von Nutzern, kann sich ein deutlich anderes Risikobild ergeben.

Hinzu kommt, dass bestimmte Risiken nur schwer empirisch messbar sind. Seltene Ereignisse, neue Technologien oder langfristige gesellschaftliche Auswirkungen bieten häufig keine ausreichende Datengrundlage. Welche Definition und Messmethode verwendet wird, kann deshalb erheblichen Einfluss auf die spätere Risikobewertung haben.

Noch schwieriger ist die Bestimmung der Schadensschwere. Bei wirtschaftlichen Schäden kann eine Quantifizierung teilweise über finanzielle Werte erfolgen.

Bei Grundrechten funktioniert dies jedoch nur eingeschränkt. Wie lässt sich beispielsweise eine Beeinträchtigung der Menschenwürde, des Datenschutzes, der Meinungsfreiheit, der Nichtdiskriminierung oder demokratischer Prozesse in einer einzelnen Zahl ausdrücken?

Die Autoren halten dennoch eine vergleichende Bewertung für möglich. Statt jedem Grundrechtsschaden einen Geldwert zuzuweisen, könne beispielsweise die relative Schwere unterschiedlicher Eingriffe miteinander verglichen werden.

Besonders interessant ist der vorgeschlagene Severity-first-Ansatz. Danach wird zunächst untersucht, wie schwer ein möglicher Schaden wäre. Erst anschließend wird dessen Eintrittswahrscheinlichkeit stärker berücksichtigt.

Dieser Ansatz soll verhindern, dass sehr schwere, aber seltene Schäden allein aufgrund ihrer geringen Wahrscheinlichkeit als geringes Risiko eingestuft werden.

Eine einfache Berechnung aus „Wahrscheinlichkeit × Schadensschwere“ kann nach der Untersuchung problematisch sein. Extrem schwere Folgen könnten dadurch rechnerisch relativ niedrig erscheinen, wenn ihre Eintrittswahrscheinlichkeit gering angesetzt wird.

Die Autoren sehen Anhaltspunkte dafür, dass die Systematik des EU AI Act eher eine solche schutzorientierte Betrachtung unterstützt.

Um quantitative und qualitative Bewertungen miteinander zu verbinden, schlägt die Untersuchung einen zweistufigen Rahmen vor.

1. Zunächst werden mögliche Schäden für Gesundheit, Sicherheit und Grundrechte den legitimen Zwecken des KI-Systems gegenübergestellt. Dabei können etwa öffentliche Interessen oder die unternehmerische Freiheit berücksichtigt werden.
2. Im zweiten Schritt geht es um die regulatorischen Maßnahmen. Hier wird betrachtet, wie stark eine Maßnahme das Risiko reduzieren kann und welche Auswirkungen sie gleichzeitig auf Anbieter, Betreiber und Aufsichtsbehörden hat.

Die Risikobewertung besteht damit nicht allein aus einer mathematischen Berechnung. Sie beinhaltet auch eine rechtliche Abwägung.

Die Untersuchung warnt schließlich vor sogenanntem Risk Hacking. Wenn Anbieter und Betreiber selbst entscheiden können, welche Methode sie zur Quantifizierung verwenden, können unterschiedliche Berechnungsweisen zu unterschiedlichen Ergebnissen führen.

Unternehmen könnten dadurch einen Ansatz wählen, bei dem ihr KI-System möglichst niedrig eingestuft wird. Eine uneinheitliche Interpretation von Wahrscheinlichkeit, Schadensschwere und ihrer Kombination könnte damit zu einer Unterbewertung tatsächlicher Risiken führen. Die Autoren sehen deshalb Bedarf für mehr Klarheit und einheitliche Methoden bei der praktischen Umsetzung der KI-Verordnung.

Die Bewertung von KI-Risiken im EU AI Act lässt sich nicht auf eine einfache Formel reduzieren. Wahrscheinlichkeit und Schadensschwere sind bereits für sich genommen interpretationsbedürftig. Besonders komplex wird die Bewertung, wenn mögliche Grundrechtsverletzungen berücksichtigt werden müssen.

Der vorgeschlagene Severity-first-Ansatz bietet hierfür eine mögliche Lösung: Besonders schwerwiegende Auswirkungen sollen nicht allein deshalb unterschätzt werden, weil ihre Eintrittswahrscheinlichkeit gering erscheint.

Für die praktische Umsetzung der KI-Verordnung wird deshalb entscheidend sein, wie Risiko künftig einheitlich operationalisiert wird. Ohne klare Bewertungsmethoden besteht die Gefahr, dass vergleichbare KI-Systeme unterschiedlich e