KI: Wer übernimmt die Marktüberwachung in Deutschland?

Ein öffentlich gewordener Referentenentwurf zur Umsetzung der KI-VO stößt auf erhebliche Kritik vom Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit. Droht Deutschland ein europarechtswidriges KI-Durchführungsgesetz?

Der Referentenentwurf der Bundesregierung

Die Europäische Verordnung über Künstliche Intelligenz (KI-VO) ist am 1. August 2024 in Kraft getreten. Hierfür müssen die nationalen Aufsichtsstrukturen bis zum 2. August 2025 etabliert sein. Vor diesem Hintergrund hat das Bundesministerium für Wirtschaft und Klimaschutz und das Bundesministerium der Justiz einen Referentenentwurf zur Durchführung der KI-VO vorgelegt. Zentrales Element dieses Durchführungsgesetzes ist es, der Pflicht der Benennung von zuständigen nationalen notifizierende Behörde und Marktüberwachungsbehörden sowie zentraler Anlaufstellen nach Art. 70 KI-VO nachzukommen.

Bundesnetzagentur als zentrale Marktüberwachungsbehörde

Der Referentenentwurf sieht vor, die Bundesnetzagentur (BNetzA) als zentrale Marktüberwachungsbehörde für KI in Deutschland zu etablieren. Die BNetzA soll auch im öffentlichen Sektor zuständig sein und damit den KI-Einsatz in der Landesverwaltung überwachen.

Für grundrechtssensible Bereiche des staatlichen KI-Einsatzes nach Art. 74 Abs. 8 KI-VO, wie Strafverfolgung, Justiz, Wahlen und Migration, soll nicht die (Landes-)Datenschutzbehörde, sondern die BNetzA durch eine neu zu schaffende „Unabhängige Marktüberwachungskammer” (UKIM) zuständig sein. Es ist zudem ein „Koordinierungs- und Kompetenzzentrum“ (KoKIVO) für die KI-Aufsicht bei der BNetzA geplant.

KI-Reallabore & Hochrisiko-KI

Der Referentenentwurf sieht zudem Regelungen für die Errichtung von KI-Reallaboren und Tests von Hochrisiko-KI-Systemen unter Realbedingungen vor. Bevor ein Anbieter ein in Anhang III der KI-VO genanntes Hochrisiko-KI-System unter Realbedingungen nach Art 60 KI-VO testen dürfen, hat er einen Plan für den Test bei der Marktüberwachungsbehörde zur Genehmigung einzureichen. Die Genehmigung gilt jedoch als erteilt, wenn der Anbieter binnen 30 Tagen keine Antwort erhält.

Kritik des Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit

Der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit (HmbBfDI), Thomas Fuchs, hat auf LinkedIn deutliche Kritik an der Verfassungs- und Europarechtsmäßigkeit des Referentenentwurfs geäußert. Dr. Markus Wünschelbaum – ebenfalls vom HmbBfDI – teilt diese Einschätzung.

Europarechtswidrigkeit

Fuchs bemängelt, dass die Bundesregierung die Bundesnetzagentur als zentrale Behörde benannt hat und damit die Vorgaben des Art. 74 Abs. 8 KI-VO missachtet. Diese Vorschrift sehe für Hochrisiko-KI in grundrechtssensiblen Bereichen (z.B. Strafverfolgung, Justiz) zwingend die Zuständigkeit von Datenschutzaufsichtsbehörden oder Behörden vor, die bereits die Einhaltung der JI-Richtlinie (Datenschutz in Strafsachen und der Polizeiarbeit) überwachen. Der Verordnungsgeber habe bewusst die Expertise dieser Behörden nutzen wollen. Die Schaffung einer neuen Einrichtung wie der UKIM sei unionsrechtlich nicht vorgesehen.

Verfassungswidrigkeit

Weiterhin kritisiert Fuchs, dass die zentrale Zuständigkeit der BNetzA für die Marktüberwachung auch in Bereichen der Landesverwaltung (z.B. Hochschulen, Landespolizei) die in Art. 30 GG geschützte Eigenstaatlichkeit der Länder berührt. Die Kontrolle der Landespolizeiarbeit durch eine Bundesbehörde stelle einen Eingriff in den Kernbereich der Länderexekutive dar.

Die Zeit wird knapp

Die Frist für die Etablierung der nationalen Aufsichtsstruktur ist der 2. August 2025. Der Referentenentwurf zielte darauf ab, rechtzeitig vor Ablauf dieser Frist die notwendigen Strukturen zu schaffen. Allerdings hat es die alte Ampelregierung nicht mehr in ihrer Legislaturperiode geschafft.

Mit der Neuwahl im Februar 2025 ist die Aufgabe, zügig eine rechtskonforme Umsetzung der KI-VO sicherzustellen, auf die nächste Bundesregierung übergegangen. Es ist derzeit unklar, inwieweit die neue Regierung den vorliegenden Referentenentwurf übernehmen oder abändern wird. Zudem drängt langsam die Zeit, da bis zum Fristablauf auch erstmal eine neue Regierung gebildet werden muss.

BayLDA schafft Funktion eines KI-Beauftragten

Angesichts des drohenden Umsetzungsverzugs auf Bundesebene und der damit verbundenen Unsicherheiten hat das Bayerische Landesamt für Datenschutzaufsicht (BayLDA) proaktive Maßnahmen ergriffen. Wie aus einer Pressemitteilung hervorgeht, hat das BayLDA hat seit Jahresbeginn 2024/25 eine erste Anlaufstelle für Hilfestellungen zur Umsetzung des neuen Datenrechts eingerichtet. Begründet hat das BayLDA es mit den bevorstehenden Neuwahlen und damit fehlenden zeitnahen Benennung der Marktaufsichtsbehörde für KI durch den Bund.

In diesem Zug wurde die Funktion eines „KI-Beauftragten“ geschaffen, der Unternehmen in Bayern bei der Umsetzung der KI-VO unterstützen soll. Der Bereich „Digitalwirtschaft“ wurde eingerichtet, um rechtliche Hilfestellungen zu Datenschutz und KI zu bieten und die datenschutzrechtliche Rechtsdurchsetzung zu koordinieren. Das BayLDA bietet einen neu strukturierten Zugang zu individuellen Beratungen im Bereich KI an, insbesondere für Start-Ups und KMUs.

Fazit

Der vorliegende Referentenentwurf zur Durchführung der KI-VO hat zwar mit der Neuwahl vorerst an Aktualität verloren, doch ist nicht ausgeschlossen, dass das Durchführungsgesetz in ähnlicher Fassung letztlich verabschiedet wird. Die Kritik aus Hamburg zeigt: Die Marktüberwachungsstruktur muss im Hinblick auf die KI-VO und den Föderalismus überdacht werden. Die vergangene Neuwahl im Februar 2025 verzögert den Gesetzgebungsprozess zusätzlich. Die Initiative des BayLDA zeigt, dass die Bedeutung einer frühzeitigen Auseinandersetzung mit den Anforderungen der KI-VO erkannt wurde und auf Landesebene bereits erste Schritte zur Vorbereitung unternommen werden. Ob Position der Marktüberwachung bei der BNetzA noch einmal überdacht und wie die neue Bundesregierung auf die bestehenden Bedenken reagieren wird, bleibt zunächst abzuwarten.