Cybersicherheit: KI-Pakethalluzinationen als neue Gefahr

Die Landschaft der Cybersicherheit wird durch Künstliche Intelligenz (KI) grundlegend verändert. Nun zeigt eine umfassende neue Studie von Forschern der University of Texas at San Antonio (UTSA) und Kooperationspartnern, dass die fortschreitende Integration von KI in die Softwareentwicklung eine weitere spezifische und ernstzunehmende Sicherheitslücke schafft: Die Pakethalluzination.

KI verändert Spielregeln der Cybersicherheit

Wie Berichte des Verfassungsschutzes Baden-Württemberg und der CERIS Expert Group sowie der Google Cybersecurity Forecast 2025 verdeutlichen, ist KI zu einem mächtigen Werkzeug geworden – sowohl zum Schutz als auch zur Bedrohung von IT-Systemen. Während KI-gestützte Technologien die Cyberabwehr deutlich verbessern können, indem sie beispielsweise Anomalien in Netzwerken frühzeitig erkennen, warnen Analysten eindringlich vor dem verstärkten Einsatz von KI durch staatlich gesteuerte Akteure und Kriminelle.

Pakethalluzination vs. Slopsquatting

Während klassische Angriffsformen wie Typosquatting oder Slopsquatting gezielt auf menschliche Tippfehler bei der Paketinstallation setzen – etwa durch das Bereitstellen eines schädlichen Pakets mit leicht abgewandeltem Namen eines bekannten Originals (z. B. reqeusts statt requests) – geht die von der UTSA-Studie untersuchte Bedrohung einen Schritt weiter: Hier handelt es sich um Pakethalluzinationen, also durch KI-Modelle wie LLMs generierte, aber tatsächlich nichtexistierende Paketnamen. Diese Halluzinationen entstehen nicht durch Eingabefehler aufseiten der Entwickler, sondern durch die textgenerierende KI selbst.

Angreifer nutzen dieses Verhalten aus, indem sie ein zuvor nicht existentes, aber vom Modell vorgeschlagenes Paket gezielt im Repository veröffentlichen – samt Schadcode. Im Gegensatz zum Slopsquatting, das auf zufällige Fehlgriffe der Nutzer hofft, basiert die Pakethalluzination auf der systematischen Schwäche von Sprachmodellen und stellt damit eine eigenständige, KI-spezifische Angriffsklasse dar.

So funktionieren Paket-Halluzinationen

Die Studie, die zur Veröffentlichung auf dem renommierten USENIX Security Symposium 2025 angenommen wurde, untersuchte, wie Large Language Models (LLMs) – jene KI-Modelle, Code generieren oder empfehlen, der auf nicht-existierende Softwarepakete verweist. Dieses Phänomen wird als Pakethalluzination bezeichnet. Die Gefahr bei Pakethalluzinationen liegt in ihrer einfachen Ausnutzbarkeit für bösartige Angriffe. Der Mechanismus ist beunruhigend direkt:

1. Ein Entwickler verwendet ein LLM zur Codegenerierung.
2. Das Modell schlägt ein nicht-existierendes Paket vor.
3. Ein Angreifer identifiziert solche Paketnamen und veröffentlicht unter diesem Namen ein bösartiges Paket.
4. Der Entwickler, im Vertrauen auf die Modell-Ausgabe, installiert das Paket – das System wird kompromittiert.

Das wachsende Vertrauen in LLMs bei Codierungsaufgaben macht Entwickler anfälliger, da sie weniger dazu neigen, die empfohlenen Paketnamen kritisch zu hinterfragen. Die Offenheit von Repositories wie PyPI und npm, bei denen jeder Pakete hochladen kann, begünstigt diese Art der Verbreitung von Malware. Die Forscher betonen die Einfachheit des Auslösers – oft nur ein alltäglicher Installationsbefehl – und die weit verbreitete Abhängigkeit von Open-Source-Software. Sie stellen fest, dass einfaches Nachschlagen in einer Liste bekannter Pakete als Abwehrmaßnahme ineffektiv ist, da der Angreifer das halluzinierte Paket schnell im Repository veröffentlichen kann.

Ergebnisse der UTSA-Studie

Die Untersuchung analysierte 576.000 automatisch generierte Code-Snippets in Python und JavaScript mithilfe von 16 LLMs. Es stellten sich 19,7 % als Halluzinationen heraus. Besonders auffällig: Open-Source-Modelle wie DeepSeek erzeugten deutlich mehr Halluzinationen als proprietäre Modelle wie GPT-4 Turbo. Auch das Angriffspotenzial variiert: JavaScript sei anfälliger als Python. Zudem sind viele Halluzinationen persistent, das heißt: sie treten reproduzierbar beim gleichen Modell auf – eine systemische Schwachstelle.

Präventionsstrategien und Handlungsempfehlungen

Die Studie evaluiert unterschiedliche Methoden zur Reduktion von KI Pakethalluzinationen. Am effektivsten erwies sich ein Supervised Fine-Tuning, wenngleich dies zulasten der Codequalität gehen kann. Ein hybrider Ansatz (Ensemble-Verfahren) biete das beste Verhältnis von Sicherheit und Funktionalität.

Aus rechtlicher Sicht ist dabei die Dokumentation der eingesetzten Modelle, ihrer Trainingsdaten und der internen Qualitätssicherung entscheidend. Unternehmen sollten im Rahmen ihrer Compliance-Strategien klare Richtlinien zum Einsatz von LLMs definieren – etwa verpflichtende Überprüfungen generierter Paketnamen oder automatisierte Whitelists vertrauenswürdiger Abhängigkeiten.

Implikationen für Entwickler, Unternehmen und Behörden

Für Entwickler bedeutet dies: Kritische Prüfung ist essenziell – insbesondere bei der Integration von Drittanbieterpaketen. Der unreflektierte Einsatz von LLM-Empfehlungen kann haftungsrechtliche Konsequenzen haben, insbesondere wenn durch fehlerhafte Abhängigkeiten personenbezogene Daten kompromittiert werden.

Für Unternehmen und öffentliche Stellen ist es unerlässlich, den Umgang mit KI-basierten Entwicklungstools strategisch zu hinterfragen. Dies betrifft sowohl IT-Sicherheitsrichtlinien als auch Datenschutzvorgaben nach der DSGVO. Insbesondere im Rahmen der Rechenschaftspflicht („accountability“) müssen technische und organisatorische Maßnahmen (TOM) nachweisbar an den Stand der Technik angepasst werden.

Fazit

Die UTSA-Studie liefert einen Beleg für neue, durch KI induzierte Angriffsformen. Diese lassen sich nicht mit klassischen Methoden vollständig abwehren. Es bedarf eines vorausschauenden, risikobasierten Sicherheitsverständnisses, das KI als sowohl Chance als auch Bedrohung begreift. Die Bedrohung von KI Pakethalluzinationen fügt sich nahtlos in das Bild ein, das auch andere Cybersicherheitsanalysen zeichnen: KI wird von Angreifern genutzt, um neue, schwerer erkennbare und potenziell weitreichende Attacken durchzuführen. So wie Deepfakes oder personalisierte Phishing-E-Mails das Vertrauen in digitale Kommunikation untergraben, untergräbt die Pakethalluzination das Vertrauen in die Ausgabe von Code-LLMs und in Open-Source-Repositories.

KI wird künftig ein fester Bestandteil von Cybersicherheitslösungen sein müssen, um den Angreifern einen Schritt voraus zu sein. Die Zukunft der Cybersicherheit wird maßgeblich davon abhängen, ob es gelingt, mit der Geschwindigkeit und Innovationskraft KI-gestützter Angriffe Schritt zu halten, indem man neue Schwachstellen wie Pakethalluzinationen proaktiv adressiert. Dies erfordert ständige Wachsamkeit und die Bereitschaft, neue, durch KI ermöglichte Risiken zu verstehen und abzuwehren.