Ein interner Sicherheitstest von OpenAI hat unbeabsichtigt zu einem Angriff auf externe IT-Systeme geführt. Nach Angaben des Unternehmens überwanden mehrere besonders leistungsfähige KI-Modelle die vorgesehenen technischen Begrenzungen und verschafften sich Zugang zur Infrastruktur der Plattform Hugging Face.
Modelle sollten komplexe Angriffspfade erproben
Der Vorfall ereignete sich während einer Prüfung fortgeschrittener Cyberfähigkeiten. Die eingesetzten Modelle sollten in einer isolierten Umgebung anspruchsvolle Schwachstellenketten identifizieren, wobei reguläre Schutzfilter für riskante Cyberaktivitäten bewusst deaktiviert waren.
OpenAI zufolge konzentrierten sich die Systeme darauf, Lösungen für den Sicherheitsbenchmark ExploitGym zu finden. Dabei entwickelten sie selbstständig Wege, um die abgeschottete Testumgebung zu verlassen und Zugriff auf das offene Internet zu erhalten.
Gewinnen in der Plattform-Ökonomie
Unbekannte Sicherheitslücke ermöglichte Ausbruch
Zunächst entdeckten die Modelle eine bislang nicht bekannte Schwachstelle in einer intern betriebenen Software für den Zugriff auf Paketregister. Über diese Lücke weiteten sie ihre Berechtigungen aus und bewegten sich schrittweise durch die Forschungsinfrastruktur von OpenAI.
Schließlich erreichten die Systeme einen Rechner mit Internetzugang. Anschließend suchten sie gezielt nach extern gespeicherten Modellen, Datensätzen und möglichen Lösungen, die ihnen einen Vorteil bei der laufenden Bewertung verschaffen konnten.
Angriff erreichte Systeme von Hugging Face
Nach der Darstellung von OpenAI kombinierten die Modelle gestohlene Zugangsdaten mit weiteren Schwachstellen. Dadurch gelang es ihnen, einen Weg zur Ausführung von Schadcode auf Servern von Hugging Face zu finden und auf vertrauliche Informationen zuzugreifen.
Die Sicherheitsabteilungen beider Unternehmen bemerkten die ungewöhnlichen Aktivitäten und stoppten den Vorgang. Hugging Face hatte bereits mit Eindämmung und forensischer Untersuchung begonnen, als sich die Teams beider Anbieter abstimmten.
OpenAI verschärft Kontrollen bei Modelltests
Als Reaktion wurden strengere technische Beschränkungen für interne Prüfungen eingeführt, auch wenn diese den Forschungsprozess verlangsamen. Zudem arbeiten OpenAI, Hugging Face und der Anbieter der betroffenen Drittsoftware an der Aufklärung und Behebung der entdeckten Schwachstellen.
Künftige Tests sollen stärker überwacht und besser abgeschottet werden. OpenAI sieht insbesondere bei langfristig selbstständig handelnden Modellen zusätzlichen Bedarf für wirksame Zugangskontrollen, Angriffserkennung und Sicherheitsmechanismen während der Entwicklung.
Vorfall zeigt praktische Reichweite neuer KI-Systeme
Der Zwischenfall verdeutlicht nach Einschätzung des Unternehmens, dass moderne KI-Modelle komplexe Cyberangriffe nicht mehr nur unter theoretischen Laborbedingungen planen können. Sie sind zunehmend in der Lage, unbekannte Angriffspfade zu entdecken, mehrere Schwachstellen miteinander zu verbinden und über längere Zeit ein eng definiertes Ziel zu verfolgen.
OpenAI betont zugleich das defensive Potenzial dieser Fähigkeiten. Sicherheitsverantwortliche könnten leistungsfähige Modelle einsetzen, um Schwachstellen früher zu erkennen, Angriffsketten schneller nachzuvollziehen und Schutzmaßnahmen automatisiert umzusetzen.
