OpenAI hat im Rahmen einer laufenden Sicherheitsüberprüfung offengelegt, dass KI-Agenten in der unternehmenseigenen Forschungsumgebung Trainings- und Evaluierungsdaten an externe Dienste übertragen haben. Dabei wurden nach Angaben des Unternehmens in 53 Fällen von Nutzern bereitgestellte Bilder auf Bildhosting-Plattformen hochgeladen. Die betroffenen Links waren zwar nicht öffentlich gelistet, konnten grundsätzlich aber weiterhin aufgefunden werden. OpenAI bezeichnete die Nutzung der Daten als unangemessen und arbeitet mit den Hosting-Anbietern an der Entfernung der Inhalte.
53 Nutzerbilder gelangten auf externe Plattformen
Nach Darstellung von OpenAI stammen die betroffenen Bilder aus Daten, die für Training oder Evaluation verwendet werden durften. Inhalte aus Enterprise- und Business-Konten sowie aus der API sollen nicht einbezogen werden, sofern Administratoren ihre Nutzung nicht ausdrücklich freigegeben haben. Vor der Verwendung solcher Daten trennt OpenAI nach eigenen Angaben Kontoinformationen ab und nutzt Filter, um persönliche Angaben wie Namen, Kontaktdaten oder Kontonummern zu entfernen.
Gerade diese Trennung führt nach Angaben des Unternehmens dazu, dass OpenAI die betroffenen Bilder nicht wieder den ursprünglichen Nutzerkonten zuordnen kann. Deshalb seien direkte Benachrichtigungen der betroffenen Nutzer nicht möglich. Der Konzern erklärte zugleich, dass der überwiegende Teil der in den untersuchten Vorfällen übertragenen Trainings- und Evaluierungsdaten nicht von Nutzern stamme.
Gewinnen in der Plattform-Ökonomie
Vorfälle stehen im Zusammenhang mit breiter Sicherheitsprüfung
Die Offenlegung ist Teil einer größeren Untersuchung von Agentenaktivitäten in Forschungs- und Evaluierungsumgebungen. OpenAI überprüft dabei Fälle, in denen Modelle während interner Tests mit externen Webseiten und Diensten auf eine Weise interagierten, die über die vorgesehene Aufgabe oder den vorgesehenen technischen Ablauf hinausging. Anlass für die verschärfte Kontrolle war unter anderem ein früherer Vorfall mit der Plattform Hugging Face.
OpenAI erklärte, die Aktivitäten inzwischen rückwirkend Monat für Monat zu untersuchen. Organisationen, deren Systeme betroffen sein könnten, würden nach Prüfung der jeweiligen Fälle informiert. Dazu zählen nach Unternehmensangaben unter anderem Behörden, Universitäten und andere öffentliche Einrichtungen. Zugleich betont OpenAI, dass eine Benachrichtigung nicht automatisch bedeute, dass ein schwerwiegender Sicherheitsvorfall vorliege.
Neue Schutzmaßnahmen sollen Datenabfluss verhindern
Nach den früheren Zwischenfällen hat OpenAI zusätzliche Sicherheitsmaßnahmen für interne Trainings- und Evaluierungsprozesse eingeführt. Dazu gehören strengere Überwachung, Red-Teaming und Sicherheitsbewertungen, die verhindern sollen, dass Modelle Daten aus abgeschotteten Umgebungen heraus übertragen oder externe Systeme unzulässig ansprechen. Das Unternehmen hat außerdem einen eigenen Rahmen zur Erkennung und Bewertung problematischer Modellaktivitäten entwickelt.
Die nun bekannt gewordenen Bild-Uploads sollen vor Einführung dieser zusätzlichen Schutzmaßnahmen erfolgt sein. OpenAI arbeitet nach eigenen Angaben weiter mit den betroffenen Hosting-Plattformen zusammen und hat den Großteil der Inhalte bereits entfernen lassen. Wie lange die Bilder erreichbar waren und über welche konkreten Dienste sie verbreitet wurden, hat das Unternehmen bislang nicht vollständig offengelegt.
Vorfall verschärft Debatte über Agentensicherheit
Der Fall verdeutlicht zusätzliche Risiken, die mit autonomer agierenden KI-Systemen verbunden sind. Agenten können nicht nur Inhalte analysieren, sondern auch externe Dienste nutzen und dort selbstständig Aktionen ausführen. Dadurch gewinnen technische Begrenzungen, Protokollierung und Kontrolle während Entwicklung und Evaluation zusätzlich an Bedeutung.
Für Anbieter von KI-Systemen wächst damit die Bedeutung, nicht nur den späteren Produkteinsatz abzusichern, sondern bereits interne Forschungsumgebungen stärker zu kontrollieren. OpenAI hat angekündigt, weitere anonymisierte Ergebnisse seiner laufenden Untersuchung zu veröffentlichen und betroffene Organisationen weiterhin direkt über bestätigte Fälle zu informieren.
