OpenAI hat sechs Fälle aus den vergangenen sechs Monaten veröffentlicht, in denen KI-Modelle während des Trainings oder bei Tests unerwartetes beziehungsweise problematisches Verhalten zeigten.
Das Unternehmen ordnet diese Fälle dem sogenannten "model misalignment" zu. Gemeint sind Situationen, in denen ein Modell nicht im Sinne der vorgegebenen Aufgabe oder der Interessen der Nutzer handelt. Dazu zählen unter anderem nicht autorisierte Aktionen, das Verschweigen von Fehlern oder das Umgehen von Beschränkungen.
Die veröffentlichten Beispiele zeigen unterschiedliche Formen dieses Verhaltens. OpenAI weist allerdings darauf hin, dass sich aus den sechs Fällen nicht ableiten lässt, wie häufig solche Probleme insgesamt auftreten.
KI erfindet Daten und lädt Dateien ins Netz
In einem Fall sollte ein Modell Wirtschaftsdaten für einen kalifornischen Bezirk recherchieren. Dabei stieß es auf einen öffentlich zugänglichen API-Schlüssel und verwendete diesen ohne ausdrückliche Autorisierung.
Als die angefragten Daten dennoch nicht verfügbar waren, erfand das Modell Zahlen und stellte sie so dar, als stammten sie aus der angefragten Quelle.
Ein anderes Forschungsmodell konnte die gesuchten Informationen zwar berechnen, sollte für seine Antwort jedoch zusätzlich eine über den Browser erreichbare Quelle angeben. Daraufhin lud das Modell eigenständig eine Datei ins Internet hoch und verwendete diese anschließend als Quelle. Eine Zustimmung des Nutzers lag dafür nicht vor.
Dass leistungsfähige KI-Modelle bei der Lösung einer Aufgabe über vorgesehene Grenzen hinausgehen können, hatte bereits ein Vorfall mit Hugging Face gezeigt. Dabei verließen OpenAI-Modelle während einer Sicherheitsbewertung ihre abgeschottete Testumgebung und griffen auf externe Systeme zu.
Modelle hinterlassen eigene Anweisungen
Zwei weitere Fälle betreffen interne Zusammenfassungen, mit denen Modelle ihre Arbeit in einem neuen Kontextfenster fortsetzen.
Bei einem nicht veröffentlichten Forschungsmodell fand OpenAI 27 Zusammenfassungen, in denen das Modell zusätzliche Anweisungen hinterlegt hatte. Darunter befanden sich auch Aufforderungen, bestehende Beschränkungen zu ignorieren.
Während des Trainings von GPT-5.6 Sol beobachtete OpenAI zudem Fälle, in denen Modelle Anweisungen in Zusammenfassungen einfügten, um eigenes Fehlverhalten oder Fehler nicht gegenüber Nutzer offenzulegen. Dazu gehörte etwa die Vorgabe, fehlende historische Daten zu erfinden oder Unterschiede zwischen verwendeten Quellen nicht zu erwähnen.
Auch bei Tests mit mehreren KI-Agenten kam es zu unerwartetem Verhalten. In einem Fall nutzten Modelle ein internes Software-Repository als Kommunikationsfläche. Dort hinterließen sie über voneinander getrennte Trainingsdurchläufe hinweg Nachrichten und Antworten.
In einem weiteren Fall tauschten mehrere Agenten Dateien über öffentliche Filehosting-Dienste aus, obwohl sie ausschließlich mit lokalen Dateien arbeiten sollten. Dadurch waren Teile der Arbeit über öffentliche URLs erreichbar.
Kontrolle leistungsfähiger KI wird schwieriger
OpenAI will solche Fälle künftig nach einem einheitlicheren Verfahren untersuchen und veröffentlichen. Dokumentiert werden sollen unter anderem das beobachtete Verhalten, der Kontext, mögliche Auswirkungen sowie die Frage, ob externe Parteien betroffen waren.
Die sechs veröffentlichten Fälle sind laut Unternehmen keine statistische Auswertung. Einzelne Beobachtungen könnten sich nach weiteren Untersuchungen als isolierte Vorfälle erweisen.
Die Kontrollfrage stellt sich insbesondere bei Modellen mit ausgeprägten Cyberfähigkeiten. Anfang September hatte OpenAI Astra wegen seiner Cyberfähigkeiten als "Critical" eingestuft. In Tests fand das Modell unter anderem bislang unbekannte Schwachstellen und entwickelte daraus funktionierende Angriffsketten.
Künftig sollen Mitarbeiter von OpenAI mögliche Fälle von Fehlverhalten zur Untersuchung melden können. Abhängig von Komplexität und möglichen Auswirkungen sollen die Vorfälle unterschiedlich intensiv geprüft werden. Bei Fällen mit betroffenen Drittunternehmen ist eine weitergehende Untersuchung vorgesehen.
OpenAI will in seinen Berichten unter anderem festhalten, welches Verhalten beobachtet wurde, in welchem Umfeld es auftrat und ob Dritte betroffen waren. Soweit möglich, sollen auch Ursachen, offene Fragen und Gegenmaßnahmen dokumentiert werden.
Für die KI-Branche werfen die Fälle damit eine grundsätzliche Frage auf: Je selbstständiger Modelle Aufgaben planen und ausführen können, desto wichtiger wird es, nicht vorgesehene Handlungen frühzeitig zu erkennen und wirksam zu begrenzen.
Kommentar veröffentlichen