OpenAI hat sein sogenanntes Preparedness-Team nach einem Bericht der Financial Times Ende des vergangenen Monats aufgelöst. Die Einheit sollte prüfen, ob KI-Modelle schwerwiegende Risiken bergen, und Gegenmaßnahmen entwickeln. Ihre Zuständigkeiten werden dem Bericht zufolge nun nach Themen wie Biologie und Cybersicherheit aufgeteilt und in bestehende Teams verlagert. Damit verschwindet bei dem KI-Unternehmen eine weitere eigenständige Sicherheitsstruktur, während sich OpenAI auf einen erwarteten Börsengang zubewegt. Teamleiter Dylan Scandinaro bleibt demnach im Unternehmen, soll seinen Schwerpunkt künftig aber auf die Folgen rekursiv selbstverbessernder künstlicher Intelligenz legen.
- Das Preparedness-Team wurde laut Financial Times Ende des vergangenen Monats aufgelöst.
- Seine Aufgaben werden auf Bereiche wie Biologie und Cybersicherheit sowie auf bestehende Teams verteilt.
- Dylan Scandinaro soll künftig die Folgen rekursiv selbstverbessernder KI untersuchen.
Weitere Sicherheitseinheiten waren bereits verschwunden
Die Auflösung steht nicht für sich. OpenAI hatte zuvor bereits seine Teams für AGI Readiness und Superalignment aufgelöst. Dem Bericht zufolge baut das Unternehmen damit schrittweise Strukturen seines stärker forschungsorientierten Modells zurück.
Zudem haben mehrere mit Ethik und Sicherheit befasste Führungskräfte das Unternehmen kürzlich verlassen: die Ethikverantwortliche Chloé Bakalar, Chief Futurist Josh Achiam und Sicherheitschef Johannes Heidecke.
Zu den Kritikern der Entwicklung zählt Jan Leike, der OpenAI 2024 verlassen hatte. Er sagte der Financial Times, das Unternehmen vernachlässige Sicherheit zugunsten „glänzender Produkte“.
Die personellen Abgänge und aufgelösten Einheiten verstärken die Frage, welchen organisatorischen Stellenwert eigenständige Sicherheitsforschung bei OpenAI künftig haben wird.
Diese Frage ist auch mit Blick auf den erwarteten Börsengang relevant. Bei einem Börsengang werden Unternehmensanteile öffentlich handelbar; für potenzielle Anleger können deshalb neben Produkten und Wachstum auch interne Kontroll- und Risikostrukturen eine Rolle spielen.
Die Risikoarbeit wandert in bestehende Fachteams
Das Preparedness-Team hatte den Auftrag, mögliche schwerwiegende Gefahren neuer Modelle einzuschätzen und Wege zu ihrer Begrenzung zu entwickeln. Dazu gehörten auch Szenarien, in denen ein Modell außer Kontrolle geraten und ein anderes Unternehmen hacken könnte.
Nach der Auflösung sollen einzelne Zuständigkeiten nun in spezialisierten Bereichen wie Biologie und Cybersicherheit weitergeführt werden. Statt einer eigenen zentralen Einheit liegt die Arbeit damit künftig bei mehreren vorhandenen Teams.
Die Umorganisation bedeutet nicht automatisch, dass OpenAI die Risikoarbeit einstellt – sie verändert aber, wo Verantwortung gebündelt und wie sie innerhalb des Unternehmens verteilt wird.
Für Nutzer und Unternehmenskunden wird daher entscheidend sein, ob das verteilte Modell dieselben Risiken über Fachgrenzen hinweg erfassen kann. Ob die neue Struktur Sicherheitsprüfungen stärkt oder schwächt, geht aus dem Bericht nicht hervor.
Scandinaro untersucht künftig selbstverbessernde KI
Dylan Scandinaro, der im Februar von Anthropic zu OpenAI gewechselt war, soll sich nun auf die Auswirkungen „rekursiv selbstverbessernder“ KI konzentrieren. Gemeint sind grundsätzlich Systeme, die ihre eigenen Fähigkeiten wiederholt verbessern könnten.
Damit bleibt Scandinaros Arbeit auf ein langfristiges KI-Risiko ausgerichtet, allerdings außerhalb des bisherigen Preparedness-Teams. Welche organisatorische Form dieses neue Aufgabenfeld erhält, ist dem Bericht nicht zu entnehmen.
Ist die Verteilung der Sicherheitsarbeit auf Fachteams sinnvoller als eine zentrale Einheit? Teilen Sie Ihre Einschätzung zur Neuorganisation bei OpenAI.
