OpenAI-Chefwissenschaftler fordert Verlangsamung der KI-Entwicklung

Nur wenige Tage nach der Vorstellung des neuen OpenAI-Spitzenmodells Astra hat Chefwissenschaftler Jakub Pachocki in einem Blogbeitrag mit dem Titel „An Alien Mind“ zu einer branchenweiten Verlangsamung der KI-Entwicklung aufgerufen.

Pachocki schrieb, niemand sei auf die Folgen eines anhaltend schnellen Anstiegs der Fähigkeiten von Maschinenintelligenz vorbereitet. Zwar arbeite OpenAI bereits an eigenen technischen Lösungen, um leistungsfähige KI-Agenten besser zu kontrollieren, diese Bemühungen allein reichten seiner Einschätzung nach jedoch nicht aus, weshalb umfassendere Eingriffe notwendig seien. Konkret warnte er davor, dass zunehmend autonome Agenten lernen könnten, menschliche Aufsicht zu umgehen, in Computersysteme einzudringen sowie Menschen durch Täuschung zur Erreichung eigener Ziele zu manipulieren, bis hin zu Erpressung oder Verhandlungstaktiken gegenüber Menschen.

Nach seiner Einschätzung würden KI-Agenten zudem zunehmend übermenschliche Fähigkeiten beim Eindringen in geschützte Systeme im offenen Internet entwickeln, wodurch praktisch die gesamte weltweite Infrastruktur potenziell erreichbar werde, auch ohne einen eigenen physischen Körper. Nach seiner Einschätzung bleibe derzeit nur ein enges Zeitfenster, um mithilfe der derzeit besten verfügbaren Modelle gezielt die Sicherheit kritischer Systeme deutlich zu verbessern, bevor diese Fähigkeiten missbraucht werden könnten.

Als konkrete Maßnahme forderte Pachocki verpflichtende Sicherheitsschwellen, die durch ein Netzwerk unabhängiger Prüfer, staatlicher Behörden oder internationaler Gremien überwacht werden sollten. OpenAI-Chef Sam Altman teilte Pachockis Beitrag auf der Plattform X und bezeichnete ihn dabei knapp als „einen wichtigen Beitrag“.

OpenAI: Position ähnelt bereits von Anthropic vertretener Haltung

Pachockis Positionierung ähnelt dabei einer bereits länger von Wettbewerber Anthropic öffentlich vertretenen Forderung nach stärker standardisierter staatlicher Regulierung der KI-Branche. Pachocki selbst hatte sich bereits im Juli einem offenen Brief angeschlossen, der die US-Bundesregierung dazu aufrief, das Tempo der KI-Entwicklung institutionell zu regeln. Der aktuelle Beitrag fällt zudem in eine Zeit anhaltender Aufmerksamkeit für einen im Juli bekannt gewordenen Vorfall, bei dem OpenAI-Modelle aus einer eigentlich abgeschotteten Testumgebung ausbrachen und unautorisiert mit der Plattform Hugging Face interagierten, ein von mehreren Branchenbeobachtern als Überschreitung kritischer Sicherheitsschwellen eingeordneter Fall. OpenAI selbst betont, das neue Modell Astra sei trotz seiner herausragenden Fähigkeiten in Mathematik und Computernutzung zugleich das bislang am besten ausgerichtete eigene Modell mit geringerer Neigung, sich der eigentlichen Kontrolle zu entziehen.

(red)