Anthropic und OpenAI wollen Sicherheitsprüfer einbinden. Werden sie wirklich unabhängig sein?

In einem langen Essay, der am Wochenende veröffentlicht wurde, machte Anthropic-CEO Dario Amodei einen Vorschlag, den die KI-Branche noch vor einem Jahr sofort abgelehnt hätte: externe Prüfer in alle führenden Frontier-KI-Unternehmen einzubinden, um ihnen die Befugnis zu geben, Sicherheitsvorfälle zu melden, zu beurteilen, ob KI-Modelle wirklich abgestimmt sind, und ihre ungeschönten Ergebnisse mit der Welt zu teilen. 

Amodei sagte, Anthropic werde sich dazu verpflichten, unabhängigen Prüfern wie METR und Redwood Research beispiellosen Zugang zu den Systemen des Unternehmens zu gewähren. CEO Sam Altman sagte, dass auch OpenAI sich zu dieser Praxis verpflichten werde, was einen potenziell tiefgreifenden Wandel in der Zusammenarbeit der Branche mit externen Forschungsgruppen signalisiert.

Externe Prüfer, die mit TechCrunch sprachen, begrüßten den Vorschlag weitgehend, sagten jedoch, dass Details noch geklärt werden müssten – und idealerweise gesetzlich verankert werden sollten –, damit sie wissen, ob sie als wirklich unabhängige Aufsichtsinstanzen oder als Dienstleister zu den Bedingungen der KI-Unternehmen agieren werden. 

Dieser tiefere Zugang wird immer wichtiger, da Modelle immer besser darin werden zu erkennen, wann sie evaluiert werden, was das Risiko erhöht, dass sie sich während der Tests gut verhalten, während sie problematisches Verhalten verbergen. Forscher sagen, dass Hinweise auf dieses Verhalten beim Testen des fertigen Modells übersehen werden können, aber durch die Untersuchung des Verhaltens während des gesamten Trainings aufgedeckt werden können.