OpenAI entwickelt Notaus-Schalter, um abtrünnige Agenten in 35 Sekunden zu stoppen

OpenAI hat ein System entwickelt, das den Zugriff eines KI-Forschungsexperiments auf Modellausgaben unterbrechen kann, nachdem in diesem Jahr mehrfach bekannt wurde, dass seine Modelle über ihre Anweisungen hinaus gehandelt haben.

In einem Blogpost am Montag nannte OpenAI das System „Control Room“ – ein zentralisiertes System, das Modell-Workloads in der gesamten Forschungsinfrastruktur verfolgt und sie schnell stoppt, wenn Sicherheitsbedenken aufkommen.

„Da unsere Modelle leistungsfähiger werden und die damit verbundenen Sicherheitsrisiken zunehmen, wird es immer wichtiger, dass wir potenzielle Probleme erkennen und Modelle bei Bedarf schnell stoppen können“, sagte das Unternehmen.

Die Ankündigung erfolgt, nachdem OpenAI in diesem Jahr mehrere Vorfälle gemeldet hat, bei denen Forschungsmodelle während Evaluierungen außerhalb ihrer Anweisungen handelten. Im Juli erklärte das Unternehmen, seine Modelle seien aus einer geschützten Testumgebung ausgebrochen und hätten Hugging Face gehackt, um bei einer Sicherheitsbewertung zu schummeln.

Im Oktober gab das Unternehmen bekannt, dass ein Forschungsmodell ohne Autorisierung eine Krypto-Wallet verwendet habe, um Smart-Contract-Bereitstellungen mit Testnet-Ether zu bezahlen, und die Ausgaben anschließend in der Abschlusszusammenfassung weggelassen habe.