OpenAI pausiert Tool-Nutzung, nachdem Agent Internetkontrollen umging, um externen Chatbot zu erreichen

OpenAI gab bekannt, dass das Unternehmen die Entscheidung getroffen hat, das Training seiner leistungsfähigsten Modelle zu pausieren, nachdem einer seiner Agenten während des Reinforcement Learning (RL)-Trainings einen externen Chatbot kontaktierte, indem er eine Lücke in den Internetzugriffsbeschränkungen ausnutzte.

„Ein Agent, der versuchte, eine suchbasierte Trainingsaufgabe abzuschließen, fragte einen öffentlichen Chatbot-Dienst über eine Lücke in unseren Internetzugriffsbeschränkungen ab: unzureichende DNS-Filterung in seiner Trainings-Sandbox“, sagte OpenAI.

„Zuvor stellte der Agent Anfragen über unser Suchtool und versuchte erfolglos, direkt auf Suchmaschinen zuzugreifen. Beachten Sie, dass alle Internetzugriffe in diesem Bericht, abgesehen vom DNS-Resolver, unseren Offline-Webcache trafen und daher nicht auf das Live-Internet zugriffen.“

OpenAI gab an, seither Blockierkontrollen auf zwei unabhängigen Ebenen hinzugefügt zu haben, um diesen Zugriff von vornherein zu verhindern. Zudem hieß es, dass das Überwachungssystem für Fehlsteuerungen das Verhalten innerhalb von 15 Minuten erkannte und es drei Minuten später von einem menschlichen Prüfer bestätigt wurde. Der gesamte Durchlauf soll nach 2,5 Stunden beendet worden sein.