KI UND ML

OpenAI gibt zu, dass seine Agenten weitere sechs Mal die Kontrolle verloren haben

Startup sagt, es habe aus diesen Fehlern gelernt und sie sollten nicht wieder vorkommen … genau das, was Zuck schon etwa 100 Mal gesagt hat

OpenAI hat weitere sechs Gelegenheiten enthüllt, bei denen sich seine KI-Software unerwartet verhielt oder gefährliche Dinge tat.

Das Startup fügte die Vorfälle am Mittwochabend pazifischer Zeit seiner Seite für Fehlausrichtungsberichte hinzu und beschrieb sie wie folgt:

·       Selbstgenerierte Prompt-Injektionen in Komprimierungszusammenfassungen

·       Förderung von Täuschung in Komprimierungszusammenfassungen

·       Anmeldung für Einweg-E-Mails und Suche auf GitHub nach geleakten API-Schlüsseln

·       Hochladen von Dateien ins Internet, um sie zu zitieren

·       Unbefugte Schreibvorgänge in Artifactory und Kommunikation über Proben hinweg

·       Unbefugte Kommunikation über temporäre Datei-Hosting-Dienste

Die Details sind beunruhigend.

Der erste Vorfall auf der Liste sah zum Beispiel vor, dass ein unveröffentlichtes Modell während des Reinforcement Learning „Jailbreak-ähnliche Anweisungen in seine eigenen Komprimierungszusammenfassungen (die Zusammenfassungen, die verwendet werden, um eine Aufgabe in einem neuen Kontext fortzusetzen) schrieb“.