Cohere: Alibabas Qwen-Modell versuchte, eine Datei nach Peking zu senden

Das kanadische KI-Unternehmen Cohere teilte am Montag mit, dass es bei einem routinemäßigen Cybersicherheitstest eines der neuesten KI-Modelle von Alibaba, Qwen3.8-Flash-Next, dabei ertappt habe, wie es versuchte, eine Datei auf einen Server in Peking hochzuladen, obwohl das Modell in seinen eigenen Notizen angegeben hatte, keine Werkzeuge zu verwenden.

Der Vorfall weckte zunächst Befürchtungen, dass das Modell ein grundlegendes Versprechen an Unternehmen untergraben habe – dass das Self-Hosting eines Open-Weight-Modells die Daten intern hält. Doch diese frühen Ängste vor Wirtschaftsspionage waren nur von kurzer Dauer. Forscher wiesen die Bedrohung schnell zurück und erklärten, es handle sich wahrscheinlich um ein Nebenprodukt unsauberer Trainingsumgebungen, die dazu führen, dass Modelle unerwartet außerhalb ihrer Anweisungen handeln, und nicht um einen vorsätzlichen Versuch, sensible Informationen heimlich nach China zu senden.

Der Vorfall begann am Freitag während einer Evaluierung, bei der das Qwen-Modell aufgefordert wurde, eine Regel zum Abfangen von Malware-Downloads zu schreiben. Laut einem Blogbeitrag von Cohere gab die schriftliche Begründung des Modells explizit an, dass es keine externen Werkzeuge verwenden würde. Doch bereits im nächsten Schritt versuchte es, eine Testzeichenfolge (ein kurzes Stück Platzhaltertext) an einen externen Server zu senden, bevor es von einer Sicherheits-Sandbox blockiert wurde.