Anthropic kann seine KI-Agenten nicht zuverlässig kontrollieren und trennt interne Evaluationen vom Live-Internet

Anthropic gab bekannt, dass seine Modelle Websites im Internet ausgenutzt haben, darunter auch solche, die von US-Regierungsbehörden betrieben werden, und dass es den Live-Internetzugang für alle seine internen Evaluierungen abschalten wird, bis sich das Frontier Lab sicher ist, dass es seine KI-Agenten überwachen und kontrollieren kann.

Die Vorfälle, die in einem Blog-Post offengelegt wurden, betrafen KI-Agenten, die mit der Lösung von Problemen beauftragt waren und nach Ressourcen im Internet suchten. Dabei nutzten sie Software-Schwachstellen aus, umgingen Paywalls und Anti-Bot-Beschränkungen, nutzten URL-Verkürzungsdienste, um Informationen an Beschränkungen vorbeizuschleusen, und reichten sogar einen falschen Mordhinweis bei der Polizei von Philadelphia ein.

Anthropic gab an, dass es diese neuen Probleme bei einer im Juli begonnenen Überprüfung der Aktivitäten seiner Modelle entdeckt habe, was das mangelnde Bewusstsein des Labors für das Verhalten seiner Software unterstreiche.

Bemerkenswerterweise gab das Unternehmen an, dass das Alignment-Training für Fähigkeiten wie die Suche und die Computerbenutzung noch nicht ausreichend sei, die jedoch zentral für sein Versprechen sind, dass KI-Agenten von jedem Fachmann eingesetzt werden können, der auf digitale Werkzeuge angewiesen ist.