KI-Agenten die Kontrolle überlassen? USC-Ingenieure entwickeln Tools zur Prüfung und Überwachung von KI-Agenten

KI-Agent bei der harten Arbeit (Bildnachweis: MidJourney)

Die heutigen Agenten der künstlichen Intelligenz (KI) können dabei helfen, Dateien auf Ihrem Desktop zu verschieben, auf Computerpasswörter zuzugreifen und sogar eigenständig Entscheidungen zu treffen, wie ein persönlicher Assistent. Aber mit großer Macht geht große Verantwortung einher — wenn die KI einen Fehler macht, können die Folgen katastrophal sein.

KI-Agenten haben bereits Fehlleistungen gezeigt, die für Schlagzeilen sorgten. Ein Agent mit Zugriff auf die persönlichen Daten eines Benutzers erfuhr von dessen Frustrationen am Arbeitsplatz und reichte ohne Rücksprache ein Kündigungsschreiben ein. Von anderen Agenten mit Zugriff auf die Computerordner eines Benutzers wurde berichtet, dass sie einen Befehl falsch interpretierten und am Ende Dateien löschten und ihre Daten vollständig vernichteten.

Ein Team von USC-Informatikern unter der Leitung von Yue Zhao hat es sich zur Aufgabe gemacht, ein Sicherheitsnetz zu entwickeln, um die Handlungen der KI rechenschaftspflichtig zu machen, sicherzustellen, dass Menschen bei wichtigen Entscheidungen einbezogen bleiben, und schwerwiegende Folgen zu verhindern.

Das Team folgt einem dreiphasigen Framework: Überprüfung eines Agenten vor seiner Ausführung, Überwachung während der Ausführung und Rekonstruktion bereits abgeschlossener Aktionen, wenn etwas schiefgeht.