Stanford legt neue Sicherheitsregeln für autonome KI-Agenten fest | ETIH EdTech News

Stanford University hat einen neuen Sicherheitsrahmen für KI-Systeme entwickelt, die in Forschung, Lehre, Gesundheitswesen und Verwaltung eingesetzt werden, mit besonderem Augenmerk auf eine wachsende Herausforderung für Institutionen: KI, die Dinge tun kann, statt nur Antworten zu generieren.

Das Stanford AI Security Framework (AISF) bewertet Systeme nach Faktoren wie Datensensibilität, Autonomie, Zugang zu Tools und den potenziellen Folgen einer Aktion. Es kombiniert AIUC-1 mit etablierten Ansätzen wie ISO 42001, dem NIST AI Risk Management Framework, dem EU AI Act und dem AI Vulnerability Scoring System von OWASP.

Für Universitäten wird das Problem komplexer, da KI-Funktionen sowohl in neuen Tools als auch in bestehender Software auftauchen. Einige Systeme fassen möglicherweise nur Informationen zusammen. Andere können Datensätze ändern, Mitteilungen versenden oder Aktionen über vernetzte Systeme ausführen.

Amy Steagall, Chief Information Security Officer an der Stanford University, sagt, das Ziel sei es, den Menschen die Nutzung von KI zu ermöglichen, ohne den Sicherheitsprozess selbst zu einem Hindernis zu machen:

„Der Geist ist aus der Flasche, KI spielt heute und in Zukunft eine entscheidende Rolle in unserer Forschung und Ausbildung. Mein Ziel war es, den einfachen Weg zum sichersten Weg zu machen, indem wir unsere gründlichsten Prüfungen auf die Systeme konzentrieren, die sie wirklich benötigen.“