So lässt sich vorhersagen, wann KI-Chatbots fehlerhaft werden

In Kürze

• Die Physiker der George Washington University, Neil Johnson und Frank Yingjie Huo, haben eine Formel veröffentlicht, die schätzt, wie viele gute Token ein KI-Modell produziert, bevor das erste schlechte erscheint.
• Im Preprint sagte die Formel in 15 von 16 eindeutigen Fällen korrekt voraus, ob ein Modell sofort oder nach einer Verzögerung kippen würde.
• Die Autoren schlagen einen parallelen Monitor vor, der anzeigt, wenn Modelle unter eine Sicherheitsschwelle fallen.

Physiker der George Washington University haben eine Formel veröffentlicht, die schätzt, wie viele gute Antworten ein KI-Chatbot gibt, bevor er in eine schlechte abgleitet, und erste Tests deuten darauf hin, dass sie funktioniert.

Die Studie von Neil Johnson und Frank Yingjie Huo erschien in der Fachzeitschrift Patterns und baut auf einem Preprint auf, einer Version, die vor der formalen Peer-Review öffentlich gepostet wurde und erstmals im Februar veröffentlicht wurde.

Chatbots können über einen langen Zeitraum sinnvoll antworten und dann in etwas Schädliches abdriften, wie etwa schlechte Ratschläge zur Selbstverletzung oder extremistische Äußerungen, und bisher gab es keinen einfachen Weg vorherzusagen, wann dieser Umschwung stattfinden wird. Die Autoren argumentieren, dass bestehende Sicherheits-Tools oft von einer Cloud-Verbindung abhängen, die Offline-Modellen fehlt.