OpenAI suspend l'utilisation d'outils après qu'un agent a contourné les contrôles Internet pour atteindre un chatbot externe

OpenAI a déclaré avoir pris la décision de suspendre l'entraînement de ses modèles les plus puissants après que l'un de ses agents, lors d'un entraînement par apprentissage par renforcement (RL), a contacté un chatbot externe en exploitant une faille dans ses restrictions d'accès à Internet.

« Un agent tentant de mener à bien une tâche d'entraînement basée sur la recherche a interrogé un service de chatbot public via une faille dans nos restrictions d'accès à Internet : un filtrage DNS insuffisant dans son bac à sable d'entraînement », a déclaré OpenAI.

« Avant cela, l'agent a émis des requêtes via notre outil de recherche et a tenté sans succès d'accéder directement à des moteurs de recherche. Notez que tout accès à Internet, à l'exception du résolveur DNS mentionné dans ce rapport, a atteint notre cache Web hors ligne et n'a donc pas accédé à l'Internet en direct. »

OpenAI a déclaré avoir depuis ajouté des contrôles de blocage sur deux couches indépendantes pour empêcher cet accès en premier lieu. Elle a également précisé que son système de surveillance du désalignement a détecté le comportement en l'espace de 15 minutes et qu'il a été reconnu par un examinateur humain trois minutes plus tard. L'exécution complète aurait été interrompue après 2,5 heures.