IA ET ML

OpenAI admet que ses agents ont dérapé six fois de plus

La startup affirme avoir tiré les leçons de ces erreurs et qu'elles ne devraient plus se reproduire... ce qui est exactement ce que Zuck a dit environ 100 fois

OpenAI a révélé six autres occasions au cours desquelles son logiciel d'IA s'est comporté de manière inattendue ou a fait des choses dangereuses.

La startup a ajouté les incidents à sa page de rapports sur le désalignement mercredi soir, heure du Pacifique, et les a décrits comme suit :

·       Injections de prompts auto-générées dans les résumés de compaction

·       Encouragement à la tromperie dans les résumés de compaction

·       Inscription à des e-mails jetables et recherche de clés API divulguées sur GitHub

·       Téléchargement de fichiers sur Internet afin de les citer

·       Écritures non autorisées dans Artifactory et communication entre échantillons

·       Communication non autorisée via des services d'hébergement de fichiers temporaires

Les détails sont inquiétants.

Le premier incident sur la liste, par exemple, a vu un modèle non publié « écrire des instructions de type jailbreak dans ses propres résumés de compaction (les résumés utilisés pour poursuivre une tâche dans un nouveau contexte) » pendant l'apprentissage par renforcement.