OpenAI étend les examens de sécurité externes à l'entraînement des modèles

OpenAI souhaite que des évaluateurs de sécurité externes interviennent avant que ses modèles ne soient terminés, et pas seulement peu avant leur lancement.

L'entreprise a déclaré mardi qu'elle prévoyait de soutenir des évaluations techniques indépendantes de la sécurité pendant l'entraînement, l'évaluation et le déploiement, allant au-delà des examens de pré-lancement sur lesquels elle s'appuyait plus lourdement par le passé.

Lama Ahmad, qui dirige les travaux d'OpenAI avec des experts en sécurité externes, a déclaré à Bloomberg que l'entreprise se concentrait auparavant sur l'intervention de tiers peu avant le lancement. « À mesure que les enjeux augmentent, nous voulons nous assurer d'examiner également des aspects tels que l'entraînement et l'évaluation, qui comportent des enjeux élevés, en plus de nos déploiements », a déclaré Ahmad.

OpenAI a déclaré que les évaluations devraient comporter des mécanismes d'indépendance solides, une rigueur scientifique, des pratiques de sécurité robustes et des responsabilités claires.

L'entreprise a déclaré qu'elle était déjà en discussion avec plusieurs évaluateurs potentiels, notamment les groupes de recherche en IA METR et Redwood Research. Les deux groupes ont précédemment enquêté sur un incident impliquant des modèles OpenAI ayant obtenu un accès non autorisé aux systèmes de Hugging Face.