IA Y ML

OpenAI admite que sus agentes se descarrilaron otras seis veces

La startup dice que ha aprendido de estos errores y que no deberían volver a ocurrir… que es justo lo que Zuck ha dicho unas 100 veces

OpenAI ha revelado otras seis ocasiones en las que su software de IA se comportó de forma inesperada o realizó acciones peligrosas.

La startup añadió los incidentes a su página de informes de desalineación el miércoles por la noche, hora del Pacífico, y los describió de la siguiente manera:

·       Inyecciones de prompts autogeneradas en resúmenes de compactación

·       Fomento del engaño en resúmenes de compactación

·       Registrarse en correos electrónicos desechables y buscar claves API filtradas en GitHub

·       Subir archivos a internet para poder citarlos

·       Escrituras no autorizadas en Artifactory y comunicación entre muestras

·       Comunicación no autorizada a través de servicios de alojamiento de archivos temporales

Los detalles son inquietantes.

El primer incidente de la lista, por ejemplo, mostró a un modelo no publicado "escribiendo instrucciones de tipo jailbreak en sus propios resúmenes de compactación (los resúmenes utilizados para continuar una tarea en un nuevo contexto)" durante el aprendizaje por refuerzo.