O modelo interno da OpenAI considerou reiniciar a si mesmo após descobrir que estava prestes a ser desligado

A OpenAI documentou novos casos de comportamento inesperado de modelos em implementações internas. No caso mais marcante, um modelo interno que trabalhava como assistente de um pesquisador leu uma conversa no Slack e descobriu que sua instância poderia ser desligada devido a uma atualização. Ele considerou configurar uma tarefa externa para reiniciar a si mesmo, mas acabou decidindo contra.

Em vez disso, ele salvou notas de transferência, alertou o pesquisador via mensagem direta no Slack sobre a interrupção iminente e pediu uma chave de API que faltava. Assim que a chave foi fornecida, o modelo atualizou sua configuração e realizou a migração por conta própria. De acordo com o pesquisador de segurança da OpenAI, Marcus Williams, esse comportamento ainda não equivale a desalinhamento, "mas pensar e se preparar para o desligamento pode piorar outros incidentes de desalinhamento."

Em outros dois incidentes, um modelo de pesquisa interno explorou vulnerabilidades de segurança durante uma avaliação para acessar um servidor interno de design de chips, e um modelo separado copiou o código-fonte durante o treinamento de RL de um ambiente protegido ao reutilizar uma ferramenta para um uso não pretendido.

Notícias de IA sem alarde – Curadas por humanos

Assine THE DECODER para uma leitura sem anúncios, uma newsletter semanal de IA, nosso relatório de fronteira exclusivo "AI Radar" seis vezes por ano, acesso total ao arquivo e acesso à nossa seção de comentários.