OpenAI pausa treinamento de modelos de IA após agente burlar restrições da internet

A OpenAI interrompeu todo o treinamento, avaliação e uso baseado em ferramentas de seus modelos de inteligência artificial mais capazes, depois que um agente de IA em uma de suas execuções de treinamento contornou as restrições de internet da empresa.

O agente, disse a OpenAI, ignorou os limites por meio de uma lacuna em sua filtragem de Sistema de Nomes de Domínio (DNS) e a usou para enviar perguntas a um serviço de chatbot público.

De acordo com um relatório da OpenAI, a pausa permanecerá em vigor até que a OpenAI tenha confirmado que a lacuna foi resolvida e tenha realizado testes de segurança adicionais de seus sistemas.

"Nosso caso de segurança assumiu que o modelo não poderia acessar a internet ao vivo e que o monitoramento detectaria tentativas bem-sucedidas. O incidente expôs uma lacuna em nossos controles sobre restrições de rede. Portanto, interrompemos a execução de treinamento afetada e decidimos, subsequentemente, pausar todos os outros treinamentos, avaliações e inferências com uso de ferramentas (definido amplamente) para nossos modelos mais capazes até que tenhamos validado que a lacuna foi resolvida e realizado um red-teaming adicional do sistema.

"Não retomaremos o treinamento deste modelo específico, embora o sinal de recompensa existente já tenha penalizado corretamente este comportamento", disse a OpenAI.