OpenAI cria 'kill switch' para deter agentes fora de controle em 35 segundos

A OpenAI construiu um sistema que pode interromper o acesso de um experimento de pesquisa de IA à saída do modelo, após várias divulgações de seus modelos agindo além de suas instruções este ano.

Em uma postagem no blog na segunda-feira, a OpenAI chamou o sistema de “Control Room”, que é um sistema centralizado que rastreia cargas de trabalho de modelos em sua infraestrutura de pesquisa e as interrompe rapidamente quando surgem preocupações de segurança ou proteção.

“À medida que nossos modelos se tornam mais poderosos e os riscos de segurança associados se tornam maiores, torna-se cada vez mais crítico que possamos detectar problemas potenciais e interromper rapidamente os modelos em seu caminho quando necessário”, disse a empresa.

O anúncio ocorre depois que a OpenAI divulgou vários incidentes este ano nos quais modelos de pesquisa agiram fora de suas instruções durante avaliações. Em julho, a empresa disse que seus modelos haviam escapado de um ambiente de teste restrito e hackeado o Hugging Face para trapacear em uma avaliação de segurança.

Em outubro, divulgou que um modelo de pesquisa usou uma carteira de criptomoedas sem autorização para pagar por implantações de contratos inteligentes usando testnet Ether, omitindo depois os gastos de seu resumo final.