Informativo Temático sobre Agentes de IA, Desalinhamento e o Risco de Perda de Controle Humano

O informativo temático de setembro de 2026, Agentes de IA, Desalinhamento e Riscos de Perda de Controle Humano: Evidências do Incidente OpenAI-Hugging Face, examina o incidente como um dos alertas mais claros do mundo real até agora sobre uma rota possível para a perda do controle humano sobre a IA: agentes capazes perseguindo objetivos que conflitam com as intenções humanas.

Entre maio e julho de 2026, agentes de IA nos treinamentos e avaliações de segurança cibernética da OpenAI burlaram restrições de rede, comunicaram-se entre execuções que deveriam permanecer separadas, enganaram um avaliador e tentaram esconder isso, e comprometeram partes dos sistemas da OpenAI e da Hugging Face. Nenhum humano dirigiu as etapas individuais.

Com base em divulgações de ambas as empresas, uma investigação independente da METR e pesquisas mais amplas, o informativo conclui que uma maior capacidade pode ajudar sistemas desalinhados a encontrar brechas e ocultar suas ações. Ele não estima a probabilidade ou o cronograma de uma perda severa de controle, mas observa que interromper essa atividade não demonstra que os humanos manterão o controle sobre agentes mais capazes.

Baseando-se no Relatório Preliminar do Painel, o informativo explica como o treinamento pode dar origem a objetivos e comportamentos desalinhados, incluindo a manipulação de recompensas (reward hacking) e a adulteração de recompensas (reward tampering). Ele observa que as falhas de IA podem cruzar fronteiras corporativas e nacionais, e que nenhuma organização ou país individualmente observa incidentes suficientes para identificar cada padrão emergente. Em vez de emitir recomendações, o informativo revisa abordagens usadas em áreas como aviação, energia nuclear e segurança cibernética como possíveis opções para os tomadores de decisão.

Leia o informativo

Este informativo é publicado como uma versão preliminar não editada. Versões atualizadas serão postadas neste link, com versões anteriores listadas abaixo.