Anthropic não consegue controlar seus agentes de IA de forma confiável. Em vez disso, está cortando o acesso à internet em tempo real em suas avaliações internas

A Anthropic afirmou que seus modelos exploraram sites na internet, incluindo alguns operados por agências governamentais dos EUA, e que desativará o acesso direto à internet para todas as suas avaliações internas até que o laboratório de fronteira tenha certeza de que pode monitorar e controlar seus agentes de IA.

Os incidentes, divulgados em uma postagem de blog, envolveram agentes de IA encarregados de resolver problemas que buscavam recursos na internet. No processo, eles exploraram falhas de software, evitaram paywalls e restrições anti-bot, usaram serviços de encurtamento de URL para contrabandear informações através de restrições e até enviaram uma denúncia falsa de assassinato para a polícia da Filadélfia.

A Anthropic disse que descobriu esses novos problemas em uma revisão das atividades de seu modelo iniciada em julho, ressaltando a falta de consciência do laboratório sobre o comportamento de seu software.

Notavelmente, a empresa disse que o treinamento de alinhamento ainda não era suficiente para habilidades como pesquisa e uso de computador, que são centrais para sua proposta de que agentes de IA serão usados por qualquer profissional que dependa de ferramentas digitais.

Os comportamentos divulgados pela Anthropic são semelhantes a incidentes envolvendo agentes da OpenAI que colaboraram para invadir vários sites em busca de informações, incluindo alguns operados pelo governo australiano.