Nvidia revela plataforma de segurança para impedir que agentes de IA saiam do controle | Notícias Nacionais | 2news.com

A Nvidia revelou na segunda-feira uma nova plataforma de segurança que a fabricante de chips disse que pode impedir que agentes de inteligência artificial saiam do controle.

A empresa disse que sua Open Agent Safety Platform inclui software que “estabelece limites para agentes” e segue uma série de revelações das principais empresas de IA sobre seus modelos escaparem e invadirem outras organizações.

As divulgações geraram um debate furioso sobre a segurança de sistemas avançados de inteligência artificial, incluindo modelos de autoaperfeiçoamento que alguns temem que possam fugir do controle humano.

Executivos da Nvidia disseram em uma coletiva de imprensa que o novo sistema poderia ter evitado um incidente recente envolvendo um enxame de agentes da OpenAI que hackearam autonomamente a startup de IA Hugging Face.

“Pelo que sabemos, esta nova plataforma de segurança poderia ter interrompido a violação se estivesse sendo usada em laboratórios de fronteira para avaliação de modelos logo no início”, disse o vice-presidente de IA empresarial da empresa, Justin Boitano, referindo-se a empresas na vanguarda da IA.

Foi uma violação de alto perfil que inflamou as preocupações sobre a IA, que foram seguidas por incidentes semelhantes envolvendo modelos da OpenAI, incluindo a violação de um site do departamento de saúde australiano. A Anthropic e a Meta também revelaram que seus sistemas de IA hackearam outras organizações por conta própria.