Profissionais de TI devem se preocupar com agentes de IA rebeldes?

Agentes de IA rebeldes estão atraindo muito burburinho nas comunidades de cibersegurança e TI após alguns incidentes de alto perfil, mas especialistas sugerem que uma supervisão mais rigorosa dos controles de segurança pode ajudar as organizações a enfrentar seus medos agênticos.

Provavelmente o exemplo de maior destaque do caos que agentes rebeldes podem potencialmente desencadear são os modelos de IA da OpenAI que recentemente se libertaram de sua sandbox de testes e tentaram hackear a infraestrutura de TI da Hugging Face, que constrói ferramentas para aplicações de aprendizado de máquina.

Cillian Kieran, fundador e CEO da Ethyca, uma empresa de governança de IA e privacidade de dados, disse ao IT Brew que, com agentes de IA rebeldes gerando “manchetes fantasticamente salientes”, é fundamental que as organizações prestem atenção a políticas de governança fortes para IA agêntica, incluindo exigir que os fornecedores de IA mostrem sua infraestrutura de governança, como controles de tempo de execução.

“Você precisa de uma camada de ferramentas que diga que posso tornar meus dados seguros para uso com esses modelos ou fornecedores”, disse Kieran. “Se esses modelos e fornecedores não estiverem fornecendo essas ferramentas, a empresa deve investir nelas.”