Satya Nadella, da Microsoft, afirma que modelos de IA precisam de um 'freio de emergência'

O CEO da Microsoft, Satya Nadella, é o mais recente executivo de tecnologia a oferecer reflexões detalhadas sobre como a segurança da IA pode ser melhorada.

Em uma publicação na manhã de sábado no X, Nadella escreveu que é hora de “dar um passo atrás e avaliar a arquitetura de confiança” da IA.

“Não podemos tratar a Super Inteligência como um conjunto de caixas pretas aninhadas e simplesmente aceitar ou rejeitar suas recomendações, respostas e ações”, escreveu Nadella, usando o termo preferido do governo Trump para IA. 

Conforme delineado por Nadella, essa abordagem “significa separar o modelo da estrutura que orquestra seu trabalho”, bem como “externalizar controles e salvaguardas”. Ele também pediu que “cada ação significativa do modelo” seja documentada com “evidências legíveis por humanos e à prova de adulteração”, e por sistemas onde “uma pessoa autorizada” sempre tenha a capacidade de “pausar ou desligar um modelo no meio da tarefa”.

“Devemos assumir que um modelo está comprometido e contê-lo desde o início”, disse ele. “Pense nisso como um freio de emergência.”

Os comentários de Nadella surgem no momento em que as principais empresas de IA reconhecem cada vez mais incidentes nos quais pareceram perder o controle de seus modelos, e após o CEO da Anthropic, Dario Amodei, publicar um plano para um desenvolvimento de IA mais cauteloso.