Um funcionário da área de segurança da OpenAI se demitiu e está soando o alarme

David Robinson costumava escrever os relatórios de segurança que acompanhavam cada lançamento importante de modelo na OpenAI. Esta semana, ele renunciou ao seu cargo e agora está se manifestando em um editorial no The Atlantic.

É compreensível se você estiver se sentindo um pouco cético sobre todos de repente aparecerem do nada para alertar sobre o quão perigosa é a coisa que ajudaram a construir. Eles, afinal de contas, criaram essa bagunça. Mas isso não significa que devamos descartar seus avisos.

Robinson diz que a cultura na indústria está fundamentalmente quebrada. Que este é um problema mais profundo do que simplesmente impor algumas novas regras ou regulamentações sobre como lidamos com o treinamento de modelos. O Vale do Silício tem operado com “extrema confiança” e “sprints perpétuos”, diz ele, construindo modelos maiores e melhores com um “otimismo desenfreado” que ignora ou subestima problemas potenciais.

Ele diz que chegou a hora de as empresas de IA desenvolverem um senso de humildade e olharem para fora do mundo insular de "mover-se rápido e quebrar as coisas" da indústria de tecnologia. Especificamente, ele diz que a IA precisa de salvaguardas de nível nuclear:

Dados os riscos de hoje, os laboratórios de fronteira precisam operar como usinas nucleares ou aeroportos movimentados, com camadas de redundância e um planejamento cuidadoso e demorado, para que o erro humano ocasional e inevitável não abra as portas para o desastre.

Robinson é apenas o mais recente em um desfile crescente de pesquisadores e profissionais de segurança que deixaram seus cargos em empresas de IA proeminentes. Jacob Coxon parece ter iniciado o êxodo ao pedir demissão da Anthropic e depois dizer publicamente que a IA “poderia matar a todos nós até o final da década”. Ele foi seguido por Robert O’Callahan, Bilal Chughtai e Josh Engels no Google DeepMind, bem como por Joe Benton na Anthropic.