OpenAI Expande Revisões Externas de Segurança para Treinamento de Modelos

A OpenAI quer avaliadores de segurança externos envolvidos antes que seus modelos sejam finalizados, não apenas pouco antes do lançamento.

A empresa disse na terça-feira que planeja apoiar avaliações técnicas de segurança independentes durante o treinamento, avaliação e implantação, expandindo-se para além das revisões de pré-lançamento nas quais confiou mais intensamente no passado.

Lama Ahmad, que lidera o trabalho da OpenAI com especialistas em segurança externos, disse à Bloomberg que a empresa anteriormente se concentrava em trazer terceiros pouco antes do lançamento. “À medida que os riscos aumentam, queremos garantir que também estejamos olhando para coisas como treinamento e avaliação, que têm riscos elevados, além de nossas implantações”, disse Ahmad.

A OpenAI disse que as avaliações devem ter mecanismos de independência fortes, rigor científico, práticas de segurança robustas e responsabilidades claras.

A empresa disse que já está conversando com vários avaliadores potenciais, incluindo os grupos de pesquisa de IA METR e Redwood Research. Ambos os grupos investigaram anteriormente um incidente envolvendo modelos da OpenAI ganhando acesso não autorizado a sistemas da Hugging Face.