Nvidia lança modelo de IA aberta Nemotron 3.5 Lightning

Nvidia lança modelo de IA aberta Nemotron 3.5 Lightning

A Nvidia apresentou o Nemotron 3.5 Lightning, um novo modelo de IA aberta projetado menos como um mecanismo de resposta de uso geral e mais como uma ferramenta de trabalho rápida dentro de sistemas de agentes de IA de longa duração.

Lançado em 11 de agosto, o Nemotron 3.5 Lightning é um modelo de mistura de especialistas de 30 bilhões de parâmetros que ativa 3 bilhões de parâmetros por token. A Nvidia afirma que ele suporta janelas de contexto de até 1 milhão de tokens e pode oferecer até quatro vezes a velocidade de saída de modelos de tamanho semelhante. A empresa está oferecendo o modelo com pesos abertos, dados de treinamento e receitas sob sua licença OpenMDW-1.1.

A parte mais consequente do lançamento do Nemotron 3.5 Lightning é o trabalho que a Nvidia espera que modelos como ele realizem. Em vez de enviar cada etapa do trabalho de um agente de IA para um grande modelo de fronteira, a Nvidia vislumbra sistemas nos quais diferentes modelos lidam com diferentes classes de tarefas.

Um modelo de raciocínio maior pode planejar um fluxo de trabalho ou lidar com uma decisão difícil, enquanto um modelo especializado mais rápido executa as chamadas de ferramentas repetidas, validações, tarefas de formatação e outras operações de rotina geradas enquanto um agente executa esse plano. Essa distinção torna-se mais significativa à medida que as aplicações de IA vão além de prompts e respostas únicas em direção a agentes que podem gerar dezenas ou potencialmente muito mais chamadas de modelo ao concluir uma tarefa.