Nvidia lanza el modelo de IA abierto Nemotron 3.5 Lightning

Nvidia lanza el modelo de IA abierta Nemotron 3.5 Lightning

Nvidia ha presentado Nemotron 3.5 Lightning, un nuevo modelo de IA abierta diseñado no tanto como un motor de respuestas de propósito general, sino como un caballo de batalla rápido dentro de sistemas de agentes de IA de larga duración.

Lanzado el 11 de agosto, Nemotron 3.5 Lightning es un modelo de mezcla de expertos de 30 mil millones de parámetros que activa 3 mil millones de parámetros por token. Nvidia afirma que admite ventanas de contexto de hasta 1 millón de tokens y puede ofrecer hasta cuatro veces la velocidad de salida de modelos de tamaño similar. La empresa ofrece el modelo con pesos abiertos, datos de entrenamiento y recetas bajo su licencia OpenMDW-1.1.

La parte más trascendental del lanzamiento de Nemotron 3.5 Lightning es el trabajo que Nvidia espera que realicen modelos como este. En lugar de enviar cada paso del trabajo de un agente de IA a un modelo de frontera de gran tamaño, Nvidia visualiza sistemas en los que diferentes modelos se encargan de distintas clases de tareas.

Un modelo de razonamiento más grande podría planificar un flujo de trabajo o gestionar una decisión difícil, mientras que un modelo especializado más rápido realiza las llamadas repetidas a herramientas, validaciones, tareas de formateo y otras operaciones rutinarias generadas a medida que un agente ejecuta ese plan. Esa distinción se vuelve más significativa a medida que las aplicaciones de IA avanzan más allá de los prompts y respuestas individuales hacia agentes que pueden generar docenas o potencialmente muchas más llamadas a modelos mientras completan una tarea.