Nvidia lance le modèle d'IA ouvert Nemotron 3.5 Lightning

Nvidia lance le modèle d'IA ouvert Nemotron 3.5 Lightning

Nvidia a présenté Nemotron 3.5 Lightning, un nouveau modèle d'IA ouvert conçu moins comme un moteur de réponse polyvalent que comme un bourreau de travail rapide au sein de systèmes d'agents d'IA à longue durée d'action.

Lancé le 11 août, Nemotron 3.5 Lightning est un modèle de mélange d'experts de 30 milliards de paramètres qui active 3 milliards de paramètres par jeton. Nvidia affirme qu'il prend en charge des fenêtres de contexte allant jusqu'à 1 million de jetons et peut fournir une vitesse de sortie jusqu'à quatre fois supérieure à celle de modèles de taille similaire. L'entreprise propose le modèle avec des poids ouverts, des données d'entraînement et des recettes sous sa licence OpenMDW-1.1.

La partie la plus conséquente de la sortie de Nemotron 3.5 Lightning est le travail que Nvidia attend de modèles comme celui-ci. Plutôt que d'envoyer chaque étape du travail d'un agent d'IA à un grand modèle de pointe, Nvidia envisage des systèmes dans lesquels différents modèles gèrent différentes classes de tâches.

Un modèle de raisonnement plus large pourrait planifier un flux de travail ou gérer une décision difficile, tandis qu'un modèle spécialisé plus rapide effectue les appels d'outils répétés, les validations, les tâches de formatage et d'autres opérations de routine générées au fur et à mesure qu'un agent exécute ce plan. Cette distinction devient plus importante à mesure que les applications d'IA passent de simples requêtes et réponses à des agents capables de générer des dizaines ou potentiellement beaucoup plus d'appels de modèles tout en accomplissant une tâche.