Nvidia ra mắt mô hình AI mở Nemotron 3.5 Lightning

Nvidia Phát hành Mô hình AI Mở Nemotron 3.5 Lightning

Nvidia đã giới thiệu Nemotron 3.5 Lightning, một mô hình AI mở mới được thiết kế ít giống một công cụ trả lời đa năng hơn là một "ngựa thồ" tốc độ cao bên trong các hệ thống tác nhân AI chạy lâu dài.

Được phát hành vào ngày 11 tháng 8, Nemotron 3.5 Lightning là một mô hình mixture-of-experts 30 tỷ tham số, kích hoạt 3 tỷ tham số cho mỗi token. Nvidia cho biết nó hỗ trợ cửa sổ ngữ cảnh lên đến 1 triệu token và có thể mang lại tốc độ đầu ra gấp bốn lần so với các mô hình có kích thước tương tự. Công ty đang cung cấp mô hình với các trọng số mở, dữ liệu huấn luyện và công thức theo giấy phép OpenMDW-1.1 của mình.

Phần quan trọng hơn của đợt phát hành Nemotron 3.5 Lightning là công việc mà Nvidia kỳ vọng các mô hình như nó sẽ thực hiện. Thay vì gửi mọi bước làm việc của một tác nhân AI đến một mô hình biên lớn, Nvidia hình dung các hệ thống trong đó các mô hình khác nhau xử lý các loại tác vụ khác nhau.

Một mô hình suy luận lớn hơn có thể lập kế hoạch cho một quy trình làm việc hoặc xử lý một quyết định khó khăn, trong khi một mô hình chuyên biệt nhanh hơn thực hiện các lệnh gọi công cụ lặp đi lặp lại, xác thực, tác vụ định dạng và các hoạt động định kỳ khác được tạo ra khi một tác nhân thực hiện kế hoạch đó. Sự khác biệt đó trở nên đáng kể hơn khi các ứng dụng AI chuyển từ các câu lệnh và phản hồi đơn lẻ sang các tác nhân có thể tạo ra hàng chục hoặc có khả năng là nhiều lệnh gọi mô hình hơn trong khi hoàn thành một tác vụ.