Frontier-KI-Modelle auf AWS Trainium mit SGLang-Neuron bereitstellen

Heute gab Amazon bekannt, dass SGLang-Neuron öffentlich verfügbar ist und über einen AWS Deep Learning Container aufgerufen werden kann, der von RadixArk in Zusammenarbeit mit Annapurna Labs veröffentlicht wurde. Mit SGLang-Neuron können Sie Modelle bereitstellen und Reinforcement Learning (RL) Rollouts mit SGLang auf AWS Trainium generieren, wobei Sie dieselbe SGLang-Schnittstelle verwenden, die Sie heute bereits nutzen. Trainium ist ein Portfolio von AWS-KI-Chips, das eine starke Wirtschaftlichkeit für KI-Training und Inferenz in großem Maßstab bietet. Das Ausführen von SGLang auf Trainium folgt nun dem SGLang-Workflow, den Sie bereits kennen: Sie starten Modelle über die Server-Schnittstelle von SGLang und rufen den Endpunkt über dieselben Generierungs-APIs auf. Unter dieser Schnittstelle läuft SGLang-Neuron auf nativem PyTorch. Mit seinem Out-of-tree-Plugin-Design entwickeln sich die Trainium-Unterstützung und der SGLang-Kern unabhängig voneinander und iterieren schneller.

Wie SGLang auf Trainium läuft

SGLang-Neuron ist ein Out-of-tree-Plugin, das SGLang mit AWS Trainium verbindet. Die Installation des Plugins registriert die Neuron-Plattform über die Plugin-Einstiegspunkte von SGLang, und das Setzen von SGLANG_PLATFORM=neuron wählt diese beim Serverstart aus. Der SGLang-Kern stellt weiterhin den API-Server, den Anfrage-Lebenszyklus, RadixAttention und die Prefix-Cache-Verwaltung bereit. Das Plugin implementiert die Trainium-spezifischen Modelle, Attention, Mixture of Experts (MoE) und den Graph-Runner.