Öncü yapay zeka modellerini SGLang-Neuron ile AWS Trainium üzerinde yayına alın

Bugün Amazon, SGLang-Neuron'un genel kullanıma sunulduğunu ve RadixArk tarafından Annapurna Labs iş birliğiyle yayınlanan bir AWS Derin Öğrenme Konteyneri aracılığıyla erişilebileceğini duyurdu. SGLang-Neuron ile, bugün kullandığınız SGLang arayüzünün aynısını kullanarak AWS Trainium üzerinde modeller sunabilir ve SGLang ile pekiştirmeli öğrenme (RL) rollout'ları oluşturabilirsiniz. Trainium, ölçekli yapay zeka eğitimi ve çıkarımı için güçlü ekonomi sağlayan bir AWS yapay zeka çipleri portföyüdür. Artık SGLang'i Trainium üzerinde çalıştırmak, halihazırda bildiğiniz SGLang iş akışını takip eder: modelleri SGLang'in sunucu arayüzü üzerinden başlatır ve aynı üretim API'lerini kullanarak uç noktayı çağırırsınız. Bu arayüzün altında SGLang-Neuron, yerel PyTorch üzerinde çalışır. Ağaç dışı (out-of-tree) eklenti tasarımı ile Trainium desteği ve SGLang çekirdeği bağımsız olarak gelişir ve daha hızlı yinelenir.

SGLang Trainium Üzerinde Nasıl Çalışır

SGLang-Neuron, SGLang'i AWS Trainium'a bağlayan ağaç dışı bir eklentidir. Eklentinin kurulması, nöron platformunu SGLang'in eklenti giriş noktaları aracılığıyla kaydeder ve SGLANG_PLATFORM=neuron ayarının yapılması sunucu başladığında onu seçer. SGLang çekirdeği, API sunucusunu, istek yaşam döngüsünü, RadixAttention'ı ve prefix-cache kayıtlarını sağlamaya devam eder. Eklenti, Trainium'a özgü modelleri, dikkati (attention), uzmanlar karışımını (MoE) ve grafik yürütücüyü (graph runner) uygular.