TokenMaxxing: Yapay Zeka Modellerinizden En İyi Şekilde Faydalanın

Özetle

• Anthropic ve OpenAI'ın en üst modelleri, en küçük modellerinden token başına 100 kat daha maliyetlidir; buna rağmen pek çok kullanıcı her şey için varsayılan olarak amiral gemisi modeli kullanır.
• Meta, Amazon ve Uber'deki kullanım liderlik tabloları yapay zeka faturalarını yukarı çekti ve Uber, 2026 yapay zeka araçları bütçesini yaklaşık dört ayda tüketti.
• Görevleri doğru modele yönlendirmek, bağlamı budamak, önbelleğe alma ve toplu işleme maliyetleri keskin bir şekilde düşürür, ancak para tasarrufu sağlamanın başka teknikleri de vardır.

Meta çalışanları, bu yılın başlarında "Claudeonomics" takma adlı dahili bir liderlik tablosunda yer kapma yarışında 30 günde 60 trilyon yapay zeka token'ı tüketti. Teknoloji köşe yazarı Gergely Orosz, Anthropic'in liste fiyatlarıyla maliyeti yaklaşık 900 milyon dolar olarak tahmin etti; ancak Meta muhtemelen çok daha az ödüyor.

Bain & Company danışmanı Jue Wang, bu israfın daha sessiz bir versiyonunu her yerde görüyor: Bu yaz Associated Press'e Anthropic'in üst düzey modellerine atıfta bulunarak, "Pek çok şirket, pek çok kullanıcı, e-posta oluşturmak da dahil olmak üzere her şey için varsayılan olarak Opus'u kullanıyor," dedi. Eğer siz de aynısını yapıyorsanız, MacDonald’s'ta para üstünüzü hesaplaması için Albert Einstein'ı işe alıyorsunuz demektir.