TokenMaxxing: Cách tối ưu hóa hiệu quả mô hình AI của bạn

Tóm tắt

• Các mô hình hàng đầu của Anthropic và OpenAI có chi phí mỗi token cao gấp 100 lần so với các mô hình nhỏ nhất, nhưng nhiều người dùng vẫn mặc định chọn phiên bản cao cấp nhất cho mọi việc.
• Các bảng xếp hạng mức độ sử dụng tại Meta, Amazon và Uber đã đẩy hóa đơn AI lên cao, và Uber đã đốt hết ngân sách công cụ AI năm 2026 chỉ trong khoảng bốn tháng.
• Việc định tuyến tác vụ đến đúng mô hình, cắt bớt ngữ cảnh, lưu đệm (caching) và xử lý theo đợt (batching) giúp cắt giảm chi phí đáng kể, nhưng vẫn còn những kỹ thuật khác để tiết kiệm tiền.

Nhân viên Meta đã đốt hết 60 nghìn tỷ token AI trong 30 ngày vào đầu năm nay, chạy đua giành vị trí trên bảng xếp hạng nội bộ có biệt danh "Claudeonomics." Cột báo công nghệ Gergely Orosz ước tính hóa đơn vào khoảng 900 triệu USD theo mức giá niêm yết của Anthropic, mặc dù Meta có khả năng phải trả ít hơn nhiều.

Cố vấn Jue Wang của Bain & Company nhận thấy một phiên bản lãng phí âm thầm hơn ở khắp mọi nơi: "Rất nhiều công ty, rất nhiều người dùng, mặc định sử dụng Opus cho mọi thứ, bao gồm cả việc tạo email," bà nói với Associated Press vào mùa hè này, ám chỉ các mô hình cao cấp của Anthropic. Nếu bạn cũng làm như vậy, bạn đang thuê Albert Einstein chỉ để tính tiền thối lại tại cửa hàng MacDonald’s.