Vượt xa giá mỗi token: Lựa chọn mô hình OpenAI phù hợp trên Amazon Bedrock cho khối lượng công việc

Các tổ chức xây dựng các ứng dụng AI tạo sinh thường so sánh các mô hình theo cùng một cách: đô la trên mỗi triệu token. Đó là con số trên mọi trang định giá, vì vậy nó trở thành con số trong mọi bảng tính. Nhưng các khối lượng công việc sản xuất không mua token. Họ mua kết quả đầu ra: một phiếu hỗ trợ đã được giải quyết, một bản tóm tắt nghiên cứu đã hoàn thành, một bản tóm tắt tài chính chính xác. Giữa trang định giá và kết quả đầu ra là các hệ số nhân mà giá niêm yết bỏ qua: tần suất mô hình đưa ra kết quả đúng, số lượng token cần thiết để đạt được kết quả đó và đối với các khối lượng công việc đại lý (agentic workloads), số lượt (turn) cần thiết, bởi vì mỗi lượt sẽ gửi lại cuộc hội thoại đang dài dần ra.

Trong bài viết này, chúng tôi chia sẻ kết quả từ một bộ khung đánh giá (benchmarking harness) mã nguồn mở đo lường các hệ số nhân đó trên các mô hình OpenAI trên Amazon Bedrock (gpt-5.6-luna, gpt-5.6-terra và gpt-5.6-sol) và hai mô hình tiết kiệm chi phí được sử dụng rộng rãi trên OpenAI API (gpt-5.4-mini và gpt-5.4-nano). Chúng tôi chọn hai mô hình sau làm các mốc cơ sở tối ưu hóa chi phí mà nhiều nhóm bắt đầu sử dụng, chứ không phải là các đối thủ cùng thế hệ tương đương, bởi vì câu hỏi chúng tôi nghe thấy nhiều nhất là: "chúng tôi đang chạy mini hoặc nano hôm nay. Liệu một mô hình mới hơn trên Amazon Bedrock có xứng đáng không?". Chúng tôi tập trung vào ba câu hỏi: