토큰맥싱: AI 모델 활용을 극대화하는 방법

요약

• Anthropic과 OpenAI의 최상위 모델은 가장 작은 모델보다 토큰당 비용이 100배 더 높지만, 많은 사용자가 모든 작업에 플래그십 모델을 기본으로 사용합니다.
• Meta, Amazon, Uber의 사용량 리더보드는 AI 비용을 치솟게 했으며, Uber는 2026년 AI 도구 예산을 약 4개월 만에 모두 소진했습니다.
• 작업을 적절한 모델로 라우팅하고, 컨텍스트를 다듬고, 캐싱 및 배칭을 활용하면 비용을 대폭 절감할 수 있으며, 돈을 아끼는 다른 기술들도 존재합니다.

Meta 직원들은 올해 초 "Claudeonomics"라는 별명이 붙은 내부 리더보드 순위를 쫓으며 30일 동안 60조 개의 AI 토큰을 소모했습니다. 기술 칼럼니스트 Gergely Orosz는 이를 Anthropic의 정가 기준으로 약 9억 달러로 추산했으나, Meta는 실제로는 훨씬 적은 금액을 지불할 가능성이 높습니다.

Bain & Company의 컨설턴트 Jue Wang은 이러한 낭비의 조용한 변종이 어디에나 존재한다고 봅니다. 그녀는 이번 여름 Associated Press에 "너무나 많은 기업과 사용자들이 이메일 작성을 포함한 모든 작업에 Anthropic의 고성능 모델인 Opus를 기본으로 사용합니다"라고 말했습니다. 만약 여러분도 그렇게 하고 있다면, 맥도날드에서 거스름돈을 계산하기 위해 알베르트 아인슈타인을 고용하는 것과 같습니다.

ChatGPT나 Claude에 입력하는 모든 단어와 출력되는 모든 단어는 토큰 단위로 측정되며, 이는 평균적으로 한 단어의 약 4분의 3 정도에 해당하는 텍스트 덩어리입니다. 20달러 구독 서비스에서는 이 측정기가 사용량 제한에 도달하는 속도를 결정합니다. 개발자가 자신의 앱에 모델을 연결하는 데 사용하는 API(토큰당 지불 방식)에서는 이 측정기가 청구액을 결정합니다.

다음은 100만 토큰당 Anthropic의 현재 가격표입니다:

Haiku의 요율은 100,000 토큰 미만의 프롬프트에 적용되며, 그보다 긴 프롬프트는 5배의 비용이 듭니다.

최상위 모델은 가장 작은 모델보다 100배 더 비싸며, OpenAI의 자체 라인업도 100만 입력 토큰당 10달러에서 0.10달러까지 동일한 폭으로 운영됩니다. 이러한 토큰당 가격은 연구소와 사용자 모두에게 빠르게 누적됩니다. Anthropic의 연간 환산 매출은 2025년 말 약 90억 달러에서 5월까지 470억 달러 이상으로 증가했으며, OpenAI는 이에 맞서기 위해 가격 전쟁을 벌이고 있습니다.