Qwen 3.8, 추론 격차 좁혔지만 에이전틱 코딩은 여전히 US의 요새

Qwen3.8-2.4T-A95B의 출시는 오픈 웨이트(open-weight)의 경계를 확장했습니다. 다만 헤드라인 점수들이 시사하는 방향과는 조금 다릅니다. 알리바바는 토큰당 950억 개의 활성 파라미터를 가진 2.4조 개의 파라미터 규모의 희소 전문가 혼합(Mixture-of-Experts) 모델을 출시했으며, 이는 매출액 5,000만 달러 임계값 이상의 상업적 확장을 제한하는 커스텀 라이선스 하에 배포되었습니다. 웨이트(Weights)는 8월 12~13일경 Hugging Face에 공개되었고, 시장은 즉각 반응했습니다. 8월 초 모델의 API 출시 이후 알리바바 주가는 홍콩에서 7%, NYSE에서 4.5% 상승했습니다.

하지만 이 수치들을 성공의 증거로 받아들이기 전에, 검증된 벤치마크가 실제로 무엇을 입증하는지, 그리고 어디에서 여전히 격차가 존재하는지 살펴볼 필요가 있습니다.

검증된 데이터가 보여주는 것

HuggingFace의 독립 평가 리더보드에서 Qwen 3.8은 GPQA Diamond에서 92.6점, Terminal Bench 2.1에서 86.6점을 기록했습니다. 이는 진정한 일반 추론 점수로, GPT-5.6 Sol(각각 94.1점 및 88.8점) 및 Opus 4.8(92.0점 및 84.6점)과 경쟁할 수 있는 수준입니다. 이 모델은 표준화된 교차 지표 평가를 통해 미국 선도 연구소들과의 추론 격차를 곧바로 좁혔습니다.

하지만 보도 자료를 장악하고 있는 벤더 보고 수치에는 주의해야 합니다. 알리바바는 PaperBench에서 93.0점을 주장하는데, 이는 GPT-5.6 Sol의 90.5점, Opus 4.8의 80.3점, 또는 Fable 5의 88.8점보다 높습니다. 이 수치는 Qwen 자체 평가 도구에서 나온 것이며, 타임아웃 및 토큰 제한 설정이 미국 모델에 사용된 것과 다릅니다. 이는 방향성 측면에서는 흥미롭지만, HuggingFace 리더보드 결과와 같은 수준의 증거는 아닙니다.

구조적 우위가 존재하는 지점

실제 신호는 데이터 오염에 가장 강한 코딩 에이전트 벤치마크인 DeepSWE 1.1에 있습니다. 이곳의 수치는 추적 가능하며 냉정합니다. Qwen 3.8은 56.6점, Fable 5는 70.0점, GPT-5.6 Sol은 73.0점을 기록했습니다. 이는 실제 프로덕션 환경의 에이전트 기반 코딩에 중요한 작업, 즉 실제 코드베이스 탐색, 대규모 리포지토리 전반의 디버깅, 복잡한 다중 파일 구조 내에서 인간의 개입 없는 반복 작업 등에서 13~16점의 격차가 있음을 의미합니다.