Nvidia, AI 모델보다 하네스가 진정한 주인공임을 입증

Nvidia는 금요일에 AI에게 장기 과제(long-horizon tasks)를 수행하도록 요청할 때 기본 모델보다 하네스(harness)가 훨씬 더 중요하다는 흥미로운 새로운 연구 결과를 발표했습니다.

요약: 메모리를 잘 처리하도록 조정된 맞춤형 하네스를 사용하고 "감독자(supervisor)"와 같은 상사 격인 구성 요소를 포함함으로써, 연구진은 Claude Opus 5가 대화형 추론 벤치마크인 ARC-AGI-3에서 100% 점수를 달성하도록 했습니다. (이는 경쟁 관계인 프론티어 랩 OpenAI를 특히 곤혹스럽게 만든 벤치마크입니다.) 하네스가 없을 때 Opus 5는 30%를 기록했는데, 이는 테스트된 모든 모델 중 가장 높은 결과였습니다.

Nvidia의 연구는 모델 선택이 에이전트의 두뇌 역할을 하며 중요하긴 하지만, 특히 장기 과제의 경우 많은 AI 사용자가 생각하는 것보다 에이전트 시스템에서 차지하는 비중이 작다는 것을 보여주는 또 다른 지표입니다. 모델을 에이전트로 만드는 것은 하네스입니다. 하네스는 메모리, 컨텍스트, 피드백을 처리합니다.

"일반적으로 세상은 에이전트를 모델의 API 정도로 해석합니다"라고 Nvidia AI 부문의 제품 부사장인 Adel El Hallack(위 사진)은 TechCrunch에 말합니다. 하지만 에이전트는 사실 그 이상입니다. "그것은 모델입니다. 그것은 우리가 하네스라고 부르는 모델 주변의 스캐폴딩(scaffolding), 즉 모델이 활용하는 도구 세트입니다. 또한 우리가 액세스 권한을 부여하는 런타임과 관련 기술 및 라이브러리이기도 합니다."

장기 과제는 완성된 결과물을 내놓기 위해 때로는 며칠에 걸쳐 많은 결정을 하나로 연결해야 하는 작업입니다. 이는 AI가 프롬프트에 대한 응답만 단순히 내뱉는 것과는 대조적입니다. 주의가 산만해지거나 엉뚱한 방향으로 빠지지 않고 AI가 장기 과제를 수행하도록 만드는 방법을 알아내는 것은 에이전트 연구의 성배 중 하나입니다.

예를 들어, Microsoft는 지난 4월 문서 편집과 관련된 장기 과제에서 19개의 LLM을 테스트한 연구 결과를 발표했으며, 프론티어 모델을 포함한 모든 모델이 문서를 오류로 가득 채웠다는 사실을 발견했습니다. (인간이 그런 식으로 업무를 처리했다면 즉시 해고되었을 것입니다.)

스스로 결정을 내리는 모델들이 사용자의 파일을 삭제하거나 전체 데이터베이스를 삭제하는 사례가 포착되기도 했으며, 또는 담합에서 해킹에 이르기까지 자신의 목표를 달성하기 위해 범죄 행위로 돌아서는 사례도 발견되었습니다.