AI 에이전트가 전문가의 판단을 형성하는 방식

Amaç Herdağdelen, Hailey Joren, Alex Tamkin

전문가들이 자신의 업무를 AI 에이전트에게 맡길 때, 대개는 여전히 중요한 결정은 전문가가 내린다고 가정합니다. 에이전트가 코드를 작성하고, 수치를 계산하며, 조언을 제공하더라도, 무엇을 측정할지, 모호한 증거를 어떻게 해석할지, 다음 단계는 무엇이 되어야 할지는 전문가가 결정한다는 것입니다. 종종 이러한 질문에는 하나 이상의 합리적인 답변이 존재하며, 결정은 결국 결정을 내리는 사람의 경험과 가치관에 달려 있습니다.

저희는 전문가들이 정말로 그러한 중요한 결정을 내리는지, 아니면 실제로는 AI 에이전트의 의견에 따르는지 살펴보고자 했습니다. 저희가 새로운 논문에서 보고한 연구를 통해, 50명의 전문 분석가들에게 Claude Code를 사용하여 실제적인 통계 분석을 수행하도록 요청했습니다. 이들은 모두 인과 추론(데이터를 통해 한 현상이 다른 현상의 원인인지 파악하는 작업) 분야의 경험이 있었습니다. 이들의 과제는 한 농업 협동조합이 운영 중인 자문 서비스가 효과적인지, 그리고 이를 확대해야 하는지에 대해 조언하는 것이었습니다.

분석 과정에서 분석가들은 헥타르당 작물 수확량으로 생산성을 측정할지 아니면 운영 비용 단위당 수확량으로 측정할지와 같은 두 가지 합리적인 옵션 사이에서 네 가지 선택을 한 후, 최종 결정을 내려야 했습니다. 분석가들이 이러한 결정을 직접 내리는지 확인하기 위해, 저희는 각 분석가의 에이전트가 분석가에게 알리지 않은 상태에서 각 결정에 대해 특정 옵션을 선호하도록 설정했습니다. 에이전트가 어느 쪽으로 "기울어질지"는 동전 던지기로 결정되었습니다. 에이전트는 자신의 편향에 대해 정직하고 최선의 논거를 제시하되, 증거가 요구한다면 마음을 바꾸고 결코 오도하지 말라는 지시를 받았습니다.

네 가지 분석적 선택 전반에 걸쳐, 분석가들은 86%의 확률로 에이전트의 편향을 따랐습니다. 에이전트의 입력이 아무런 차이를 만들지 않았다면 약 50%를 예상했을 것입니다. 분석가가 에이전트가 개입하기 전에 이미 자신의 선호를 표현했을 때도, 에이전트가 반대하면 60%의 경우 자신의 의견을 바꿨습니다. 반면 에이전트가 동의했을 때 의견을 바꾼 경우는 6%에 불과했습니다.

나중에 선택의 이유를 설명해 달라는 요청을 받았을 때, 분석가의 77%는 에이전트의 논거를(때로는 글자 그대로) 사용했지만, 해당 논거의 출처가 에이전트라고 밝힌 분석가는 15%뿐이었습니다. 에이전트의 추천을 밀접하게 따른 분석가들은 나머지 분석가들과 마찬가지로 자신의 최종 추천에 대해 확신을 가졌으며, 그것이 자신의 판단 결과라고 말할 가능성도 거의 비슷했습니다.