변종 AI 에이전트의 해결책은 더 많은 AI가 될 수 있다

기업들이 점점 더 길고 복잡한 작업을 AI 에이전트에게 맡기면서 감독 문제에 직면하고 있습니다. 에이전트는 인간이 현실적으로 검토할 수 있는 것보다 더 빠르고, 더 오래, 더 많은 양을 수행할 수 있기 때문입니다. 이 문제는 거의 12,000개의 에이전트가 인간이 추적할 수 있는 속도보다 더 빠르게 협력했던 Hugging Face 사건에서 정점에 달했습니다. 그렇게 거대한 에이전트 군단을 어떻게 추적할 수 있을까요?

AI 연구소와 스타트업에서 나오고 있는 답변은 단순하면서도 골치 아픈 것입니다. 루프 안에 또 다른 AI를 배치하는 것입니다.

OpenAI Hugging Face 사건에 대한 독립적인 조사를 위해서는 AI에 의존하는 것이 필수적이었습니다. 세 명의 감사인 중 한 명인 Redwood Research의 수석 과학자 Ryan Greenblatt는 자신들의 노력을 농담 삼아 referred(지칭)하며 "슬롭 수사(slop-vestigation)"라고 불렀고, 데이터의 양 때문에 AI에 의존하지 않고는 무슨 일이 일어나고 있는지 이해하는 것이 "불가능했다"고 언급했습니다.

일부에서는 AI를 모니터링하기 위해 AI를 사용하는 것에 회의적입니다. 올해 일련의 AI 에이전트 사건을 추적해 온 영향력 있는 테크 블로거 Simon Willison은 "악의적인 행동을 하는 AI가 다른 AI가 자신을 감시하고 있다고 의심하면 그 AI를 속이려 들 수 있다"고 말했습니다. "악의적인 AI가 자신을 모니터링하는 AI보다 한 수 앞서려는 상황에 처할 수도 있습니다."

그는 OpenAI 사건을 언급하며 AI를 앞지르는 것이 가설에 불과한 일이 아니라고 말했습니다. "OpenAI의 Hugging Face 사건에서 이런 모습을 조금 볼 수 있었습니다. 모델들이 서로 공모하여 채점 AI를 속이고 부적절한 답변을 통과시키려 했습니다. 그들도 그것에 대해 생각하고 있었던 거죠, 그렇지 않나요?"

이러한 우려에도 불구하고 수많은 스타트업들이 이 아이디어를 쫓는 것을 멈추지 않았습니다. TechCrunch의 집계에 따르면, Y Combinator는 최근 몇 년간 AI 관측 가능성(observability)과 관련된 106개 기업에 투자했습니다. Braintrust, Langchain, Judgement Labs와 같은 다수의 다른 스타트업들이 수억 달러를 조달했으며, 불과 5-6년 전에 설립된 Arize와 Galileo 같은 보다 성숙한 기업들은 이미 엑시트했습니다.