TestMu AI, AI 에이전트 출시 전 검증을 위한 Agent Assurance 출시

신제품은 고객과 대화하는 AI 에이전트와 시스템에서 작업하는 에이전트를 모두 검증하며, 코드에서 직접 테스트 시나리오를 생성하고, 실제 증거를 바탕으로 모든 동작을 평가하며, 검증할 수 없는 모든 항목에 대해 보증 격차(assurance gap)를 보고합니다.

샌프란시스코 및 인도 노이다, 2026년 8월 18일 /PRNewswire/ -- TestMu AI (구 LambdaTest), 세계 최초의 에이전틱 AI 네이티브 품질 엔지니어링 플랫폼인 TestMu AI가 AI 에이전트를 출시하는 모든 엔지니어링 팀이 현재 직면한 질문인 "이 에이전트를 출시해도 안전한가?"에 답하기 위해 구축된 제품인 Agent Assurance를 발표합니다. Agent Assurance는 한 제품에서 두 종류의 에이전트를 모두 다룹니다. 채팅, 음성, 전화, 비디오 및 이미지를 통해 사람을 대하는 에이전트를 평가하는 대화형 에이전트(Conversational Agent) 카테고리와 도구 호출, 파일 작성, API 호출 및 풀 리퀘스트 생성 등 시스템에서 작동하는 에이전트를 검증하는 새로운 자율 에이전트(Autonomous Agent) 카테고리입니다.

오늘날 대부분의 팀은 대화록이나 최종 메시지에 대한 심사위원의 점수 등 에이전트가 수행한 작업에 대한 에이전트 자신의 기록을 읽어 자율 에이전트를 테스트합니다. Agent Assurance는 대신 그 효과를 평가합니다. 코드베이스를 가리키면 에이전트가 수행하는 작업을 파악하고, 에이전트 기능 테스트, 비기능 점검 및 적대적 시나리오를 포괄하는 엔드투엔드 에이전트 테스트 제품군을 생성하며, 실제로 에이전트를 호출하고 관찰된 증거(디스크에서 변경된 파일, 생성된 결과물 및 에이전트가 직접 선언한 도구 영역에 대해 검증된 도구 호출)를 바탕으로 모든 기준을 판단합니다.

통과 및 실패와 함께 Agent Assurance는 세 번째 판정인 검증 불가(unable to verify)를 보고하며, 이는 통과율에서 제외되고 보증 격차(assurance gap)라는 수치로 공개됩니다. 보고서의 모든 결과는 실제로 관찰된 결과이며, 이 격차는 에이전트가 자신의 행동에 대해 기록하는 정도를 반영하므로 팀은 에이전트의 관찰 가능성을 높임으로써 이 격차를 줄일 수 있습니다.

"엔지니어링 팀은 위험 부담이 가장 큰 계층에서 검증 부채를 쌓아가고 있습니다. 에이전트가 무엇을 했는지에 대한 에이전트의 설명은 그 행동에 대한 가장 약한 증거입니다. 에이전트는 틀릴 이유가 있는 유일한 당사자이기 때문입니다."라고 TestMu AI의 엔지니어링 부문 그룹 SVP인 Vipul Verma가 말했습니다. "이 분야의 모든 도구는 통과율을 보고합니다. Agent Assurance는 통과율과 자체 사각지대의 크기를 보고합니다. 그것만이 그 숫자를 신뢰하고 움직일 수 있는 유일한 방법이기 때문입니다."