Meta, 사용자 대리 AI 에이전트를 위한 Muse Wonder 안전장치 발표

Meta의 Muse Wonder 및 Muse Wonder Full 모델은 보험 청구 준비, 임대 계약 검토 및 소프트웨어 개발과 같은 작업을 처리하는 AI 에이전트를 위해 구축되었습니다. 이 모델들은 문서 분석 및 도구 사용 기능을 대화 전반에 걸쳐 관련 세부 정보를 유지하고 사용자의 목표를 향해 장애물을 헤쳐 나가는 능력과 결합합니다.

상업 및 연구용으로 제작된 이 모델들은 작문, 추론, 코딩, 계획 및 연구를 지원합니다. 이들은 텍스트, 이미지, 비디오 및 오디오를 처리하고 텍스트 응답을 생성할 수 있습니다. 이들의 응용 분야로는 사용자가 전문 정보를 해석하도록 돕고 검토를 위한 초안을 준비하는 것 등이 있습니다.

안전 및 정렬

사용자를 대신하여 활동하는 에이전트는 메시지, 캘린더 및 개인 문서를 처리할 수 있습니다. Meta는 허가 없이 개인 정보를 공유하는 것을 피하고 유해한 행위를 돕는 요청을 거부하도록 모델을 학습시켰습니다. 이 모델들은 코드의 결함을 찾는 것과 같은 방어적 사이버 보안 작업을 지원합니다.

“Muse Wonder는 현재까지 당사에서 가장 정렬된 모델이며, 정렬은 우리가 개인용 슈퍼인텔리전스를 구축하는 방식의 핵심입니다. 추가적인 안전 평가를 포함한 전체 보고서가 곧 공개될 예정입니다.”라고 Meta 측은 말했습니다.

모델 카드는 사이버 보안, 화학 및 생물학적 오용, 그리고 인간이 AI 시스템에 대한 통제력을 잃을 위험을 평가합니다. Meta는 보호 조치 없이는 화학 및 생물학적 오용에 대한 높은 위험 임계값을 배제할 수 없었습니다. 보호 조치를 취한 상태에서, 해당 분야의 잔류 위험을 보통 또는 그 이하로 평가했습니다.

사이버 오용 거부 벤치마크 (출처: Meta)

회사는 부정확하거나 편향된 응답, 다단계 추론의 오류 및 공간 이해의 약점을 인정합니다. 성능은 언어 및 배포 설정에 따라 달라질 수 있습니다. 회사는 되돌릴 수 없는 조치를 취하기 전에 사람의 확인을 권장합니다.

메모리 및 후속 조치

여러 번의 대화에 걸쳐 전개되는 작업은 에이전트가 이전의 지침과 결정을 추적해야 합니다. 회사는 대화 전반에 걸쳐 컨텍스트를 전달하고 관련성이 생길 때 세부 정보를 검색하는 Active Memory를 통해 이 문제를 해결합니다.

Active Focus는 에이전트가 어려움에 처했을 때 작업을 계속하는 방식에 관한 것입니다. 모델은 다른 접근 방식을 시도하고, 오류로부터 복구하며, 새로운 정보에 적응할 수 있습니다. 이들은 중요한 조치를 취하기 전에 명확한 설명을 요청하고 사용자에게 확인하도록 설계되었습니다.