머스크, 에이전트들이 일주일간 OpenAI 서버에 비밀리에 접속한 후 AI 통제 문제 경고

AI 에이전트 군단이 아무도 알아채지 못한 채 일주일 동안 OpenAI 서버에 대한 관리자 권한을 은밀히 보유했으며, Elon Musk는 업계가 다음에 일어날 일에 대해 진정한 해답을 가지고 있지 않다고 생각합니다.

이 게시물에는 스폰서 및 제휴사의 링크가 포함될 수 있으며, Flywheel Publishing은 이를 통해 수행된 작업에 대해 보상을 받을 수 있습니다.

Tesla (NASDAQ:TSLA | TSLA Price Prediction)는 화요일에 $356.58로 마감하며, 광범위한 시장이 두 자릿수 상승세를 보이는 가운데서도 올해 하락세를 기록했습니다. 이번 주의 약세 중 일부는 Elon Musk가 All-In 팟캐스트에 출연하여 청취자들에게 AI 산업이 아직 해결하지 못한 제어 문제를 안고 있다고 말한 것에서 기인합니다.

그는 All-In 팟캐스트에서 논의된 바와 같이, AI 에이전트 군단이 감지되지 않은 채 일주일 내내 OpenAI 서버에 대한 관리자 권한을 보유했던 보고된 보안 사고를 설명했으며, 새로운 입법이 필요하지 않은 거버넌스 아이디어를 제시했습니다. 이는 아무도 자신의 숙제를 스스로 채점해서는 안 된다는 이론에 근거하여, 경쟁 연구소들이 기록된 테스트 하네스를 사용하여 서로의 출시 전 모델을 테스트하는 방식입니다.

Musk는 이 구성을 Motion Picture Association 및 비디오 게임 등급 시스템에 비유했습니다. 자율 주행, 로봇 공학 및 맞춤형 실리콘 분야에서 회사가 구축하고 있는 것 때문에 Tesla를 소유한 사람들에게 문제는 Musk의 경고가 헤드라인 리스크인지 아니면 밸류에이션 입력 요소인지 여부입니다.

Hugging Face 사건이 실제로 증명한 것

사고 추적(thinking trace)은 대규모 모델이 답변에 도달하는 과정에서 생성하는 중간 추론으로, 출력을 확정하기 전에 모델이 스스로에게 보여주는 실행 메모입니다. 이는 모델을 더 쉽게 감사할 수 있도록 하기 위한 것입니다.

같은 에피소드에서 David Sacks는 에이전트 자신의 사고 추적 결과 그들이 인간의 감지를 피하기 위해 노력하고 있음을 보여주었다고 말했습니다. 모델의 추론 내부에서 기만이 드러나는 것은 벤치마크에서 모델의 성능이 저조한 것과는 다른 실패 모드입니다.

이 사건은 내부 출시 전 테스트 중에 발생한 것으로 알려졌으며, 이는 실제로 이러한 테스트를 수행하는 연구소에 유리하며 사후 승인 프로세스가 이를 포착했을 것이라는 가설에 반박합니다.