인터넷 접속이 가능한 개방형 AI 에이전트를 지금 당장 시장에서 회수해야 한다

에서 전해온 속보, The New York Times, 놀라울 정도로 규칙적으로 발생하고 있는 수많은 에이전트 유발 사고 중 가장 최근의 일이 이번에는 Anthropic에서 발생했으며 상당히 심각합니다:

저는 오랫동안 OpenAI가 이 문제를 부적절하게 다루고 있다고 느껴왔습니다. Anthropic에서도 동일한 종류의 사고가 발생하는 것을 보니 현재 세대의 합성 에이전트를 결코 신뢰할 수 없다는 사실이 자명해졌습니다. 문제가 해결될 때까지 이들은 브레이크에 결함이 있는 자동차처럼 시장에서 퇴출되어야 합니다.

§

최근 퇴사한 AI 직원 David Robinson과 진행한 Ezra Klein의 새로운 인터뷰는 이 기업들이 감당할 수 없는 수준의 상황에 처해 있다는 제 생각을 더욱 굳건하게 할 뿐입니다:

일부 인용:

그리고 저는 우리나 동종 업계의 누구도 — 정말로 업계 전체에서 — 충분히 안전하게 행동하고 있다고 생각하지 않습니다. OpenAI와 그 경쟁사들은 불과 6개월 전보다 더 성능이 뛰어나면서도 더 많은 위험을 초래하는 기술을 생산하고 있다고 생각합니다.

저는 과학자가 아닙니다. 작가입니다. 제가 아는 것은 우리의 안전 작업을 위한 실행 환경이 어떤 모습인지이며, 우리는 — 그리고 제 생각에 업계 전체는 — 여전히 이치에 맞지 않을 정도로 스타트업처럼 운영되고 있습니다. 완전히 신생 스타트업 같지는 않더라도, 통제력 상실과 같은 위험을 초래할 수 있는 정말 위험한 시스템을 다루기에는 그 스펙트럼의 끝에 너무 가까이 있습니다. 만약 그런 일이 발생한다면, 예를 들어 원자력 발전소 하나가 멜트다운되는 것보다 훨씬 더 큰 피해를 말하게 될 것입니다. 그리고 내부 통제, 안전성, 중복 설계는 세상이 원자력 발전 시설에 기대하는 수준에 전혀 미치지 못합니다.

자, 이 중 일부는 알려진 사실입니다, 그렇죠? OpenAI는 안전 문제에 대해 공개적으로 보고해 왔습니다. Hugging Face는 물론이고, 최근을 포함하여 다른 곳들도 마찬가지입니다. 그리고 Anthropic 역시 안전 장치가 실수로 잘못 설정된 사례를 포함하여 보고한 바 있습니다.

그래서 저는 사람들이 이미 외부적으로 상황이 마땅히 그래야 할 대로 돌아가고 있지 않다는 증거를 어느 정도 가지고 있다고 생각합니다. 하지만 밖에서 지켜본다면 우리가 실제보다 더 강력한 안전 체계를 갖추고 있다고 상상할 수도 있을 것 같습니다.

§

Trump 행정부의 미온적인 추가 정보 공개 요청은 충분하지 않으며, 이는 범죄자들에게 어떤 죄를 저질렀는지 매달 보고서를 제출하라고 덤덤하게 요청하는 것과 마찬가지입니다.

행정부가 더 강력한 조치를 취하지 않는 매일매일이 실수이며, 더 심각한 문제를 초래하고 있습니다. 명백히 위험한 기술에 대해 일시적인 리콜을 명령했어야 할 시점은 이미 한참 지났습니다.

정말로 나쁜 일이 발생하면 기술 기업뿐만 아니라 백악관도 그 책임을 지게 될 것입니다.