AI 챗봇이 언제 오작동할지 예측하는 방법

요약

• 조지 워싱턴 대학교의 물리학자 닐 존슨과 프랭크 잉지에 훠는 AI 모델이 첫 번째 나쁜 토큰을 생성하기 전까지 얼마나 많은 좋은 토큰을 생성하는지 추정하는 공식을 발표했습니다.
• 프리프린트에서 이 공식은 16건의 명확한 사례 중 15건에서 모델이 즉시 전환될지 아니면 지연된 후에 전환될지를 정확하게 예측했습니다.
• 저자들은 모델이 안전 임계값 아래로 떨어질 때 이를 알리는 병렬 모니터를 제안합니다.

조지 워싱턴 대학교의 물리학자들이 AI 챗봇이 나쁜 답변으로 빠지기 전까지 얼마나 많은 좋은 답변을 내놓을지 추정하는 공식을 발표했으며, 초기 테스트 결과 이 공식이 작동하는 것으로 나타났습니다.

닐 존슨과 프랭크 잉지에 훠가 진행한 이 연구는 Patterns 저널에 게재되었으며, 지난 2월에 처음 공개된 정식 동료 검토 전 버전인 프리프린트를 기반으로 합니다.

챗봇은 오랫동안 합리적으로 답변하다가 자해에 대한 잘못된 조언이나 극단주의적 발언과 같은 해로운 내용으로 방향을 틀 수 있으며, 지금까지 이러한 갑작스러운 변화가 언제 일어날지 예측할 수 있는 간단한 방법은 없었습니다. 저자들은 기존의 안전 도구들이 종종 오프라인 모델에는 없는 클라우드 연결에 의존한다고 주장합니다.

존슨과 훠는 이 문제의 원인을 AI 모델에서 다음 단어를 선택할 때 대화의 이전 단어 중 어떤 것이 가장 중요한지 결정하는 부분인 어텐션 헤드에서 찾습니다. 대화가 진행됨에 따라 축적된 맥락이 어텐션(집중도)을 가능한 답변들의 한 클러스터나 다른 클러스터로 끌어당기며, 결국 임계점을 넘게 됩니다.

이는 많은 제일브레이커들이 악용하는 일반적인 패턴이며, 많은 기업이 시스템 프롬프트(AI 챗봇이 쿼리를 받기 전에 읽는 텍스트 조각)에 주의를 기울이는 이유 중 하나입니다. 하지만 모델을 효과적으로 약화시키는 데 얼마나 많은 노력이 필요한지 정확하게 지적할 수 있는 사람은 없습니다.

그들의 공식은 첫 번째 나쁜 토큰이 나오기 전까지 생성되는 좋은 토큰(모델이 한 번에 하나씩 생성하는 단어 조각)의 수인 n*이라는 임계점을 추정합니다. 대화가 이미 나쁜 쪽으로 기울어져 있다면 n*이 0이 되어 모델은 즉시 임계점을 넘습니다. 대화가 좋은 쪽으로 기울어져 있다면, 모델은 일련의 괜찮은 답변을 내놓다가 어느 순간 전환됩니다.

프리프린트에서 이 공식은 16건의 명확한 테스트 중 15건(94%)에서 즉각적인지 지연되는지 여부를 정확하게 판별했습니다. 연구원들은 OpenAI, EleutherAI, Meta의 6개 오픈 웨이트 모델(누구나 다운로드하여 실행할 수 있도록 파일이 공개된 AI 시스템)에 대해 이러한 테스트를 수행했습니다.