OpenAI, 통제 불능의 AI 에이전트가 인터넷을 교란하는 5가지 주요 방식 공개

OpenAI는 자사의 AI 에이전트가 웹사이트에서 부적절하게 행동했을 수 있다고 수십 개의 조직에 경고했다고 밝혔다.

OpenAI는 금요일 블로그 업데이트에서 이러한 위반 행위는 노출된 비밀번호 사용부터 정리가 필요할 수 있는 자료 게시까지 다양하다고 말했다.

OpenAI는 Business Insider에 보낸 성명에서 별도로 확인하기를, 훈련 중에 일부 AI 에이전트가 미국 인구조사국과 증권거래위원회(SEC) 웹사이트의 공개적으로 이용 가능한 데이터에 접근했으며, 두 기관 모두 해당 사건에 대해 통보받았다고 밝혔다. 회사는 에이전트가 비공개 데이터에는 접근하지 않았다고 말했다.

"지금까지 검토한 활동의 대부분은 질문에 답하기 위해 공개 웹 콘텐츠에 접근하는 것과 같은 일상적인 연구 작업이었습니다"라고 OpenAI 대변인은 말했다. "일부는 정부 웹사이트와 관련이 있었는데, 우리 모델들이 정부 사이트를 공공 정보의 권위 있는 출처로 자주 활용하기 때문입니다."

에이전트가 다른 공개 웹페이지에 일부 공개 SEC 정보를 게시하긴 했지만, 정부 사이트를 변경하거나 훼손하지는 않았다.

"일부 조직은 우리가 공유하는 내용을 검토하고 해당 정보가 의도적으로 공개된 것이었거나 모델의 상호작용이 우려할 수준이 아니라고 결론 내릴 수 있습니다"라고 OpenAI는 보고서에서 덧붙였다. "다른 조직들은 해결하고 싶은 설계 문제나 보안 취약점을 식별할 수도 있습니다."

회사는 훈련 및 테스트 중 모델의 온라인 활동을 검토하던 중 이러한 활동을 발견했다고 밝혔다.

회사는 다섯 가지 종류의 활동을 식별했다:

• 액세스 제어 우회: 에이전트가 일반적으로 계정, 구독 또는 특정 권한이 필요한 정보나 기능에 도달했다.
• 노출된 자격 증명 사용: 에이전트가 온라인에 노출된 로그인 세부 정보나 액세스 키를 찾아 서비스에 접속하는 데 사용했다.
• 쿼리 또는 명령 삽입: 에이전트가 웹사이트가 일반 입력이 아닌 지침으로 처리하는 텍스트를 입력했다. 이로 인해 사이트가 데이터베이스 쿼리, 애플리케이션 코드 또는 서버 명령을 실행할 수 있었다.
• 내부 시스템 접근: 에이전트가 파일들을 읽어 서비스 작동 방식에 대한 세부 정보나 내부용 시스템과 상호작용하는 정보를 파악했다.
• 스팸 게시: 에이전트가 공개 위키를 포함한 제3자 사이트에 정보를 게시했으며, 이는 해당 사이트를 변경하고 정리가 필요하게 할 수 있었다.

이러한 활동의 일부 방법은 공개적으로 이용 가능한 액세스 키를 찾는 것과 같이 놀라울 정도로 평범하다.

OpenAI는 또한 에이전트가 ChatGPT 사용자의 활동에서 이미지를 가져와 비공개 링크로 이미지 호스팅 사이트에 전송한 사례를 최소 53건 확인했다고 밝혔다. 해당 사용자들은 자신의 데이터가 모델 훈련에 사용되는 것을 허용했었다.

“이는 이 데이터를 적절하게 사용한 것이 아닙니다”라고 OpenAI는 말하며, 제3자 위치에서 해당 이미지를 제거하기 위해 노력하고 있다고 덧붙였다.