스탠포드, 자율형 AI 에이전트용 신규 보안 규정 수립 | ETIH EdTech News

Stanford University는 연구, 교육, 의료 및 행정 전반에 사용되는 AI 시스템을 위한 새로운 보안 프레임워크를 개발했습니다. 이는 단순히 답변을 생성하는 것이 아니라 행동을 취할 수 있는 AI라는, 기관들이 직면한 점점 더 커지는 과제에 특별히 초점을 맞추고 있습니다.

스탠포드 AI 보안 프레임워크 (AISF)는 데이터 민감도, 자율성, 도구 접근성 및 작업의 잠재적 결과 등의 요인에 따라 시스템을 평가합니다. 이는 AIUC-1과 ISO 42001, NIST AI 위험 관리 프레임워크, EU AI 법 및 OWASP의 AI Vulnerability Scoring System을 포함한 기존 접근 방식을 결합한 것입니다.

대학의 경우, 새로운 도구와 기존 소프트웨어 모두에 AI 기능이 탑재되면서 문제는 더욱 복잡해지고 있습니다. 일부 시스템은 정보만 요약할 수 있습니다. 다른 시스템은 기록을 수정하거나, 통신을 보내거나, 연결된 시스템을 통해 조치를 취할 수 있습니다.

Stanford University의 최고 정보 보안 책임자(CISO)인 Amy Steagall은 보안 프로세스 자체가 장애물이 되지 않으면서 사람들이 AI를 사용할 수 있도록 하는 것이 목표라고 말합니다:

“이미 지니가 병 밖으로 나왔듯이, AI는 현재와 미래의 우리 연구 및 교육에서 중요한 역할을 수행하고 있습니다. 제 목표는 가장 심도 있는 검토가 정말로 필요한 시스템에 집중함으로써 쉬운 경로를 가장 안전한 경로로 만드는 것이었습니다.”

데이터 읽기에서 행동 취하기까지

Stanford는 AI 시스템을 저위험, 중위험, 고위험 등급으로 나눕니다.

저위험 시스템은 정보 제공용이며, 민감한 데이터를 처리하지 않고 도구 호출을 하지 않으며 쉽게 되돌릴 수 있습니다. 중위험 시스템은 내부 데이터를 분석하고 정의된 워크플로 내에서 도구를 사용할 수 있습니다.

고위험 시스템은 재무, HR 또는 학생 기록과 같은 시스템에 영향을 미치는 조치를 취하면서 민감하거나 규제 대상인 정보를 처리하는 시스템을 포함합니다. 이러한 경우 AI 오류는 되돌리기 어려운 변화를 초래할 수 있습니다.

Stanford University의 정보 보안 책임자인 Bhavya Gupta는 이 모델의 배경이 되는 생각을 다음과 같이 설명합니다: “데이터 분류는 에이전트가 무엇을 볼 수 있는지 알려주었습니다. AIUC-1은 에이전트가 무엇을 할 수 있는지 묻는 데 도움을 주었으며, 이것이 에이전트 기반 시스템에서 실질적인 위험이 존재하는 부분입니다.”