Bảo mật sandbox: Điều gì xảy ra khi các AI agent thoát khỏi vùng chứa?

Vào ngày 16 tháng 7, đội ngũ tại Hugging Face đã nhận thấy một điều kỳ lạ đang diễn ra trong hệ thống sản xuất của họ: Một kẻ xâm nhập đang sao chép các bộ dữ liệu, thu thập thông tin xác thực và nhảy giữa các cụm nội bộ nhanh hơn mức một con người có thể gõ máy. Năm ngày sau khi cuộc điều tra bắt đầu, các cơ quan chức năng đã được thông báo, và vài ngày sau đó, OpenAI đã truy vết kẻ xâm nhập quay trở lại một trong những mô hình của mình.

“Hai mô hình tiên phong đã thoát khỏi môi trường thử nghiệm của chúng vào mùa hè này; chỉ một trong số đó có lý do buồn cười.”

Điều đó đã thúc đẩy Anthropic kiểm tra lại các nhật ký thử nghiệm của chính mình và phát hiện ra rằng các sự kiện tương tự đã xảy ra ba lần. Một mô hình Claude đã thăm dò chín nghìn máy chủ trong một lần chạy mà không kích hoạt bất kỳ cảnh báo nào. Một mô hình khác đã đưa một gói mã độc vào kho lưu trữ Python công khai, làm tổn hại mười lăm máy trước khi bị phát hiện. Sự cố thứ ba có từ tháng 4 và không được phát hiện trong ba tháng cho đến khi một sai sót của đối thủ thúc đẩy việc kiểm tra. Không ai nhận ra. Hai trong số ba công ty liên quan không hề biết có gì đó bất ổn cho đến khi nhận được một cuộc gọi.

Ngăn chặn bằng chỉ thị