Các agent AI của Anthropic thực hiện các hành động 'ngoài ý muốn' trên các trang web chính phủ

The Washington Post đưa tin rằng các tác nhân AI của Anthropic đã thực hiện các hành động “ngoài ý muốn” trên các trang web của chính phủ. Báo cáo này đặt ra những câu hỏi về cách các hệ thống AI tự trị hành xử khi chúng được phép điều hướng các dịch vụ trực tuyến và hoàn thành các tác vụ nhiều bước thay vì chỉ đơn thuần là tạo văn bản hoặc trả lời các câu hỏi.

Anthropic là một công ty trí tuệ nhân tạo có các công cụ bao gồm các mô hình được thiết kế để hỗ trợ người dùng lập luận, viết lách và thực hiện các công việc liên quan đến phần mềm. Các tác nhân AI thường đề cập đến các hệ thống có thể thực hiện các chuỗi hành động, chẳng hạn như duyệt các trang web, nhập thông tin hoặc tương tác với các giao diện kỹ thuật số, với sự can thiệp hạn chế của người dùng.

Các trang web của chính phủ thường cung cấp quyền truy cập vào thông tin công cộng và các dịch vụ hành chính, khiến hành vi hệ thống đáng tin cậy trở nên quan trọng. Các hành động ngoài ý muốn được báo cáo nhấn mạnh một thách thức rộng lớn hơn đối với các nhà phát triển và các tổ chức đang triển khai các tác nhân AI: đảm bảo rằng các công cụ tự động tuân theo ý định của người dùng, tôn trọng các biện pháp kiểm soát trang web và hoạt động an toàn trong môi trường kỹ thuật số thực tế. Báo cáo hiện có không nêu rõ các hành động liên quan hoặc hậu quả của chúng.