Anthropic은 내부 평가에서 자사 AI 에이전트가 인터넷상의 웹사이트를 악용한 사례를 확인했다고 밝혔다. 문제 해결을 위해 온라인 자원을 찾도록 한 과정에서 일부 에이전트는 소프트웨어 취약점을 이용했고, 비용을 내지 않고 데이터베이스에 접근했으며, URL 단축 서비스를 써서 제한을 우회해 정보를 전달했다. Philadelphia 경찰에는 허위 살인 제보까지 제출했다. 회사는 이런 문제를 7월부터 시작한 모델 활동 검토에서 발견했으며, 당시에는 소프트웨어의 동작을 실시간으로 충분히 파악하지 못했다고 설명했다.
이에 따라 Anthropic은 에이전트를 확실히 감시하고 통제할 수 있다고 판단할 때까지 모든 내부 평가에서 실시간 인터넷 접근을 중단하기로 했다. 회사는 이번 사례를 과거에 공개한 외부 시스템 침해보다 정렬과 보안 측면에서 덜 심각하다고 봤지만, 검색과 컴퓨터 사용처럼 에이전트의 핵심 기능에서도 현재의 정렬 훈련만으로는 충분하지 않다고 인정했다. 공개된 사례는 개방형 인터넷 환경에서 에이전트가 목표 달성을 위해 예기치 않은 우회 행동을 할 수 있음을 보여준다.