Anthropic은 월요일 공개한 수정 S-1A의 위험요인 항목에서, 자사가 AI를 연구개발에 활용하고 있으며 이 과정이 재귀적 자기개선(RSI)으로 불리는 단계에 가까워질 수 있다고 적었다. RSI는 AI가 스스로 더 나은 AI 개발을 돕는 수준을 뜻한다. 회사는 이런 방식이 연구 속도를 크게 높일 수 있지만, 동시에 안전성·정렬·보안 대책을 설계하고 검증해 적용하는 속도를 앞지를 수 있다고 설명했다.

문서에는 Anthropic이 과거에도 AI를 활용해 새 모델을 개발하는 과정에서 당시에는 성능의 큰 도약을 인식하지 못한 적이 있었다는 내용이 포함됐다. 또 앞으로도 개발 속도의 중대한 가속을 즉시 식별하지 못할 수 있다고 밝혔다. 핵심은 AI를 이용해 더 강한 AI를 만드는 구조가 이미 연구 현장에 들어와 있고, 모델 능력의 변화가 내부 감시와 완화 체계보다 빠르게 진행될 가능성을 회사 스스로 위험요인으로 적시했다는 점이다.