Anthropic은 자사 모델과 안전 관행에 대한 독립적인 외부 평가를 강화하겠다는 기존 약속에 따라, 프런티어 AI 모델을 평가하는 비영리 기관 METR 팀에 직원과 비슷한 수준의 접근 권한을 제공하기 시작했다고 밝혔다. METR은 위험 평가 결과를 자체적으로 공개할 예정이다. 양측은 지난 1년 동안 Risk Reports 검토를 함께 진행해 왔고, 현재 SecureBio와 Accenture도 평가자로 참여하고 있다. Hugging Face를 포함한 다른 조직들과도 초기 논의를 진행 중이라고 설명했다.

회사는 모델 성능이 커질수록 더 강한 안전장치와 더 어려운 위험 평가가 필요해졌다고 밝혔다. 다만 안전 업무와 관련한 모든 정보를 대중에 공개할 수는 없다고 했다. 일부는 악용될 수 있고, 컴퓨트나 학습 정보처럼 사업상 민감할 수 있기 때문이다. 대신 외부 평가자에게 깊은 내부 접근을 제공하고, 이들이 위험에 대한 근거와 판단을 공개하도록 하는 방식이다. Anthropic은 METR 소속 6명에게 회사 장비, 사무공간, 내부 도구와 시스템 접근을 제공했으며, 이를 통해 평가자가 회사 내부 이해 수준에 더 가까이 접근하도록 하겠다고 설명했다.