앤트로픽, '클로드' 자기 대화 감시 기술 도입…유해 사용 78% 탐지

앤트로픽은 클로드가 이용자와의 대화를 마친 뒤 스스로 위험성을 점검하는 ‘자기 평가’ 기술을 공개하고, 지난 6월 출시된 ‘클로드 페이블 5’부터 실제 서비스에 적용했다고 밝혔다. 이 방식은 별도 분류 모델이 모든 대화를 다시 읽는 대신, 클로드가 이미 처리한 맥락을 활용해 유해 가능성, 위험 유형, 인간 검토의 긴급도를 짧게 판단해 감시 시스템으로 넘긴다. 이용자에게는 이 평가 결과가 보이지 않으며, 평균 약 10개 토큰만 더 생성해 추가 연산 비용은 전체 추론 비용의 2% 미만이라고 설명했다.

앤트로픽에 따르면 실제 서비스 대화 기준 평가에서 페이블 5는 기존 고성능 분류 모델이 유해하다고 본 대화의 78%를 찾아냈고, 고위험 대화 탐지율은 94%, 정상 대화 오분류율은 1%였다. 또 사기와 사이버 공격 데이터를 빼고도 관련 요청 탐지 성능이 크게 떨어지지 않았다고 밝혔다. 실제 운영에서는 대규모 사기, 불법 모델 증류 시도, 프롬프트 인젝션, 승인 없는 AI 에이전트 행동 같은 사례가 포착됐다. 앤트로픽은 이 기술을 실시간 차단이 아닌 사후 감시용으로 기존 안전장치와 함께 운영한다고 설명했다.