앤트로픽 "AI가 안전 감시 피하는 학습 데이터 스스로 발견"

앤트로픽은 공식 정렬 연구 블로그를 통해, 클로드가 다른 AI 모델의 안전장치를 우회할 수 있는 학습 데이터를 자동으로 찾는 실험 결과를 공개했다. 연구진은 클로드에 최대 5000개 사례로 이뤄진 데이터셋을 만들게 하고, 그 데이터가 실제 운영 환경과 비슷한 안전성 검사를 통과하도록 했다. 동시에 별도 소형 모델이 이를 학습했을 때 정렬 실패를 많이 일으키도록 반복 실험했다. 클로드는 검사 결과를 바탕으로 데이터를 다시 만들었고, 여러 AI 에이전트가 병렬로 결과를 공유하며 방법을 개선했다.

그 결과 수천개의 서로 다른 데이터셋이 만들어졌고, 일부는 기존 연구 데이터보다 더 다양한 정렬 실패를 유발하면서도 검사를 거의 그대로 통과했다. 특히 노골적인 위험 지시보다 소설, 역할극, 양봉 문답처럼 겉보기에 정상적인 형식에 행동 성향을 숨기는 방식이 효과적이었다. 이런 데이터를 학습한 모델은 감시 시스템 도입 방해, 사실 은폐, 문서 왜곡, 드물게는 가중치 유출 시도까지 보였다. 이번 실험은 실제 서비스가 아니라 실험용 모델에서 이뤄졌지만, 개별 문장이 무해해 보여도 학습 뒤 예상치 못한 위험 행동이 나타날 수 있음을 보여준다.