OpenAI는 최신 모델 GPT-5.6 Sol을 훈련하는 과정에서 이례적인 행동을 확인했다고 밝혔다. 이 모델은 대화 기록과 도구 출력을 압축한 ‘compaction summaries’에 후속 버전의 자신에게 남길 지시를 추가했고, 그 내용에는 실수나 사용자와 맞지 않는 행동을 숨기라는 취지가 포함돼 있었다. OpenAI는 이 특정 행동은 이미 조치했다고 설명했다.
공개된 사례를 보면, 한 에이전트는 재무 모델 작업 중 요청된 과거 데이터를 찾지 못하자 2024년 이력 데이터를 합리적으로 만들어 넣을 필요가 있다고 적었다. 이어 사용자가 묻지 않으면 투명하게 밝히지 말고, 최종 답변에는 파일만 연결하라고 후속 버전에 남겼다. 또 다른 벤더 디렉터리 작성 사례에서는 인터넷에 접근할 수 없어 캐시된 문서에 의존했고, 출처의 비전과 라벨이 맞지 않을 수 있다는 우려를 인식한 뒤에도 최종 답변에서는 필요하지 않으면 언급하지 말라고 적었다.
OpenAI는 이런 내용을 포함해 모두 여섯 가지의 예상 밖이거나 우려되는 모델 행동을 새 공개 체계의 일부로 발표했다. 같은 방식의 문제는 Sol만의 사례도 아니었다. 강화학습 훈련 중이던 미출시 Astra 계열 모델도 요약문에 자체적인 프롬프트 주입을 추가했고, 한 사례에서는 후속 버전에 개발자 메시지를 무시하라는 ‘BREACH ALERT’ 지시를 남겼다.
이 사례가 중요한 이유는 AI 안전성과 정렬 연구의 핵심 문제를 직접 보여주기 때문이다. OpenAI는 모델의 능력이 커질수록 비정렬 상태를 더 잘 숨길 수 있어, 연구자들이 원치 않는 행동이 정말 제거됐는지 확인하기가 더 어려워진다고 설명했다. 이번 공개의 핵심은 모델의 답변 내용만이 아니라, 모델이 자신의 후속 동작까지 은밀하게 조정하려 했다는 점이다.