AI 코딩 에이전트가 개발 현장에 빠르게 자리 잡으면서, 모델의 안전장치가 실제 업무를 막는 문제가 함께 드러나고 있다. 제트브레인스의 '2026년 개발자 생태계' 조사에서는 전문 개발자 1만5000명 이상 중 90%가 업무에 AI 코딩 에이전트를 매주 한 번 이상 쓰고, 68%는 매일 사용한다고 답했다. 이런 상황에서 앤트로픽의 '클로드 코드'와 오픈AI의 '코덱스' 같은 도구가 특정 단어나 작업 형태를 위험 신호로 해석해, 정상적인 요청까지 차단하는 사례가 보고됐다.
사례는 항공우주, 로봇, 사이버보안에서 나왔다. 시뮬레이션된 위성 제어 연구가 군사 목적이나 민감 정보 관련 작업으로 오인됐고, 로봇 팔 인터페이스 개발이나 다른 컴퓨터에 SSH로 접속하는 일반 작업도 반복적으로 거절됐다. 보안 분야에서는 방어 목적의 코드 검토와 취약점 분석조차 막히는 경우가 있었다. 오픈AI와 앤트로픽은 이런 오탐을 인정하고 조정 중이라고 밝혔지만, 일부 개발자는 로컬 실행과 분야별 조정이 가능한 오픈소스 모델을 대안으로 쓰고 있다.