마이크로소프트 CEO 사티아 나델라는 10일(현지시간) 엑스 계정 글에서 초지능 AI 시스템을 설계할 때 모델을 잠재적 내부자 위협처럼 취급해야 한다는 입장을 밝혔다. 모델이 악의를 갖지 않아도 실수할 수 있고, 외부 입력이나 공격에 흔들릴 수 있기 때문이다. 그래서 모델의 추론 능력과 실제 권한은 분리해야 하며, 데이터 접근과 작업 실행은 별도 통제 계층에서 제한하고 검증해야 한다고 설명했다. 이는 제품 발표가 아니라 초지능 시대 보안 설계에 대한 개인 견해로 제시됐다.
그가 제안한 원칙은 모델 다양성, 행동의 관찰 가능성, 결과의 검증 가능성, 모델과 분리된 독립 통제, 독립 감사 가능성, 격리와 차단 등이다. 한 모델에 의존하지 않고 교차 확인하며, 입력·출력뿐 아니라 도구 호출과 데이터 접근 과정도 추적해야 한다는 뜻이다. 중요한 판단은 별도로 확인할 수 있어야 하고, 모델이 스스로 권한을 넓히지 못하도록 외부 정책 집행 장치가 필요하다는 설명이다. 기업 업무 시스템에 연결된 AI 에이전트가 늘수록 보안의 중심은 모델 성능만이 아니라 권한 관리와 즉각 개입 능력으로 옮겨간다는 점을 보여준다.