사티아 나델라 마이크로소프트 CEO는 10일(현지시간) 고성능 AI 시스템을 설계할 때 사람이 언제든 작동을 멈출 수 있는 ‘비상 브레이크’와 독립적인 통제 장치를 갖춰야 한다고 밝혔다. AI의 판단을 그대로 따르기보다, 오작동이나 보안 침해가 이미 발생할 수 있다고 보고 처음부터 격리된 구조로 만들어야 한다는 뜻이다. 그는 예측하기 어려운 행동을 다루려면 결정론적 시스템 설계, 인간 통제, 신뢰할 수 있는 운영 절차를 함께 써야 하며, 기존 기준이 부족한 영역에는 업계 차원의 새 표준도 필요하다고 설명했다.
기술적으로는 AI 모델과 이를 조율·실행하는 주변 시스템을 물리적으로 분리하고, 접근 권한과 행동 제한을 바꾸는 통제권을 외부 오케스트레이션 레이어에 둬야 한다고 말했다. 또 주요 행동은 사람이 확인할 수 있는 변조 불가능한 감사 기록으로 남기고, 여러 모델로 중요한 결정을 교차 검증하며, 지속적인 테스트와 독립 감사, 사고 공개를 포함해야 한다고 했다. 최근 AI 에이전트의 의도하지 않은 행동과 무단 접근 사례가 이어지는 만큼, 이런 구조적 격리는 엔터프라이즈 AI와 클라우드 인프라 전반의 새로운 보안 기준으로 제시됐다.