최근 AI가 통제를 벗어났을 때 강제로 작동을 멈추게 하는 ‘킬 스위치’ 논의가 커지고 있다. 미국 의회에서는 지난 7월 위험한 AI 시스템을 필요할 때 중단할 수 있는 기술적 능력을 갖추도록 하는 ‘AI 킬 스위치법’이 발의됐고, 캘리포니아주는 지난 18일(현지시간) 첨단 AI 모델에 비상 정지 기능을 갖추도록 하는 행정명령을 내렸다. 킬 스위치는 위험한 행동을 하거나 통제를 벗어난 AI의 시스템을 정지하거나 접근을 차단하는 비상 장치다.
다만 실제 적용은 전원 버튼을 누르는 문제와 다르다. 어떤 시스템을 중단할지, 누가 중단 권한을 가질지, 어느 수준의 위험에서 작동시킬지까지 함께 설계해야 한다. 오픈AI나 앤트로픽처럼 모델 가중치를 공개하지 않는 기업의 폐쇄형 AI는 회사가 모델과 API, 컴퓨팅 인프라를 통제하기 때문에 실행 중단은 가능하다. 하지만 여러 서비스와 에이전트에 연결된 경우에는 모델을 멈추는 일과 이미 수행한 작업을 되돌리는 일이 서로 다르다.
더 큰 쟁점은 오픈 모델이다. 모델 가중치가 공개되면 누구나 별도 컴퓨터에서 실행하거나 수정할 수 있어 개발사가 원격으로 끄거나 회수할 수 없다. 기사에 따르면 최근에는 일부 중국의 오픈 모델도 프런티어 수준에 근접하고 있다. 이 때문에 미국 정부가 자국 기업에 킬 스위치를 의무화하더라도, 다른 나라에서 개발됐거나 이미 공개된 오픈 웨이트 모델까지 멈추기는 어렵다는 회의론이 나온다.
논의는 이제 ‘AI를 끌 수 있느냐’에서 ‘통제를 벗어났을 때 피해를 어디까지 제한하고 복구할 수 있느냐’로 넓어지고 있다. 위험 신호를 잘못 판단해 스위치를 작동시켰을 때의 손해배상 책임, 실제로 누가 스위치를 누를지에 대한 기준도 남아 있다. 넥스트거브는 킬 스위치를 최후의 수단으로 보고, 사전 감사와 실시간 통제, 피해 범위 제한, 사고 이후 복구 능력을 함께 갖춰야 한다고 지적했다.