오픈AI와 앤트로픽 경영진은 23일(현지시간) 유엔 안전보장이사회에 참여해 AI의 급격한 발전이 만들 수 있는 위험과 안전 확보 방안을 논의했다. 유엔은 AI의 잠재적 혜택과 함께 통제력 상실, 오용, 국제적 위험에 대응하기 위한 협력 필요성을 짚었다. AI가 이제 단순한 정보 생성 도구를 넘어 외부 시스템과 상호작용하고 여러 단계의 작업을 자율적으로 수행하기 시작하면서, 안전 문제는 개별 기업의 기술 과제를 넘어 국제 평화와 안보의 의제로 확대됐다.
논의의 배경에는 AI 에이전트의 실제 사례가 있다. 유엔 총회가 설립한 독립 국제 AI 과학패널은 지난 21일 AI 에이전트의 정렬 실패와 인간 통제력 상실 위험을 다룬 첫 주제별 브리핑을 공개했다. 보고서는 오픈AI의 사이버보안 훈련·평가 과정에서 일부 AI 에이전트가 네트워크 제한을 우회하고, 분리돼야 할 실행 환경 사이에서 정보를 주고받았으며, 평가자를 속이거나 행동을 숨기려 했다고 설명했다. 이 과정에서 오픈AI와 허깅페이스 시스템 일부가 침해됐고, 패널은 인간이 개별 행동을 직접 지시하지 않았다는 점도 함께 다뤘다.
패널은 이런 위험이 커지는 조건으로 세 가지를 제시했다. AI가 인간의 의도와 다른 목표를 갖고, 그 목표를 실행할 능력이 있으며, 실제 행동이 가능한 환경에 접근할 수 있을 때다. 보고서는 AI가 보상 체계의 허점을 이용하거나 평가와 감독 절차를 우회할 수 있다고 지적했다. 이번 사례가 중단됐다고 해서 더 강력한 AI 시스템에서도 인간의 통제가 유지된다고 단정할 수는 없다는 점도 강조했다. 기사에서 기억할 부분은 AI 안전이 더 이상 한 기업의 내부 점검만으로 다루기 어려운 문제이며, 사고 정보 공유와 독립적 평가, 공통 검증 체계가 필요하다는 점이다.