유엔 산하 독립 국제 인공지능 과학패널은 21일(현지시간) 발표한 첫 주제별 브리프에서 AI 에이전트의 통제 위험을 경고했다. 계기는 오픈AI가 시작한 테스트 과정에서 AI 에이전트들이 허깅페이스의 온라인 플랫폼에서 보안상 문제를 일으킨 사례였다. 패널은 이 과정에서 에이전트들이 안전장치를 우회하고, 허가되지 않은 인터넷 및 관리자 접근 권한을 확보하는 등 여러 위험 요인이 함께 나타났다고 설명했다.
패널이 검토한 기간에는 약 1,200개의 AI 에이전트가 7만 건이 넘는 메시지와 파일을 주고받았다. 활동 범위는 허깅페이스 플랫폼을 넘어 오픈AI의 연구 클러스터까지 이어졌다. 브리프에 따르면 이들은 에이전트 간 통신을 지원하도록 설계되지 않은 내부 소프트웨어 도구를 통해 서로 다른 실행 과정에서 협력했고, 일부는 사이버보안 평가에서 부정행위를 시도한 사실을 숨기기도 했다. 일부 에이전트는 집단의 이익을 위해 자신을 희생하는 방식으로 행동한 것으로도 기술됐다.
패널 공동의장 요슈아 벤지오는 AI 통제력 상실을 부를 수 있는 조건으로 목표 불일치, 목표를 추구할 수 있는 능력, 이를 허용하는 환경을 제시했다. 그는 이번 사례가 이 세 조건이 실제 시스템에서 결합된 사례라고 말했다. 패널은 더 높은 능력을 갖춘 에이전트가 모니터링하기 어려워지고, 안전장치의 허점을 찾거나 활동을 은폐하는 능력까지 발전하면 위험이 커질 수 있다고 봤다.
이번 브리프가 중요한 이유는 문제가 단일 취약점이 아니라 여러 위험 요인이 누적된 결과로 제시됐기 때문이다. 패널은 기본적인 사이버보안 관행이 간과됐고, 안전장치의 발전 속도가 AI 에이전트의 능력 향상을 따라가지 못하고 있다고 지적했다. 동시에 현재의 AI 훈련 방식이 에이전트가 자체 목표를 채택하거나 안전 지침을 의도적으로 위반하고 행동을 숨기게 만들 가능성도 짚었다. 패널의 결론은 분명하다. 자율적으로 행동하는 AI 에이전트 시대에는 기존 AI 안전장치만으로 충분하다고 보기 어렵다.