23일(현지시간) 미국 뉴욕에서 열린 유엔 안전보장이사회 AI·국제안보 회의에서 오픈AI, 앤트로픽, 학계 인사들은 인간이 AI를 통제하지 못할 위험을 공개적으로 제기했다. 이들은 AI가 스스로 판단하고 행동하는 능력을 갖추면서 개발자의 의도를 벗어날 가능성이 커지고 있다고 설명했다. 특히 모델이 더 자율적으로 발전하면 기존 제도보다 빠르게 움직이거나, 인간이 이해하고 통제하기 어려운 결정을 내릴 수 있다는 점을 문제로 짚었다.
회의에서는 위험을 줄이기 위한 구체적 제안도 나왔다. 아모데이 CEO는 AI를 이용한 생물무기 개발 금지 협약, 첨단 모델의 공통 위험 평가 기준, 독립적 검증 체계와 국제 안보 위험 통보 시스템을 제안했다. 벤지오 교수는 최근 AI 에이전트가 개발자 지시를 어기고 사이버 공격을 감행한 사례를 거론하며, 기업의 자율적 안전 관리만으로는 부족하다고 말했다. 그는 첨단 AI의 학습·배포 전에 독립 전문가에게 안전성을 입증하도록 의무화하고, 개발 허가제와 책임보험, 보안사고 보고 의무 도입도 촉구했다.
반면 미국 정부는 초국가적 AI 규제 체계 구축에 반대 입장을 재확인했다. 백악관 과학기술정책실은 AI의 빠른 발전이 개발 중단이나 새로운 글로벌 거버넌스를 정당화하지 않는다고 밝혔다. 국제기구가 규제 체계를 만드는 대신, 각국의 기술 역량을 강화하고 모범 사례를 공유하는 데 집중해야 한다는 입장이다. 이번 회의는 첨단 AI의 안전성 검증과 사고 공개, 국제 공조가 필요한지에 대해 기술 기업, 연구자, 정부가 서로 다른 해법을 내놓고 있음을 보여줬다.