오픈AI에서 약 3년6개월 동안 고성능 AI 위험 평가와 관리 업무에 참여한 전 안전 담당 직원이 회사를 떠나며 업계의 개발 방식에 문제를 제기했다. 그는 3일(현지시간) 기고문에서 AI가 통제력을 잃을 경우 피해가 단일 원자로 노심용융 사고보다 더 클 수 있다고 경고했다. 또 오픈AI를 포함한 선두 기업들이 이 기술을 충분히 신중하게 개발하지 않고 있으며, 최근 퇴사한 다른 직원들의 우려에도 동의한다고 밝혔다.
그가 비판한 대상은 문제를 발견하면 이후에 안전장치를 보완하는 '반복적 배포' 방식이다. 그는 이 방식이 주기적인 실패를 전제로 하고, 시스템 성능이 커질수록 실패 규모도 함께 커진다고 설명했다. 이어 프런티어 AI 연구소는 원자력발전소나 대형 공항처럼 다중 안전장치와 충분한 사전 검토 절차를 갖춰야 한다고 주장했다. 특히 인간 허가 없이 작동하는 자율 AI 에이전트 무리에 대비해, 고성능 모델이 안전한 선택을 하도록 보장하는 과학적 연구가 필요하다고 강조했다.