23일(현지시간) 샘 올트먼 오픈AI CEO는 유엔 안전보장이사회 AI 브리핑에서, AI의 급격한 발전이 가져올 수 있는 핵심 위험으로 인간의 통제력 상실과 권력의 과도한 집중을 제시했다. 그는 AI가 과학적 발견과 경제적 기회를 넓힐 수 있지만, 적절한 통제 장치가 없으면 사회적 혼란과 권력 집중으로 이어질 수 있다고 말했다.
올트먼은 특히 AI가 스스로 다음 세대 모델 개발을 개선하는 재귀적 자기개선 단계에 가까워질수록 발전 속도가 급격히 빨라질 수 있다고 설명했다. 이 경우 사람이 시스템의 작동을 이해하거나 필요한 시점에 개입하지 못할 수 있다는 점을 경계했다. 경쟁에서 앞서기 위해 위험을 감수해서는 안 되며, 정렬, 행동 관찰, 안전성 보장을 확보할 수 없는 시스템은 개발하지 않아야 한다는 입장도 밝혔다.
그가 함께 지적한 또 다른 위험은 강력한 AI가 소수의 기업, 개인, 국가의 통제 아래 집중되는 상황이다. 특정 주체만 강력한 AI를 신뢰할 수 있다는 논리가 기술 권력의 독점을 정당화해서는 안 된다고 강조했다. AI의 발전에서 중요한 것은 기술 자체보다 누구를 위해 작동하는지, 방향을 누가 결정하는지, 그리고 인간이 실제 통제력을 유지하는지라는 점을 국제사회에 공통 기준으로 다뤄야 한다는 제안이다.