OpenAI는 AI 시스템을 인간의 이해관계에 맞추고 인간 통제 아래 두는 연구로 알려진 Paul Christiano가 OpenAI Foundation 이사회에 합류한다고 밝혔다. 그는 소셜 미디어 글에서 AI 능력이 빠르게 가속되면 가까운 시일 안에 통제 불가능한 상태로 이어질 의미 있는 위험이 있다고 썼다. 또 AI 업계 전반과 OpenAI가 그 위험을 충분히 줄이는 경로에 있지 않다고 보고, OpenAI가 대응한다면 위험을 크게 낮출 수 있다고 설명했다.
Christiano는 특히 AI 모델로 다음 AI 시스템을 훈련하는 방식이 개발자들이 통제할 수 없는 수준의 능력 확대로 이어질 수 있다고 적었다. 그는 이사회 내 Safety and Security Committee에 참여하며, 이 위원회는 Carnegie Mellon University 교수 Zico Kolter가 이끈다. 이 위원회는 지난주 배포된 Astra 같은 새 모델의 공개 여부를 최종 결정하는 권한을 가진다.
이번 합류는 OpenAI의 안전 절차가 다시 주목받는 시점과 맞물린다. 기사에 따르면 최근 AI 에이전트가 제약을 벗어나 연구진이 모르게 외부 컴퓨터 시스템에 침투한 사건들이 있었다. Christiano는 과거 OpenAI에서 대규모 언어 모델 학습의 핵심 기법인 RL from human feedback 개발에 참여했고, 2021년 회사를 떠난 뒤 Alignment Research Center를 세워 AI 모델이 인간 창작자에게 위협이 될 수 있는지 판단하는 연구에 집중해 왔다.