구글과 오픈AI, 앤트로픽이 정부의 직접 감독 없이 최첨단 AI 모델의 안전 기준을 마련하는 업계 자율 규제기구 설립을 추진하고 있다. 세 회사는 가칭 '프런티어 AI 표준기구(SAFA·Standards Authority for Frontier AI)'를 검토 중이며, 올해 말이나 2027년 초 출범을 목표로 한다.
SAFA의 역할은 최첨단 AI 모델 출시 전 제3자 안전성 평가를 지원하고, 안전·보안 사고의 보고 절차를 정하는 것이다. 각 기업이 자발적으로 약속했던 안전 조치를 실제 운영 기준으로 구체화하고, 독립 감사인의 자격 요건도 마련할 방침이다. 직접적인 모델 평가를 맡을지는 아직 논의 중이다.
이 구상이 나온 배경에는 현재 미국 상무부 산하 AI 표준·혁신센터(CAISI)의 자원 부족 지적이 있다. 최첨단 모델 검증을 보완할 테스트 체계가 필요하다는 문제의식이 깔려 있다. 최근 안전성 테스트 중 발생한 오픈AI 에이전트의 허깅페이스 해킹 사건처럼, 프런티어 모델의 위험성이 다시 부각된 점도 기구 출범 논의를 압박하고 있다.
다만 과제도 남아 있다. 2023년 설립된 프런티어 모델 포럼(FMF)과의 역할 중복, 메타 등 오픈소스 모델 개발사가 초기 평가 대상에서 빠진 데 따른 배제 논란이 대표적이다. SAFA 측은 앞으로 객관적인 평가 기준과 벤치마크를 정해, 일정 요건을 충족하는 모델과 개발사로 관할 범위를 넓혀가겠다고 밝혔다.