메타, 초대형 GPU 병목 완화 공개

메타는 AI 연구 조직 AI 앳 메타를 통해 미국 오하이오주 뉴앨버니에 구축한 기가와트급 GPU 클러스터 ‘프로메테우스’의 운영 성능을 공개했다. 이 인프라는 뮤즈 원더를 포함한 뮤즈 기반 모델 학습에 쓰였다. 메타가 제시한 수치는 사전학습 굿풋 85% 이상, 강화학습 굿풋 90% 이상, 그리고 뮤즈 원더 학습 중단 간 평균 약 4만7천 GPU 시간이다. 발표의 초점은 GPU 수 자체보다, 대규모 자원을 실제 학습 성과로 얼마나 안정적으로 연결하느냐에 맞춰졌다.

수십만 GPU가 함께 작동하는 환경에서는 서버 한 대의 성능 저하만으로도 전체 학습 속도가 늦어질 수 있다고 메타는 설명했다. GPU 연산 능력이 충분해도 호스트 서버의 데이터 공급, 통신 지연, 작업 조정, 성능 불균형이 겹치면 유효한 학습 시간이 줄어든다. 메타는 이런 비효율을 반영하는 지표로 굿풋을 제시했다. 장비가 켜져 있는 시간이 아니라, 실제로 목표 작업에 기여한 정도를 본다는 뜻이다. 이번 공개는 초대형 AI 학습에서 규모 확대만큼 일관된 성능 유지와 중단 억제가 핵심이라는 점을 보여준다.