앨런 AI 연구소(Ai2)는 대규모 언어모델 학습 효율을 높이기 위한 오픈소스 프레임워크 '올모 코어 3'를 공개했다. 대상은 전문가 혼합(MoE) 구조다. MoE는 입력마다 일부 전문가만 선택해 계산해 연산량을 줄일 수 있지만, 규모가 커지면 전문가를 여러 GPU에 나누는 과정에서 통신 비용이 커져 효율이 떨어질 수 있다. Ai2는 이런 병목을 줄이기 위해 기존 완전 샤딩 데이터 병렬 처리(FSDP) 대신 분산 데이터 병렬 처리(DDP) 기반으로 학습 시스템을 다시 설계했다.
핵심은 전문가를 GPU에 상주시킨 뒤 필요한 데이터를 해당 GPU로 보내는 방식이다. 이로써 작은 배치마다 가중치를 모았다가 다시 나누는 부담을 줄였다. 여기에 행 단위 전문가 병렬화, GPU 상주 라우팅, 그룹형 행렬 곱셈(GEMM), 저정밀도 형식 MXFP8을 결합해 데이터 이동과 메모리 사용을 줄였다. 엔비디아 B300 GPU 8개 시험에서 470억개 매개변수 MoE 모델은 GPU당 초당 5만2000개 토큰을 처리해 기존 FSDP 기반보다 약 2.7배 높은 효율을 보였다. 전문가 수를 늘린 확장 실험에서도 처리량 감소를 5% 미만으로 유지했다.