MS는 2조8000억개 매개변수를 갖춘 대규모 AI 모델 ‘MAI-베이스-2’의 사전 학습을 마쳤다고 밝혔다. 이 모델은 토큰 하나를 처리할 때 800억개 매개변수가 활성화되는 MoE 구조를 쓴다. 자체 평가에서는 비교한 모든 오픈웨이트 모델보다 높은 성능을 기록했다고 설명했다. 평가는 학습에 쓰지 않은 텍스트와 코드의 다음 내용을 얼마나 정확히 예측하는지로 진행됐다. 사전 학습 효율은 FLOPs 기준으로 딥시크 ‘V4 프로 베이스’보다 4.2~12.3배 높았고, 6월 공개한 MAI-베이스-1과 비교해도 6.3~12.7배 개선됐다.
이번 모델은 엔비디아 GB200 GPU 1만6000개로 38일간 학습됐고, 학습 데이터도 이전보다 고유 토큰 기준 약 36% 늘었다. MS는 모든 계층에 MoE를 적용하고, 전문가 간 작업량 불균형으로 생기는 메모리 낭비와 지연을 줄이는 기술을 넣어 연산 활용률을 24%에서 35%로 높였다고 밝혔다. 뮤온 옵티마이저와 기울기 제한 기법으로 학습 안정성도 높였다. 또 다른 모델 출력의 증류 대신 자체 수집·처리한 데이터를 사용했고, 이미지와 텍스트를 함께 학습하도록 설계했다. MS는 이 모델을 차세대 자체 모델의 기반으로 삼아 자사 제품에 먼저 적용한 뒤 기업 고객 공급을 확대할 계획이다.