메타는 15일 8160억 개 매개변수를 갖춘 AI 모델 ‘뮤즈 스파크 오픈’을 공개했다. 이 모델은 미국에서 공개된 가장 강력한 오픈 웨이트 모델로 소개됐으며, 코드 작성과 디버깅, 여러 단계의 계획 수립과 도구 활용이 필요한 AI 에이전트 개발을 겨냥한다. 텍스트뿐 아니라 이미지·음성·영상 입력을 함께 처리하고, 한 번의 작업에서 최대 100만 토큰의 컨텍스트를 다룰 수 있다. 개발자는 공개된 가중치를 바탕으로 직접 배포하거나 자체 데이터로 추가 학습해 맞춤형 시스템을 구성할 수 있다.
구조는 전문가 혼합(MoE) 방식이다. 전체 매개변수는 8160억 개지만 실제 토큰 처리 때는 약 420억 개가 활성화된다. 기술 자료에 따르면 62개 트랜스포머 계층과 256개 전문가로 이뤄졌고, 각 토큰마다 전문가 8개를 선택한다. 이런 설계는 큰 모델의 표현 능력을 유지하면서 계산량을 관리하려는 목적이다. 메타는 이 모델을 대규모 코드 저장소를 읽고 수정 계획을 세운 뒤 실행·검증·재수정을 반복하는 작업, 고객서비스 에이전트, 도구 호출 기반 자동화에 적용할 수 있다고 설명했다.