메타 FAIR와 워싱턴대학교 공동 연구진은 언어모델의 기본 단위로 쓰이는 토크나이저를 다시 보자는 연구를 아카이브에 공개했다. 지금의 대형 언어모델은 보통 단어, 단어 일부, 기호를 토큰으로 나눈 뒤 학습한다. 이 방식은 효율적이지만 큰 어휘집이 필요하고, 토큰 분할 규칙에 따라 언어별 처리 효율이 달라질 수 있다. 연구진은 이런 한계를 줄이기 위해 텍스트를 미리 쪼개지 않고 0부터 255까지의 바이트 값으로 직접 다루는 모델을 실험했다.
핵심은 바이트 모델의 불리함을 학습 방법으로 보완한 점이다. 연구진은 토큰 기반 대형 모델의 지식을 바이트 기반 소형 모델로 옮기는 두 가지 증류 방법인 마지널라이즈-잇과 엔드 오브 토큰을 제안했다. 약 10억 개 매개변수 모델과 최대 1조 바이트 학습 데이터를 바탕으로 8개 벤치마크를 비교한 결과, 초기에는 토큰 기반 모델이 강했지만 연산이 늘수록 바이트 모델이 성능을 끌어올릴 수 있음을 확인했다. 입력 표현을 단순화하면서도 성능과 데이터 효율을 함께 개선할 가능성을 보였다는 점이 중요하다.