Q랩스는 역전파 없이 언어모델을 처음부터 학습하는 알고리즘 ‘더스트’를 바탕으로 공개 프로젝트 ‘노이즈’를 진행했고, 목표 성능에 도달하는 시간을 초기 1.76시간에서 1.6초까지 줄였다고 밝혔다. 실험은 매개변수 3770만개의 소형 GPT 모델에 파인웹 데이터 1000만 토큰을 최대 한 차례 학습하는 조건으로 이뤄졌다. 목표는 검증 데이터의 손실값을 4.2까지 낮추는 것이었고, 1.6초는 이 조건에서 그 수치에 도달한 시간을 뜻한다.
더스트는 여러 후보 가중치를 따로 시험하는 대신, 토큰 처리 과정에서 생기는 활성화값을 조금씩 바꿔 예측 오차 변화를 보고 가중치 조정 방향을 추정한다. 토큰마다 다른 변화를 주기 때문에 한 번의 순방향 계산으로 많은 후보를 함께 평가할 수 있어 계산 부담을 줄이는 방식이다. 기록 단축에는 학습 방향 추정법 개선과 여러 GPU에 작업을 나눠 연산·통신 시간을 줄인 점이 함께 작용했다. 최저 손실값도 4.167에서 3.676으로 낮아졌지만, 같은 최적화 알고리즘으로 맞춘 비교에서는 역전파가 여전히 앞섰다.