리퀴드 AI가 실시간 추론 엔진 ‘RIPL(Real-time Inference Pipeline)’을 내놨다. 기업 고객용 상용 제품으로, 자체 파운데이션 모델 LFM을 실시간 요청 처리 경로에 직접 연결해 요청 접수부터 응답 완료까지의 지연 시간을 50밀리초 미만으로 줄이도록 설계됐다. 검색, 광고, 추천, 사기 탐지, 결제처럼 응답이 늦어지면 사용자 경험과 전환율에 바로 영향을 주는 업무가 주요 대상이다. 회사는 트래픽이 몰리는 상황에서도 낮은 지연 시간을 유지하도록 개발했다고 밝혔다.
핵심은 긴 답변 생성보다 짧은 출력이 필요한 판단형 작업에 맞춰 모델뿐 아니라 전체 처리 경로를 함께 최적화했다는 점이다. 검색어 재작성, 의도 분류, 사기 탐지처럼 입력은 길어도 출력이 단일 토큰이거나 매우 짧은 작업에 초점을 맞췄다. 자체 벤치마크에서는 단일 엔비디아 B200 GPU 환경에서 p95 지연 시간이 vLLM 기반 비교 모델보다 더 낮게 측정됐지만, 이는 자사 측정 결과다. 실제로 쇼피파이는 운영 트래픽 검색 개선 작업에 LFM을 적용해 20ms 미만 추론 시간을 구현했다고 소개됐다.