레드햇, IBM, 구글 클라우드, 코어위브, 엔비디아가 함께 출범시킨 오픈소스 프로젝트 llm-d가 20일(현지시간) 기업용 운영 환경을 겨냥한 1.0 버전을 공개했다. 이 프로젝트는 LLM 추론을 여러 컴퓨팅 자원에 나눠 처리해 기존 인프라에서도 처리량과 비용 효율을 높이도록 설계됐다. 최근 실증에서는 에이전트 기반 작업의 토큰당 추론 비용을 상용 API 대비 최대 5~10분의 1 수준으로 낮추고, 동시에 최대 3,000개의 코딩 에이전트를 처리하는 성능을 보였다.
핵심은 에이전트 환경에서 커지는 추론 인프라 부담을 줄이는 데 있다. llm-d 1.0은 요청 배분, 캐시 관리, 자원 활용, 가용성을 함께 다루며 접두부 캐시 기반 라우팅, 부하 인식형 라우팅, KV 캐시 오프로드, 프리필·디코드 분리 처리, 배치·비동기 추론 등을 지원한다. 여러 추론 서버와 서로 다른 하드웨어를 함께 쓸 수 있고, 다중 테넌트 품질 관리와 고가용성, 순차 업데이트, 세션 인식 라우팅도 포함해 서비스 중단 없이 대규모 AI 에이전트를 운영하는 기반을 겨냥했다.