딥시크는 20일 자체 추론 프레임워크 ‘딥인퍼’를 오픈소스로 공개했다. 이 소프트웨어는 ‘딥시크 V4.1 플래시’를 대규모로 운영하는 데 쓰이는 추론 엔진으로, 높은 처리량과 낮은 지연시간을 목표로 한다. 공개 버전은 대규모 서비스에 필요한 핵심 기능을 갖춘 오프라인 추론 환경이며, 소스코드는 아파치 2.0 라이선스로 제공된다. 외부 개발자와 기업은 이를 바탕으로 자체 인프라에서 모델을 실행하고 추론 환경을 구성할 수 있다.

중요한 점은 AI 경쟁이 학습된 모델 자체를 넘어, 실제 서비스 단계의 추론 효율로 이동하고 있다는 점이다. 딥인퍼는 커널과 런타임 최적화, 장치 간 병렬 처리, MoE 부하 균형, 비동기 스케줄링, 추측 디코딩과 신뢰도 기반 검증 같은 기능으로 병목을 줄이도록 설계됐다. 같은 GPU를 쓰더라도 요청 처리 방식과 작업 배치에 따라 속도와 비용이 달라질 수 있기 때문에 이런 인프라가 서비스 품질을 좌우한다. 다만 실제 성능은 GPU 구성, 모델 크기, 요청 패턴, 네트워크와 저장장치 환경에 따라 달라져 도입 전 검증이 필요하다.