엔비디아는 CUDA 13.4의 메모리 사용량 제한 기능을 쿠버네티스 환경에서 쓰도록 지원하는 오픈소스 구조를 공개했다. GPU Fractioning Operator와 KAI Scheduler를 묶어, 하나의 GPU를 여러 AI 작업에 나누어 할당하면서도 각 작업의 메모리 사용 한도를 실제로 강제하는 방식이다. AI 개발, 추론, 소규모 모델 학습처럼 GPU 전체 자원이 꼭 필요하지 않은 작업을 같은 하드웨어에서 함께 돌릴 수 있도록 설계됐다.
핵심은 작업마다 최소 보장 메모리와 최대 사용 가능 메모리를 따로 두는 점이다. 예를 들어 40GiB를 보장하고, 다른 작업이 쓰지 않는 여유분이 있으면 60GiB까지 확장해 쓰게 할 수 있다. 지정된 한도를 넘는 메모리 요청은 실패 처리된다. 연산 자원 공유는 시간 분할과 SM 공유 두 방식을 지원한다. 시간 분할은 작업 간 오류 격리에 유리하고, SM 공유는 여러 작업의 동시 실행과 유휴 연산 자원 활용에 맞는다. 새 오퍼레이터는 MPS 실행과 자원 측정도 맡아 기존 GPU 공유보다 더 세밀한 통제를 제공한다.