퀄컴은 주요 AI 기업들이 2028년까지 스마트폰에서 최소 1000억개 매개변수 규모의 AI 모델을 상시 구동할 수 있는 칩을 요구하고 있다고 전했다. 요구 대상은 스마트폰에만 머물지 않고, 스마트폰용 시스템온칩을 바탕으로 연결된 여러 AI 기기 전반의 성능 고도화와 이어진다. 전용 AI 장치 출시가 예고된 상황에서, AI 에이전트를 기기 안에서 계속 실행하려면 지금의 모바일 하드웨어 한계를 넘는 연산 성능과 전력 효율이 필요하다는 뜻이다.
기술적 병목으로는 특히 메모리가 지목됐다. 1000억개 매개변수 모델은 4비트 양자화를 적용해도 가중치 저장에만 약 50GB 메모리가 필요하고, 운영체제와 앱, 대화 처리까지 고려하면 요구량은 더 커진다. 이를 낮추려면 모델 압축과 전문가 혼합(MoE), 메모리와 연산 장치 사이의 데이터 이동 최적화가 중요하다. 온디바이스 AI는 일정·앱 사용 정보·센서 데이터 같은 개인 맥락을 기기 내부에서 처리해 개인화와 응답 속도를 높이고, 서버 전송과 클라우드 추론 부담을 줄이는 방향으로 제시됐다.