오픈AI가 Decisions API를 전체 고객에게 공개했다. 이 API는 여러 선택지 중 하나를 빠르게 고르고 신뢰도를 함께 제시하는 분류형 추론 작업을 겨냥한다. 회사는 별도 전용 모델을 새로 학습시키기보다 ChatGPT Luna를 재구성해 지연 시간을 낮추고 비용을 줄였다고 밝혔다. 개발자 행사에서 9월 29일 발표된 뒤 이번에 정식 공개됐고, 공개 버전에는 음성과 시각 모달리티도 추가됐다. 가격은 입력 100만 토큰당 0.10달러이며 출력 토큰에는 요금이 없다.
기술적으로 중요한 점은 대규모 언어모델이 맡던 일부 흐름을 더 빠르고 싼 결정형 모델로 대체할 수 있다는 데 있다. 오픈AI는 추론 자원을 지역별로 배치해 전 세계 지연 시간을 낮췄고, 초기 시험에서는 더 높은 처리량을 목표로 기존 LLM 대신 이 API를 적용했다고 설명했다. 사례로는 AI 언어 튜터 서비스에서 동작 간 시간을 1.4초에서 0.13초로 줄였고, 자사 음성 비서의 응답성 개선에도 사용했다. 다만 어떤 결정 모델이 좋은지는 작업별로 지능, 비용, 보정, 속도 사이의 균형에 따라 달라진다고 전했다.