OpenAI가 9월 29일 개발자 행사에서 발표한 Decisions API를 22일 전체 고객에게 공개했다. 이 제품은 여러 선택지 가운데 빠르게 판단을 내리고 신뢰도 점수를 함께 제시하는 이른바 결정 모델 시장을 겨냥한다. 이 분야는 TypeSafe의 Jev가 먼저 범주를 만들었고, 개발자들은 이를 다양한 업무 흐름에서 기존 대형언어모델 대신 쓰기 시작했다. OpenAI는 별도 전용 모델을 새로 학습시키기보다 ChatGPT Luna를 재구성해 추론 속도를 높이고 비용을 낮추는 방식으로 대응했다.
핵심 변화는 지연 시간 단축이다. OpenAI는 기존 1~3초 수준이던 응답을 100, 120, 180밀리초 수준으로 줄였다고 설명했다. 공개 버전에는 음성과 시각 입력도 추가됐고, 지역별 추론 자원을 배치해 여러 지역에서 지연 시간을 낮추도록 했다. 초기 시험에서 일부 고객사는 기존 OpenAI LLM을 이 API로 바꿔 더 높은 처리량을 얻었고, Speak는 동작 간 시간을 1.4초에서 0.13초로 줄였다고 밝혔다. 다만 어떤 결정 모델이 좋은지는 지능, 비용, 보정, 속도 사이의 균형이 작업마다 달라 아직 명확히 정리된 기준은 없다고 기사에서 전했다.