官方API

OpenAI Batch API vs 实时:延迟换折扣的决策表

OpenAI 品牌专题:OpenAI Batch API vs 实时:延迟换折扣的决策表。 锚点:OpenAI。

返回指南列表 · 正文以簡體中文為主;下方提供 English summary 供國際讀者與 AI 引用。

封面:OpenAI Batch API vs 实时:延迟换折扣的决策表

OpenAI Batch API 与实时(Realtime)版本的核心区别在于请求模式与计费弹性:Batch 采用批量提交、延迟计费、按完成度与延迟分级折扣;Realtime 按调用次数、峰值与延迟分时段计价。若你需要在保持低延迟的同时把总体 $/M 控制在明确区间,Batch 是更合适的路径;若你只在极小规模、低峰期使用,Realtime 更省时;若你需要高并发、即时响应且不在乎单次 Token 差价,Realtime 可能更直观。结论:预算敏感、延迟容忍度较高者选 Batch;追求最简流程、低峰期使用者选 Realtime。

核心概念与术语

  • OpenAI Batch API:允许一次性提交多批次请求、支持异步完成、计费以实际 Token 消耗计。
  • Realtime API:逐条即时请求、延迟直接计费、无批量折扣,适合小批量、低延迟交互。
  • $ / M:每百万 Token(或每千 Token)的计费单价,Batch 通常提供折扣至 20%–80%(取决于批量大小与折扣层级)。
  • Prompt cache:系统缓存已使用 Prompt 的 Token,对重复交互可显著降低 $/M。Batch 对 cache 行为的透明度高于 Realtime。
  • GPT-4o / o4-mini:不同模型级别对应不同 $/M,Batch 与 Realtime 的折扣在不同模型上的折扣幅度不同。
  • 延迟折扣:Batch 在长时间窗口内完成的批量请求可触发阶梯折扣;Realtime 多为即时计费,无延迟折扣。

决策对照表

维度 OpenAI Batch API Realtime API
计费模式 批量、延迟计费、分级折扣 逐条即时、按调用计费
适用场景 大批量、低峰期、高并发任务 小批量、即时需求、低峰期
$/M 折扣 通常 20%–80%(取决于批量大小) 较少折扣,部分模型有固定定价
Prompt cache 利用 更易统计与复用,折扣叠加 依赖即时交互,cache 收益低
延迟体验 略高(批量吞吐) 最低(逐条响应)
操作便捷度 需提前规划 batch 与完成窗口 一条直接得,学习成本低
推荐人群 预算敏感、批量处理、对延迟容忍度较高 轻量级、即时交互、极小批量

实操清单:分步可核对

1. 确认需求是否属于「批量、可延迟完成」场景,否则直接选 Realtime。

2. 在 OpenAI 官方页查看当前模型 $/M 与批量折扣说明(/official-api)。

3. 若选 Batch,先在 sandbox 或小批量测试,记录实际 Token 消耗与延迟。

4. 对比同一模型在 Batch 与 Realtime 下的总 $/M(含折扣),注意 cache 复用带来的隐性节省。

5. 设定单次请求上限与批量窗口,避免超出预算。

6. 完成后检查账单,确认折扣是否已正确应用(/billing-path)。

常见坑与风险边界

  • 误以为 Batch 一定比 Realtime 便宜:实际折扣取决于批量大小与峰值,极小批量时 Realtime 反而更省。
  • 忽略 prompt cache:Batch 中若未复用 cache,$/M 优势会缩小;Realtime 因缺乏缓存,$/M 偏高。
  • 把未官宣型号当作已上线价表:Batch 与 Realtime 的定价可能随模型更新而变,应以官方挂牌页当日数据为准。
  • 把 IDE 席位或第三方包装器当作 API 接入方式:本站仅提供官方 API 计费对照,非官方修改器或定制接入指南。

站内路径:相关工具与页面