把模型体积换算成接口账:为什么大档位更该算钱
下载体积、常驻内存与并发余量共同决定本地成本;用体积分档去估接口侧的吞吐与等待,给选型一个统一的比较维度。
体积不是孤立的数字
镜像页上的「下载体积」只说明要拉多少数据。真正影响成本的是三件事:
1. 常驻占用:权重 + KV cache + 运行时,决定要买多大内存,见 量化体积表。
2. 溢出频率:放不下就要读 SSD,等于用延迟换容量。
3. 并发余量:同一台机器能同时服务几路,决定单路摊到的硬件成本。
换算到接口侧
接口按 token 计费,不分「你本地装不装得下」。所以大档位在本地的含义是「一次性硬件投入 + 长期电力」,在接口侧的含义是「更高的每百万 token 单价」。把两边都折成同一单位(每百万 token 成本)才能比。
一个实用判断
- 体积大到需要 SSD 兜底 才跑得动 → 本地体验会打折,接口往往更划算。
- 体积能全驻留显存、且用量稳定 → 本地的边际成本趋近于电费。
具体单价以官方页当期数字为准,本文不标价。
相关
本站垂直内容 · OpenAICN 官方价