过去一年，主流大模型 API 的价格经历了多轮下调，部分模型每百万 token 的输入价格下降了一个数量级。价格战之后，竞争焦点正在转移到推理成本上。

推理成本由三部分构成：算力、显存带宽与调度效率。前两者取决于硬件，后者取决于工程实现。在硬件受限的情况下，推理优化成为拉开差距的关键。

目前常见的优化路径包括：量化与蒸馏降低模型规模、投机采样提升吞吐、前缀缓存减少重复计算，以及针对特定任务的专用小模型。

一位云厂商技术负责人表示，客户已经不再只看模型能力榜单，而是直接比较「每万次调用要花多少钱」。

这也解释了为什么专用芯片受到关注：在推理场景下，通用 GPU 的能效比并不总是最优。