核心信息

一位 AI 基础设施开发者认为，缓存命中率是判断推理服务商整体工程优化水平的最强信号之一，因为真实世界的推理优化涉及大量围绕特定模型调优的软硬件细节。他还提醒，目前全球只有 DeepSeek 真正能做到约 99% 的缓存命中率，其他服务商若宣称这一数字，往往只是在转售 DeepSeek 的 API。

要点

  • 缓存命中率比标价更能说明服务商对推理栈的优化程度。
  • 顶级推理表现依赖数据中心、硬件、软件等上千个小环节的细致调优，很容易出错。
  • DeepSeek 是目前缓存性能的标杆：约 99% 的命中率几乎成了 DeepSeek 的标志，其他厂商宣称该数字多半是在封装 DeepSeek。
  • OpenAI 和 Anthropic 同样出色，但讨论重点是可被他方托管的模型。