核心信息

一些AI推理服务商用看似低廉的价格吸引用户，但提示词缓存命中率很差，导致实际Token消耗最多可能达到正常的3倍，而且很难提前察觉。要警惕“99%缓存命中率”的宣传：作者认为目前全球只有DeepSeek能做到这一水平，这类服务商很可能只是在转售或包装DeepSeek。

要点

  • 便宜的单价可能掩盖糟糕的缓存命中率，只有积累足够使用数据后才会发现成本被放大。
  • 缓存命中率很难在接入前验证，容易被服务商用模糊宣传误导。
  • 如果服务商宣称99%缓存命中率，需要格外警惕——目前只有DeepSeek真正达到，这可能意味着对方只是DeepSeek的套壳。
  • 建议先拿真实负载做基准测试，确认实际缓存命中率和Token消耗后再长期使用。