核心信息

一位开发者表示，目前只有 AI 实验室能提供真正的按 token 计费；其他服务商必须提前预留 GPU 容量，并承担空闲 GPU 的成本，因此像 Kimi K3 这样的开源模型目前无法实现自由的弹性伸缩与按量付费。

要点

  • 按 token 计费是实验室的结构性优势：它们能精确计量用量，而第三方服务商不得不超额预留容量。
  • 空闲 GPU 意味着用户为弹性伸缩付出更高成本。
  • 开源模型如 Kimi K3 缺少真正的按量计费基础设施，限制了使用方式。
  • 作者的目标是成长为足够大的服务商，率先提供这类产品。