核心信息

Perplexity 分享了其结合 Ivy、Tulip 与 ROSE 的自研服务基础设施，可降低在线及批量嵌入工作负载的延迟与成本，同时提升吞吐量。

要点

  • Ivy 作为 HTTP 网关，负责 CPU 侧请求准备、Token 化及批量拆分，再通过 gRPC 将工作发送给 Tulip。
  • 该流水线相比现成解决方案，能加快嵌入搜索并降低成本。
  • Perplexity 已发布相关研究，说明其答案背后的先进服务基础设施构建方式。