核心信息

Perplexity 介绍了其 HTTP 网关 Ivy：它负责 CPU 侧的请求预处理——解析、分词、模板化和大批次拆分——再通过 gRPC 将请求转发给 Tulip 推理服务器。

要点

  • Ivy 将请求格式化和分词工作从更重的推理服务器上剥离。
  • 它会先拆分大批次请求，再通过 gRPC 发送给 Tulip。
  • 这种设计让 Perplexity 可以独立调优请求处理和分词逻辑，而无需改动推理服务器。