核心信息

LiteLLM v1.102.0rc1 默认使用 Rust 运行 OCR，在 CPU 密集型代理上 OCR 吞吐量提升约 1.7 倍，API 保持不变，无需修改代码。

要点

  • 基于 Rust 的 OCR 引擎在 CPU 密集型代理负载下吞吐量提升约 1.7 倍。
  • 无缝升级：API 接口不变，无需改动代码。
  • 欢迎加入 beta 测试者社区（还有免费贴纸）体验新候选版本。