核心信息
LiteLLM 官方宣布支持来自 TypeSafe AI 的 Jev 模型/智能体,并透露 LiteLLM 内部已在实际使用。一个公开用例是基于 Jev 的文档 OCR 路由器:逐页分析 PDF,只对真正需要的页面执行 OCR,以降低成本。
要点
- TypeSafe AI 的 Jev 现已可通过 LiteLLM 网关访问,现有 LiteLLM 用户无需更换工作流即可调用。
- 一个社区示例:Jev 驱动的路由器逐页判断 PDF 是否需要 OCR,其余页面在本地处理,从而节省 OCR 费用。
- LiteLLM 表示内部也在使用 Jev,使这一支持不只是单纯的产品宣传。