核心信息

LiteLLM 宣布对其 AutoRouter 进行四项更新，包括根据生产流量自定义路由维度、为可用模型自动配置最佳路由器，以及通过按模型输出限制避免响应被截断。

要点

  • 自定义路由维度可让 AutoRouter 适应你的生产流量特征。
  • 自动配置可根据已有模型自动选择最佳路由器设置。
  • 按模型设置输出限制，防止响应不完整。
  • 为最新模型更新了预设配置。