核心信息

LiteLLM 现已支持基于模态（modality）和上下文窗口的自动路由：系统会对输入进行分类，并选择最适合该模态的模型；同时会考虑上下文窗口，将请求重新路由到有能力的模型。

要点

  • 根据输入模态（如文本、图像、音频）自动选择最合适的模型。
  • 路由过程会考虑上下文窗口大小，必要时重新路由到可处理该请求的模型。
  • 旨在简化多模型工作流，提升不同 LLM 任务下的可靠性。