核心信息

OpenRouter 使用 Ori Eval 在评判任务中将 typesafeai 的决策模型 Jev 与主流 LLM 进行了对比。Jev 比第二快的模型快 5 倍以上，即使其最慢的请求也快于其他所有模型的中位速度。

要点

  • Jev 是一个决策模型，能以置信度分数回答是/否和多项选择题，专为将软件开发拆解为小型决策而设计。
  • 在 OpenRouter 的基准测试中，Jev 的速度超越所有参测 LLM，其最差延迟也快于竞品的中位延迟。
  • 测试基于 OpenRouter 上的 Ori Eval，相关迷你应用示例及代码已发布在 OpenRouter Labs。