核心信息

腾讯Hy4 preview可通过Sherry量化方法从1.5TB压缩至214GB，权重仅需1.25比特，精度几乎不受影响。量化版GGUF和原版模型均已开放下载。

要点

  • 模型体积缩小约7倍（1.5TB→214GB），性能影响很小。
  • 基准测试下降幅度极小：MCP Atlas 83.7→83.2、SWE-Bench multi 82.9→81.3、MRCR 81.3→81.1、IFBench 73.5→72.5。
  • Sherry还支持分布式推理：可将已有的跨机器GPU拼接起来，作为一个整体运行。
  • 腾讯已发布量化GGUF版本和原版模型权重。