核心信息

腾讯混元 Hy4 预览引用了一篇知乎文章，质疑 DeepSeek mHC（基于矩阵的头压缩）的必要性，认为 Identity 矩阵可能效果更好。在 Qwen3 1.7B 和 8B 稠密模型上从零训练 150B tokens 的实验显示：Identity HC > mHC > mHC-lite > orthogonal mHC。

要点

  • 知乎文章《Your DeepSeek mHC May Not Need the "m"》指出，mHC 中的双随机矩阵可能过度设计。
  • Qwen3 1.7B 和 8B 模型的训练结果表明，基于 Identity 的头压缩优于 mHC 各变体。
  • 这一结果挑战了“大模型头压缩必须依赖学习到的矩阵”的默认假设。