核心信息

一位开发者提出了一个工作流：让模型“Fable”为1万个场景标注出4个类别，然后用这些标注数据训练一个模型——甚至不是LLM——并追问这算不算“蒸馏”。

要点

  • 这个流程本质上是用一个模型生成标签，再用这些标签训练下游模型，介于“合成数据”与“知识蒸馏”之间。
  • 用较强模型产出的标签去训练一个更小或非LLM模型，是常见的压缩与能力迁移做法。
  • 这正好说明“蒸馏”和“用模型生成训练数据”之间的界限往往很模糊。