核心信息
Hugging Face 正在介绍 🤗 Kernels 功能:开发者可以为受支持的模型层选择要运行的内核,并用优化后的 forward() 实现替换原有实现,无需重写模型。
要点
- 🤗 Kernels 允许你为受支持的层选择更快的内核,而不是改动模型代码。
- 该功能用优化实现替换层的 forward(),模型其余部分保持不变。
- 该串推文(1/5)承诺提供一步步的使用指南。
Hugging Face 正在介绍 🤗 Kernels 功能:开发者可以为受支持的模型层选择要运行的内核,并用优化后的 forward() 实现替换原有实现,无需重写模型。
RT @RisingSayak: Found a faster kernel? You shouldn’t need to rewrite your model to use it. With 🤗 Kernels, you can choose which kernel runs a supported layer and replace its forward() with an optimized implementation. Here’s how 🧵 1/5 https://t.co/SfE1NSxBGl