💬 观点Hugging Face
🤗 Kernels: Major Updates — Hugging Face 更新内核,提升模型训练与推理性能。
Hugging Face 更新内核,提升模型训练与推理性能。
2026-07-06原文
本文为要点摘要,完整细节以原文为准。
🧭 一图看懂
由原文自动提炼 · 以原文为准点击任一分支,查看这一点的一句话解读
Hugging Face Kernels 重大更新
Hub 新增 kernel 仓库类型,内核成为一等公民
- 可查看支持的加速器、操作系统与后端版本
- 在 huggingface.co/kernels 浏览全部内核
⚙️ 流程拆解
STEP 1Agent 脚手架内核源码
STEP 2kernel-builder 可复现构建
STEP 3在目标硬件上基准测试
STEP 4对比基线并迭代优化
🔗 涉及的概念与玩家
- Hugging Face公司
- Kernels产品
- kernel-builder产品
- Torch Stable ABI方法
- Apache TVM FFI方法
- Nix方法
- Sigstore cosign方法
- HF Jobs产品
- Hugging Face—发布→Kernels
- Kernels—职责分离→kernel-builder
- Kernels—支持→Torch Stable ABI
- Kernels—支持→Apache TVM FFI
- Kernels—用于可复现构建→Nix
- Kernels—用于签名→Sigstore cosign
- 新内核支持更高效的注意力机制,如 Flash Attention,减少显存占用并加速计算。
- 优化了 Transformer 层的实现,通过算子融合减少内核启动开销。
- 这些更新对开发者意味着更快的模型训练和推理,降低硬件门槛。
原文:🤗 Kernels: Major Updates · 作者 Hugging Face
🕸 顺着图谱继续读
- Run a vLLM Server on HF Jobs in One Command — 用一条命令在HF Jobs上部署vLLM推理服务器,简化AI模型服务。2026-06-26 · 共同涉及 Hugging Face、HF Jobs
- Shipping a Trillion Parameters With a Hub Bucket: Delta — Hugging Face 介绍 TRL 库如何通过 Delta Weight S2026-05-27 · 共同涉及 Hugging Face、HF Jobs
- Any Nix package, live in your browser — Nix 包在浏览器里跑起来:qemu2026-09-10 · 共同涉及 Nix
- Async GRPO with LoRA across HF Jobs: a bucket, a proxy, — HF 用异步 GRPO 加 LoRA 跑分布式 RL,绕开 NCCL,靠桶和代理2026-09-10 · 共同涉及 HF Jobs