📰 2026-08-10 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 分布式训练/FSDP、FlashAttention2 Packing、1.58bit 极极端量化、嵌入量化、多模态嵌入、序列并行/Ulysses、Helion-on-TPU kernel 编译。
1. Helion on TPU:面向异构硬件的 ML Kernel 编写 DSL
来源:PyTorch
链接:https://pytorch.org/blog/helion-on-tpu-towards-hardware-heterogeneous-kernel-authoring/
标签:Helion · TPU · Pallas · Kernel · 编译
Helion 是 PyTorch 的高层 DSL,用于编写可性能移植的 ML kernel。PyTorch 与 Google 合作构建了 TPU 后端,将 Helion kernel 编译到 Pallas,为开发者提供对 TPU kernel 的 PyTorch 友好式编写方式。在 Flash Attention 负载上,Helion 生成的 kernel 在 TPU v7 上达到 838 TFLOPs(约单 tensor core 79% MFU),并在不同输入形状上保持稳定表现。
核心要点:
- Helion 通过高层 DSL 屏蔽硬件差异,一套 kernel 源码可面向 GPU/TPU 等多后端编译
- TPU 后端将 Helion 编译到 Pallas,显著降低 TPU 自定义 kernel 的编写门槛
- Flash Attention 实测 838 TFLOPs(v7 上约 79% MFU),证明 DSL 生成的 kernel 接近手写性能
2. 用 PyTorch FSDP 加速大模型训练
来源:HuggingFace
链接:https://huggingface.co/blog/pytorch-fsdp
标签:FSDP · 分布式训练 · PyTorch · 显存优化 · 大模型
FSDP(Fully Sharded Data Parallel)是 PyTorch 原生的大模型训练并行方案,将模型参数、梯度和优化器状态分片到各 GPU,仅在需要时 materialize,从而让单卡显存容纳远超自身容量的模型。文章系统讲解 FSDP 的 sharding 策略、mixed precision、CPU offload 与 wrapping policy,并给出与 Accelerate/Transformers 集成的实战示例。
核心要点:
- 参数/梯度/优化器状态分片,打破了单卡显存对模型规模的硬限制
- 支持 mixed precision 与 CPU offload,在有限硬件上训练更大模型
- 提供 wrapping policy 精细控制分片粒度,平衡通信开销与显存占用
3. 通过 Flash Attention 2 Packing 提升 Hugging Face 训练效率
来源:HuggingFace
链接:https://huggingface.co/blog/packing-with-FA2
标签:FlashAttention2 · Packing · 训练效率 · padding · 吞吐
变长序列训练时大量 padding token 造成算力浪费。文章介绍如何用 Flash Attention 2 的 unpad + packing 机制,将多个短序列拼接为一条无 padding 的长序列再统一计算 attention,显著减少无效计算。配合 Transformers 的 data collator 与 FA2 的 varlen API,可在不损失精度的前提下提升训练吞吐。
核心要点:
- 用 packing 消除 padding,把多条短序列拼成一条长序列,提高 GPU 利用率
- FA2 的 varlen(unpadded)attention 避免对 pad token 做无效 attention 计算
- 与 Transformers 数据管线集成,几乎零改造成本即可获得吞吐收益
4. 将 LLM 微调到 1.58bit:极极端量化实践
来源:HuggingFace
链接:https://huggingface.co/blog/1_58_llm_extreme_quantization
标签:1.58bit · BitNet · 量化 · 三值 · 微调
1.58bit 量化(即权重取 {-1, 0, +1} 三值)源自 BitNet b1.58 思路,以极低比特表达大幅压缩模型体积与推理能耗。文章演示如何用 Hugging Face 工具链对 LLM 做 1.58bit 量化微调,覆盖量化感知训练、三值映射与推理端部署,展示了在保持可用精度的同时把模型压到极致的工程路径。
核心要点:
- 权重约束为 {-1,0,+1} 三值,模型体积与算力需求数量级下降
- 量化感知训练(QAT)弥补极端量化带来的精度损失
- 与 HF 生态集成,使得 1.58bit 微调对普通开发者亦可上手
5. 二值与标量嵌入量化:更快更省检索
来源:HuggingFace
链接:https://huggingface.co/blog/embedding-quantization
标签:嵌入量化 · 二值 · 标量 · 向量检索 · RAG
在大规模向量检索(RAG、推荐)中,原始浮点嵌入的存储与比对成本极高。文章对比二值量化(Binary)与标量量化(Scalar/Product Quantization)两类方案,讲解如何用更紧凑的编码表示嵌入,在召回率可控的前提下大幅降低内存占用与检索延迟,并给出 Sentence Transformers 中的落地用法。
核心要点:
- 二值量化把嵌入压到 1 bit/维,检索可用高效汉明距离,速度极快
- 标量量化保留更多精度,在召回率与体积间提供更灵活的权衡
- 量化嵌入显著降低向量库内存成本,利于大规模 RAG 部署
6. 用 Sentence Transformers 训练与微调多模态嵌入及重排模型
来源:HuggingFace
链接:https://huggingface.co/blog/train-multimodal-sentence-transformers
标签:多模态 · Sentence-Transformers · 嵌入 · 重排 · 对比学习
Sentence Transformers 新增对多模态嵌入与重排模型的支持,允许文本、图像等跨模态统一表征。文章讲解如何准备多模态训练数据、选用对比损失与排序损失进行微调,并评估跨模态检索效果,帮助开发者构建图文联合检索与多模态 RAG 系统。
核心要点:
- 统一框架支持文本/图像等多模态 embedding 与 reranker 训练
- 对比学习 + 排序损失联合优化,提升跨模态检索与重排质量
- 可直接用于图文联合检索、多模态 RAG 等下游任务
7. Ulysses 序列并行:百万 token 上下文训练
来源:HuggingFace
链接:https://huggingface.co/blog/ulysses-sp
标签:序列并行 · Ulysses · 长上下文 · 注意力 · 分布式
Ulysses 是一种序列并行方案,将超长序列沿序列维度切分到多 GPU,各设备持有一部分 token 并通过 all-to-all 通信完成注意力计算,从而支持百万级 token 的长上下文训练。文章解析其通信模式、与张量/数据并行的组合方式,并给出在 Hugging Face 训练栈中的使用示例。
核心要点:
- 沿序列维度切分,使单卡只需持有部分长序列,突破上下文长度限制
- 通过 all-to-all 在注意力头间重排,实现高效的序列并行注意力
- 可与数据/张量并行叠加,支撑百万 token 级超长上下文训练
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | Helion on TPU:面向异构硬件的 ML Kernel 编写 DSL | PyTorch | Kernel编译/TPU |
| 2 | 用 PyTorch FSDP 加速大模型训练 | HuggingFace | 分布式训练/FSDP |
| 3 | 通过 Flash Attention 2 Packing 提升 Hugging Face 训练效率 | HuggingFace | 训练效率/FA2 |
| 4 | 将 LLM 微调到 1.58bit:极极端量化实践 | HuggingFace | 极极端量化 |
| 5 | 二值与标量嵌入量化:更快更省检索 | HuggingFace | 嵌入量化 |
| 6 | 用 Sentence Transformers 训练与微调多模态嵌入及重排模型 | HuggingFace | 多模态嵌入 |
| 7 | Ulysses 序列并行:百万 token 上下文训练 | HuggingFace | 序列并行 |
自动生成 · 2026-08-10 · jeffinchen daily tech reading list
评论