← Reading List
📰 技术速递

推理加速与训练效率:GGUF量化、异步GRPO、Tokenizer性能、VLM投机解码与Helion内核

Tech多源前沿

📰 2026-10-05 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 本地量化推理、异步RL训练、Tokenizer加速、VLM投机解码、小模型GRPO与编译器内核后端。


1. Transformers 现已支持运行 llama.cpp GGUF 量化模型

来源:HuggingFace
链接:https://huggingface.co/blog/transformers-llama-cpp-quants
标签:GGUF · 本地推理 · 量化 · llama.cpp · 边缘部署

Hugging Face Transformers 新增对 GGUF 量化格式的原生支持,可直接用 from_pretrained 加载 Hub 上的 GGUF 检查点并在本机(CPU/GPU/Metal)运行生成,无需切换到 llama.cpp 的专用接口。Benchmark 显示与 llama.cpp 推理引擎性能相当,并复用了 ggml 的 Metal 内核让 CPU/GPU 协同工作,大幅降低本地大模型运行的门槛。当前仍受限于部分模型算子覆盖与精度支持。

核心要点:

  • 原生加载 GGUF:通过熟悉的 transformers API(from_pretrained)直接运行量化检查点,无需切换推理引擎
  • 复用 ggml/Metal 内核:CPU 与 GPU 协同工作,本地 Mac/笔记本即可跑 27B 级别模型
  • 性能对齐 llama.cpp:benchmark 显示与 llama.cpp 推理引擎基本持平,并支持多接口服务

2. 基于 HF Jobs 的异步 GRPO + LoRA:存储桶、代理,无需 NCCL

来源:HuggingFace
链接:https://huggingface.co/blog/asyncgrpo-lora-hfjobs
标签:GRPO · 异步训练 · LoRA · RLHF · 分布式

TRL v1.14 的 AsyncGRPOTrainer 可将 LoRA 适配器(仅几 MB,如 rank-1)通过 Storage Bucket 异步同步到多个 vLLM 推理副本,彻底摆脱 NCCL 集合通信的耦合。文章用 5 组实验定位瓶颈:训练器跟不上 rollout、微批打包、跳过 forward 重算、三副本调度、解除 in-flight 请求上限,最终给出吞吐与分数的权衡打分表。

核心要点:

  • 解耦训练与推理:仅同步 LoRA 适配器而非全量权重,适配器经 Bucket + 代理按 KV 前缀路由广播
  • 无 NCCL 依赖:用 Storage Bucket 做权重中转,便于跨 Job、跨节点弹性扩展推理副本
  • 系统级调优实证:5 组 run 量化了训练器拖尾、微批与 in-flight 上限等瓶颈的归因

3. tokenizers v1:编码、解码与可度量的扩展能力

来源:HuggingFace
链接:https://huggingface.co/blog/tokenizers-v1
标签:Tokenizer · 性能优化 · 并行 · 预处理 · 推理瓶颈

tokenizers v1 将重心放在性能与可扩展性上:用 bitstream 替代正则做子词切分、引入词缓存(word cache)与合并循环方法,在大规模训练、高并发服务与长文本重复处理的场景下避免 tokenizer 成为 CPU 侧的数据供给瓶颈。文章给出 v1 相比 v0.23 常达数十倍的加速实测。

核心要点:

  • Bitstream 切分:用 bitstream 替代正则表达式执行子词拆分,显著降低 CPU 开销
  • 词缓存 + 合并循环:通过 word cache 与 merge-loop 方法减少重复计算
  • 面向规模设计:让 tokenizer 随训练/服务负载线性扩展,避免 GPU 因等待预处理而空转

4. 用 LFM2.5-VL-DSpark 加速视觉语言模型推理

来源:HuggingFace
链接:https://huggingface.co/blog/LiquidAI/lfm2-5-vl-dspark
标签:投机解码 · VLM · 推理加速 · 端侧 · SGLang

LiquidAI 发布 LFM2.5-VL-3B 的实验性 DSpark draft 模型,为视觉语言模型引入投机解码路径:捕获目标模型固定抽头层的隐藏状态来 drafting 一块候选 token。在端侧解码最高提速 3.13x、H100 上 2.66x,端到端增益达 2.62x/2.27x,draft 模型仅增加 280M 参数(约 8.9%),且首日支持 llama.cpp、MLX-VLM 与 SGLang 集成。

核心要点:

  • VLM 投机解码:在目标模型抽头层捕获隐藏状态来 draft 候选 token 块,质量不变
  • 显著提速低开销:端侧最多 3.13x、H100 2.66x,draft 仅增 280M 参数(8.9%)
  • 生态就绪:首日提供 llama.cpp、MLX-VLM、SGLang 的 DSpark 集成

5. 100 步 GRPO 微调让 350M 小模型结构化输出更可靠

来源:HuggingFace
链接:https://huggingface.co/blog/grpo-with-trl-ifstruct
标签:GRPO · 小模型 · 结构化输出 · TRL · 微调

LiquidAI 给出一份完全公开、低成本的配方:用 TRL 对 LFM2.5-350M 做 Group Relative Policy Optimization,专攻结构化输出合规。仅约 500 样本、100 训练步(免费 Colab/Kaggle GPU 可跑),在 IFStruct 基准上把合规率从 22.6% 提升到 29.7%。文章覆盖了数据构造、LoRA、奖励函数与合并保存全流程。

核心要点:

  • 低成本可复现:500 样本 + 100 步 GRPO,免费 GPU 即可完成,代码开源
  • 结构化输出专精:针对 schema 合规(可解析格式)而非泛化推理做优化
  • 效果显著:IFStruct 合规率 22.6% 到 29.7%,附奖励函数与 LoRA 训练细节

6. 用 Helion 打造高性能、可移植的 vLLM 线性层后端

来源:PyTorch
链接:https://pytorch.org/blog/building-a-high-performance-and-portable-vllm-linear-backend-with-helion/
标签:Helion · vLLM · 内核DSL · 推理性能 · 可移植性

PyTorch 团队将高层内核 DSL Helion 集成进 vLLM 的线性层(linear)后端,探索用自动调优(autotuned)的高层描述替代手写底层 kernel,以在保持 LLM 推理性能的同时提升跨硬件可移植性。文章讨论了 Helion 如何生成可适配多后端的线性层实现,降低为新加速器写专用 kernel 的成本。

核心要点:

  • 高层内核 DSL:用 Helion 的高层描述替代手写 CUDA/底层 kernel
  • 自动调优:autotuned kernel 在保持推理性能的同时适配多种硬件后端
  • 降低移植成本:让 vLLM 新增加速器后端时无需从零写专用线性层 kernel

📊 今日速览

# 标题摘要 来源 方向
1 Transformers 现已支持运行 llama.cpp GGUF 量化模型 HuggingFace GGUF
2 基于 HF Jobs 的异步 GRPO + LoRA:存储桶、代理,无需 NCCL HuggingFace GRPO
3 tokenizers v1:编码、解码与可度量的扩展能力 HuggingFace Tokenizer
4 用 LFM2.5-VL-DSpark 加速视觉语言模型推理 HuggingFace 投机解码
5 100 步 GRPO 微调让 350M 小模型结构化输出更可靠 HuggingFace GRPO
6 用 Helion 打造高性能、可移植的 vLLM 线性层后端 PyTorch Helion

自动生成 · 2026-10-05 · jeffinchen daily tech reading list

评论