📰 2026-10-17 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 推理加速与采样预算、量化感知训练、长上下文序列并行、并发推理优化、分词器加速、混合 SSM-Transformer 架构。
1. FlowBudget:面向流匹配模型的免训练采样预算估计
来源:cs.LG 链接:https://arxiv.org/abs/2610.20636 标签:流匹配 · 推理加速 · 采样预算 · ODE/SDE积分 · 免训练
流匹配等连续生成模型的采样依赖数值 ODE/SDE 积分,推理成本由函数评估次数(NFE)决定,但实际采样预算往往照搬前人设置或靠昂贵的 FID-vs-NFE 扫描来确定。FlowBudget 提出一种免训练的采样复杂度估计器:通过无仿真的插值探针探测已学习动力学,将一阶离散化主导误差按运动幅度归一化,并用插值探针估计其系数,从而把“给定预训练模型与求解器,需要多少数值分辨率才够”这一互补问题量化出来。它让采样预算选择摆脱重复的经验扫描,可直接指导推理加速。
核心要点:
- 将采样预算选择从经验扫描转为基于插值探针的解析估计,无需重新训练或生成评估
- 用无仿真方式量化一阶离散化主导误差相对运动的系数,映射出所需数值分辨率
- 与求解器设计/时间步分配正交,可作为现有推理管线的即插即用预算选择器
2. ShiftQAT:为定点边缘 CNN 加速器数值契约定制的量化感知训练
来源:cs.LG 链接:https://arxiv.org/abs/2610.21695 标签:量化感知训练 · 边缘推理 · 定点加速器 · 8位整型 · 数值契约
固定功能 CNN 加速器让边缘推理又快又省电,但只执行严格遵守精确数值契约的网络。以 MAX7800x 系列为例,契约要求逐张量、对称、2 的幂缩放,8 位激活与偏置、纯整型运算,且每层只有一个静态配置的移位。论文给出为该家族开发的 ShiftQAT 量化感知训练(QAT)流程,产出直接落入硬件契约的权重与激活,省去部署期不兼容的再量化。价值在于把“硬件约束”前移到训练阶段,保证精度同时可落地到超低功耗芯片。
核心要点:
- 把硬加速器数值契约(2的幂缩放、纯整型、单层静态移位)前移为 QAT 约束
- 训练即产出符合 MAX7800x 契约的权重/激活,消除部署期再量化误差
- 面向超低功耗边缘场景,在精度与能效之间给出可落地的量化方案
3. 两比特 N-Gram 记忆:大语言模型查表量化
来源:cs.CL 链接:https://arxiv.org/abs/2610.21810 标签:条件记忆 · 查表量化 · LLM · 表征压缩 · 稀疏激活
条件记忆通过选择性查表扩展语言模型容量,但完整嵌入表必须对每个可能输入常驻显存。论文提出 Conditional Program(CP):一种只重建输入所请求行的压缩表征,每行用一个短码加局部缩放表示,并由全表共享的重建程序还原。其实例采用高斯网格(Gaussian trellis)和范数约束,把“记忆”压到每项约两比特量级,在保持条件记忆收益的同时大幅降低存储与带宽开销。这对长上下文与检索增强场景下的 KV/记忆压缩有借鉴意义。
核心要点:
- 用短码+局部缩放+共享重建程序,只重建被请求的行,避免整表常驻
- 高斯网格实例将记忆压缩到约两比特/项,显著降低存储与访存
- 为条件记忆类方法提供可扩展的量化路径,利于长上下文部署
4. TurboMamba:用词汇记忆实现更快推理、更快训练与更优预测
来源:cs.CL 链接:https://arxiv.org/abs/2610.20682 标签:状态空间模型 · Mamba · 混合架构 · 推理加速 · token预测
TurboMamba 提出一种兼顾更快推理、更快训练与更优 token 预测的 LM 架构:一个全局 Mamba-3 模型对每个已完成的 token 块只运行一次,一个小型 Transformer 借助该全局上下文与块内更早的 token 预测下一个 token。三个轻量增强改进局部预测——直接访问上一块最后一个 token、对下一 token 分数做小修正、以及一个可学习的局部偏置。相比纯注意力或纯 SSM,它在保持线性复杂度推理的同时提升了预测质量与训练效率。
核心要点:
- 全局 Mamba-3 每块只跑一次 + 小块内轻量 Transformer,兼得线性推理与强表达
- 三项轻量增强(跨块末 token 直连、分数修正、可学习偏置)提升局部预测
- 在推理速度、训练速度与下游预测质量上同时优于纯注意力/纯 SSM 基线
5. Ulysses 序列并行:百万级 token 长上下文训练
来源:HuggingFace 链接:https://huggingface.co/blog/ulysses-sp 标签:序列并行 · 长上下文训练 · 注意力 · 分布式训练 · Flash Attention
训练百万 token 级长序列时,注意力计算随长度平方增长,远超单卡显存。Ulysses 序列并行把长序列切分到多卡,沿序列维做 all-to-all,将注意力头的计算分布到各 rank,再通过反向通信重组,使显存与通信复杂度与序列长度线性相关。文章给出其与 Accelerate、Transformers Trainer、TRL SFTTrainer 的集成配置,并对比 Ring Attention:Ulysses 通信量更低、实现更简洁,适合配合 DeepSpeed ZeRO、Liger-Kernel 与 2D 并行做超长上下文训练。
核心要点:
- 沿序列维 all-to-all 切分,将注意力头分布到多卡,显存/通信随长度线性增长
- 与 Accelerate、Transformers Trainer、TRL 深度集成,开箱即用配置齐全
- 相较 Ring Attention 通信量更低、实现更简单,宜配合 ZeRO/Liger/2D 并行
6. Prefill 与 Decode 分离:并发请求下的 LLM 性能优化
来源:HuggingFace 链接:https://huggingface.co/blog/tngtech/llm-performance-prefill-decode-concurrent-requests 标签:Prefill/Decode · 并发推理 · KV Cache · 连续批处理 · GPU利用率
LLM 自回归生成天然分两阶段:Prefill 阶段已知全部 prompt token、可并行计算 KV 向量得到首个输出 token;Decode 阶段逐 token 生成,每步只新增一组 KV。TNG 基于 24 张 H100、支撑 50 个应用、每小时超 5000 次推理的实战经验,剖析两阶段在算力、显存、延迟上的不同画像,对比静态批处理与连续批处理,并给出 Prefill-First 与 Chunked Prefill 等并发策略,以提升多用户场景下的吞吐与 GPU 利用率。
核心要点:
- 明确 Prefill(可并行、算力密集)与 Decode(串行、访存密集)的异构资源画像
- 对比静态批处理 vs 连续批处理,说明连续批处理对并发吞吐的关键作用
- 给出 Prefill-First 与 Chunked Prefill 策略,缓解多用户负载下的 GPU 闲置
7. tokenizers v1:可测量的编码/解码与规模化加速
来源:HuggingFace 链接:https://huggingface.co/blog/tokenizers-v1 标签:Tokenizer · 预处理加速 · Rust · 并发瓶颈 · 词缓存
随着模型变快、负载变大,分词器从“非瓶颈”变成会拖垮 GPU 利用率的 CPU 侧瓶颈。tokenizers v1 在保持与 v0.23 完全一致 token ID 与 API 的前提下重构实现:用位流(bitstream)替代正则做切分、引入词缓存(word cache)与合并循环(merge loop)优化,单线程到多线程普遍提速数倍至数十倍。文章给出与 tiktoken、gigatoken 等竞品的单/多线程、按模型、按语言、解码吞吐与内存堆的系统性基准,并为 v1 RC 与后续 1.0.0 路线图提供明确预期。
核心要点:
- 以位流替代正则切分,并引入词缓存与合并循环,分词吞吐提升数倍至数十倍
- 保证与 v0.23 输出 token ID、API、词表完全一致,零迁移成本
- 针对大规模训练与高并发服务场景,消除 CPU 侧分词对 GPU 的饥饿等待
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | FlowBudget:面向流匹配模型的免训练采样预算估计 | cs.LG | 推理加速 |
| 2 | ShiftQAT:为定点边缘 CNN 加速器数值契约定制的量化感知训练 | cs.LG | 量化/边缘 |
| 3 | 两比特 N-Gram 记忆:大语言模型查表量化 | cs.CL | LLM压缩 |
| 4 | TurboMamba:用词汇记忆实现更快推理、更快训练与更优预测 | cs.CL | 架构创新 |
| 5 | Ulysses 序列并行:百万级 token 长上下文训练 | HuggingFace | 分布式训练 |
| 6 | Prefill 与 Decode 分离:并发请求下的 LLM 性能优化 | HuggingFace | 推理优化 |
| 7 | tokenizers v1:可测量的编码/解码与规模化加速 | HuggingFace | 预处理加速 |
自动生成 · 2026-10-17 · jeffinchen daily tech reading list
评论