← Reading List
📰 技术速递

大模型量化、混合精度与扩散生成前沿

Tech量化混合精度扩散模型加速器

📰 2026-10-01 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大模型量化、混合精度计算、RLVR 训练信号、离散扩散生成与 DL 加速器。


1. HeadGuard:面向低比特 VLM KV-Cache 量化的选择性注意力头保护

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.35800 标签:KV-Cache量化 · 视觉语言模型 · 低比特推理 · 显存优化

低比特 KV-Cache 量化能显著降低显存占用,但会严重损害视觉语言模型(VLM)精度。HeadGuard 提出一种可组合的注意力头保护方法,在基础量化器之上引入固定的高精度掩码,离线阶段通过图像敏感度与输出敏感度打分筛选出关键 KV 头并保持其高精度存储。该方法在不大幅牺牲压缩比的前提下恢复了量化带来的精度损失,对长上下文多模态推理的部署有直接价值。

核心要点:

  • 通过图像/输出敏感度评分离线筛选对量化最敏感的 KV 头
  • 对少量关键头保留高精度、其余头低比特量化,兼顾压缩与精度
  • 即插即用,可叠加在已有 KV-Cache 量化方案之上

2. 二值化压平评分空间:从 {0,1} 判分到细粒度奖励

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.35797 标签:LLM判别器 · RLHF奖励 · 二值化 · 训练信号

用 LLM 作为评判器(judge)给策略提供奖励已成常态,但奖励常被坍缩为 pass/fail 二值判分,只给出结论而掩盖了响应在各项标准上的达成程度。作者将每个二值判分建模为未报告尺度上的一个分数,比较了不同奖励塑形下的训练动态,指出二值化会“压平”评分空间、削弱梯度区分度,为如何在不引入确定性验证器的情况下获得更丰富的训练信号提供了理论视角。

核心要点:

  • 二值 pass/fail 奖励丢失了判分标准内部的达成度信息
  • 将判分建模为隐尺度上的分数可恢复梯度区分度
  • 对 RLVR / RLHF 中奖励设计具有直接的指导意义

3. 面向科学发现的混合精度计算:格式、协同设计与负责任近似

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.37137 标签:混合精度 · 科学计算 · 数值格式 · 加速器协同设计

在能耗约束、异构加速器以及仿真与机器学习融合的驱动下,降精度与混合精度已从边缘优化变成科学计算与工程的核心设计轴。本文围绕七大耦合主题组织该领域版图:数值格式、浮点仿真、误差传播分析、硬件支持、编程抽象、应用适配与负责任近似,为科研与工程实践中如何系统选择和组合精度策略提供了路线图。

核心要点:

  • 将混合精度提升为系统级设计维度而非局部技巧
  • 覆盖从数值格式到编程抽象的完整技术栈
  • 强调误差可解释性与“负责任近似”的治理问题

4. 从 Pass@K 与 Pass@1 的差距中学习

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.35793 标签:RLVR · 测试时扩展 · 采样解码 · 强化学习

大语言模型越来越多地用可验证奖励的强化学习(RLVR)训练,而精确验证器同样可用于测试时扩展——从多次采样中选出通过的解。本文研究单样本解码场景:每条查询只返回一个回答,并分析模型在 Pass@K 与 Pass@1 之间的差距所蕴含的训练信号,揭示了该差距对采样策略与 RLVR 目标设计的启示。

核心要点:

  • Pass@K 与 Pass@1 的差距反映模型“是否会做但未必每次都对”
  • 单样本解码下该差距可转化为有价值的训练信号
  • 对 RLVR 目标与自适应采样策略设计有直接指导

5. 更非均匀的离散扩散:更强大且可扩展的 UDLM 框架(LUDI)

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2609.35817 标签:离散扩散模型 · 生成式语言模型 · 训练目标 · 采样加速

均匀离散扩散语言模型(UDLM)是有前景的生成范式,但扩展困难。本文指出核心障碍在于“过度均匀的训练目标”与采样时的条件-目标混淆,并据此提出 LUDI 框架,通过更非均匀的训练目标与去混淆采样策略缓解这两类问题,从而在保持扩散模型并行采样优势的同时提升扩展性与生成质量。

核心要点:

  • 指出 UDLM 扩展瓶颈来自过度均匀训练目标与采样混淆
  • LUDI 以更非均匀目标 + 去混淆采样突破瓶颈
  • 兼顾扩散模型的并行采样速度与可扩展性

6. Transformer 权重的介观视角:行/列尺度场分析

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.35852 标签:Transformer权重 · 权重分析 · 缩放场 · 模型理解

对 Transformer 权重的汇总统计量会掩盖幅值在各功能通道上的分布,而单个权重又过多无法直接比较。本文研究介于两者之间的“介观”层级:行与列尺度场(以通道中位数为中心的 log-RMS 轮廓),配合全局缩放刻画权重矩阵的幅值结构,为理解、诊断与改进模型权重分布提供了更细粒度的工具。

核心要点:

  • 提出行/列尺度场作为权重幅值结构的介观描述子
  • 填补了“全局统计”与“逐权重”之间的分析空白
  • 可用于权重诊断、剪枝与量化前的结构理解

7. MEDEM:多引擎深度学习加速器设计方法论

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.37399 标签:DL加速器 · 多引擎架构 · 协同设计 · 硬件优化

多引擎深度学习加速器因能应对现代 DL 负载的异构性与复杂性而日益普及。为高效处理多样化负载,这类加速器须组合具备互补能力的多个引擎以匹配不同计算特征。MEDEM 提出一套系统设计方法论,指导多引擎加速器在负载特征、引擎组合与映射策略上的协同优化,从而提升面积 / 能效与吞吐。

核心要点:

  • 针对 DL 负载异构性提出多引擎组合设计方法论
  • 强调引擎能力与负载计算特征的匹配
  • 在面积、能效与吞吐之间提供系统化权衡框架

📊 今日速览

# 标题摘要 来源 方向
1 HeadGuard:面向低比特 VL… arXiv cs.LG KV-Cache量化
2 二值化压平评分空间:从 {0,1} … arXiv cs.LG RLHF奖励
3 面向科学发现的混合精度计算:格式、协… arXiv cs.AR 混合精度
4 从 Pass@K 与 Pass@1 … arXiv cs.LG RLVR
5 更非均匀的离散扩散:更强大且可扩展的… arXiv cs.CL 离散扩散
6 Transformer 权重的介观视… arXiv cs.LG 权重分析
7 MEDEM:多引擎深度学习加速器设计… arXiv cs.AR DL加速器

自动生成 · 2026-10-01 · jeffinchen daily tech reading list

评论