← Reading List
📰 技术速递

大模型量化对齐、注意力优化、扩散LLM加速、存内计算

Tech多源前沿

📰 2026-05-19 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖大模型量化对齐、注意力机制硬件优化、扩散LLM推测解码加速、超参数跨架构迁移、过程奖励模型可靠性、片上SRAM计算引擎及vLLM推理工程实践。


1. 量化压缩破坏模型对齐:跨模型与数据集的偏见涌现

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.15208
标签:量化 · 安全对齐 · LLM压缩 · 偏见涌现 · 后训练量化

Post-training quantization(PTQ)是部署大模型的主流压缩手段,但本文系统性地揭示了一个被忽视的副作用:量化会破坏安全对齐,导致偏见在压缩后的模型中涌现。研究跨多个主流模型系列与多种量化精度,发现低比特量化会放大模型在性别、种族等维度的偏见,且这一现象在不同架构和数据集上具有一致性。

核心要点:

  • 后训练量化不仅损失能力,还会系统性地破坏安全对齐属性
  • 偏见涌现(Bias Emergence)在 4bit/8bit 量化下均有显著观测
  • 现有量化流程缺乏对对齐属性的保护机制,需引入额外校验步骤
  • 对 Llama、Mistral 等多系列模型进行了实验验证,结论具有普适性

2. GQLA:面向硬件自适应的大模型分组查询隐空间注意力

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.15250
标签:注意力机制 · KV缓存压缩 · MLA · 硬件自适应 · 推理优化

Multi-head Latent Attention(MLA,DeepSeek-V2/V3使用)通过联合压缩 KV 来降低推理内存开销,但其矩阵吸收技术在不同硬件上存在效率不一致的问题。GQLA 提出了分组查询隐空间注意力,在 MLA 基础上进一步引入分组查询设计,在不同硬件(GPU/NPU)上实现更优的吞吐与内存权衡,同时保持与 GQA 接近的模型质量。

核心要点:

  • 在 MLA 的 KV 压缩基础上引入分组查询,兼顾内存与计算效率
  • 解决 MLA 矩阵吸收在特定硬件上的加速失效问题
  • 在推理延迟、内存占用、模型质量之间构建更优的 Pareto 前沿
  • 适用于需要在边缘/NPU上部署大模型的场景

3. PSD:通过并行推测解码推进扩散 LLM 的 Pareto 前沿

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.15609
标签:扩散LLM · 推测解码 · 推理加速 · 非自回归生成 · dLLM

扩散大语言模型(dLLMs)通过迭代去噪masked token序列来生成文本,天然支持并行解码,但解码步骤仍是瓶颈。PSD(Parallel Speculative Decoding)将推测解码引入 dLLM 框架,利用小模型草稿+大模型验证的机制,大幅减少所需迭代步数,在保持生成质量的前提下将推理速度提升显著。

核心要点:

  • 首次将推测解码(Speculative Decoding)应用于扩散语言模型
  • 草稿模型并行生成多个候选步,验证模型批量确认,减少迭代轮次
  • 在质量-速度 Pareto 前沿上超越现有 dLLM 推理方法
  • 为非自回归生成模型的工业部署提供了新的加速路径

4. GQA-μP:分组查询注意力的最大化参数化更新规则

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.15290
标签:超参数迁移 · GQA · μP · 训练稳定性 · 模型缩放

μP(maximal update parameterization)使得超参数可以从小模型迁移到大模型,大幅降低调参成本。但原始 μP 未考虑 GQA(Grouped Query Attention)这一现代 LLM 的标配结构。本文推导了 GQA 下的 μP 更新规则(GQA-μP),填补了这一理论空白,使得超参数迁移在使用 GQA 的模型架构上也能正确工作。

核心要点:

  • 推导出 GQA 架构下的正确 μP 初始化与学习率缩放规则
  • 原始 μP 在 GQA 模型上存在超参数迁移偏差,本文给出理论修正
  • 实验验证在不同 GQA 分组数下超参数均可从小模型正确迁移
  • 对现代以 GQA 为标配的 LLM 训练具有直接工程价值

5. 基于学习可靠性的过程奖励模型

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.15529
标签:过程奖励模型 · PRM · RLHF · 推理链 · 奖励校准

Process Reward Models(PRMs)为推理链的每一步提供奖励信号,但现有 PRM 通常输出点估计,无法衡量自身的不确定性。本文提出为 PRM 引入可靠性学习(Learned Reliability),使模型能够在每步奖励预测时同时输出置信度,从而在不确定的推理步骤上降低其权重,提升 RLHF 训练和搜索解码的效果。

核心要点:

  • 现有 PRM 缺乏不确定性建模,导致低质量步骤奖励被过度信任
  • 引入可靠性估计头,为每步奖励附加置信权重
  • 在数学推理和代码生成基准上验证了可靠性加权的优越性
  • 对 Best-of-N 搜索和 RLHF 训练流程均有实质性改进

6. 基于 10T SRAM 的 XNOR 片上存算引擎:AI 硬件面积效率提升

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.16161
标签:存内计算 · SRAM · XNOR · AI硬件加速 · 面积效率

本文提出利用 10T SRAM 单元实现 XNOR 运算的片上存算架构(Digital Custom Compute Engine),专为二值/低精度神经网络推理设计。相比传统 SRAM+外部 ALU 方案,该架构将计算单元内嵌于存储阵列,大幅减少数据搬运开销,在面积效率(GOPS/mm²)上取得显著提升,适合边缘 AI 推理场景。

核心要点:

  • 10T SRAM 单元原生支持 XNOR 运算,消除数据搬运瓶颈
  • 相比标准 6T SRAM+外挂计算,面积效率显著改善
  • 针对二值网络(BNN)和低精度量化模型优化,能效比突出
  • 为边缘侧 AI 推理芯片设计提供了面积-性能权衡的新参考点

7. vLLM 与 PyTorch 协同优化:改善 aarch64 开发者体验

来源:PyTorch Blog
链接:https://pytorch.org/blog/vllm-and-pytorch-work-together-to-improve-the-developer-experience-on-aarch64/
标签:vLLM · PyTorch · aarch64 · 推理部署 · CUDA轮子

PyTorch 2.11 实现了在 aarch64 Linux 平台上直接通过 PyPI 安装支持 CUDA 的 PyTorch 轮子,消除了过去需要自定义编译的复杂流程。vLLM 与 PyTorch 团队联合推动了这一改进,使 ARM 架构服务器上的 LLM 推理部署更加便捷,对基于 AWS Graviton、NVIDIA Grace 等 aarch64 平台的推理集群尤为重要。

核心要点:

  • aarch64 CUDA PyTorch 轮子现可直接 pip install,无需源码编译
  • vLLM 在 aarch64 上的安装和性能得到系统性改善
  • 对 ARM+NVIDIA Grace 等异构推理服务器部署链路有实质性简化
  • 是 PyTorch 生态拥抱 ARM 服务器市场的重要里程碑

📊 今日速览

# 标题摘要 来源 方向
1 量化压缩破坏模型对齐:偏见涌现的系统性研究 arXiv cs.LG 量化·安全对齐
2 GQLA:硬件自适应分组查询隐空间注意力 arXiv cs.LG 注意力优化·推理
3 PSD:并行推测解码加速扩散LLM arXiv cs.CL 推理加速·dLLM
4 GQA-μP:分组查询注意力的超参数迁移规则 arXiv cs.LG 训练·超参数迁移
5 基于可靠性学习的过程奖励模型 arXiv cs.CL RLHF·PRM
6 10T SRAM XNOR存算引擎:AI硬件面积效率 arXiv cs.AR 硬件加速·存内计算
7 vLLM+PyTorch协同优化aarch64推理体验 PyTorch Blog 推理部署·工程

自动生成 · 2026-05-19 · jeffinchen daily tech reading list

评论