← Reading List
📰 技术速递

量化损伤·稀疏注意力·分布式GNN·HLS编译

Tech多源前沿

📰 2026-08-11 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 量化部署 · 分布式GNN训练 · 稀疏注意力 · 扩散语言模型 · 模型剪枝 · GPU功耗建模 · HLS编译器。


1. Quantization Damage Is Multiplicative, Not Additive

来源:cs.LG 链接:https://arxiv.org/abs/2608.06564 标签:量化 · LLM部署 · 低比特 · 误差分析

论文挑战了”量化误差是加性”的传统假设,证明低于4比特时量化损伤实际呈乘性累积,并从理论上解释了为何低位宽下模型性能会突然崩塌。该结论为低位宽量化(如2-3bit)的训练与部署策略提供了更精确的误差预算框架。

核心要点:

  • 推翻加性误差假设:证明低位宽量化损伤是乘性而非加性
  • 给出4比特以下性能骤降的理论解释
  • 为2-3bit量化部署的误差预算提供新框架

2. SNI-GNN: SmartNIC-Assisted Full-Graph GNN Training with In-Network Embedding Prediction

来源:cs.LG 链接:https://arxiv.org/abs/2608.06441 标签:GNN · SmartNIC · 分布式训练 · In-Network计算

SNI-GNN提出用SmartNIC在网络内预测图嵌入,解决全图GNN在多服务器集群上因不规则通信而扩展困难的问题。通过在网卡侧做embedding预测,显著降低跨节点通信量,提升全图GNN训练的可扩展性。

核心要点:

  • SmartNIC辅助的全图GNN训练,网络内完成embedding预测
  • 削减多服务器间不规则通信开销
  • 相比基线显著提升全图GNN的扩展性与吞吐

3. Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry

来源:cs.CL 链接:https://arxiv.org/abs/2608.06849 标签:稀疏注意力 · 长上下文 · 推理加速 · KV-Cache

Autonomy-of-Heads提出无需训练数据的稀疏注意力方法,直接从冻结模型中Query-Key的几何结构推导每个注意力头的稀疏模式,降低长上下文推理的二次复杂度与KV-Cache成本。

核心要点:

  • 从冻结QK几何直接推导每头稀疏模式,无需训练数据
  • 缓解长上下文推理的二次注意力计算瓶颈
  • 降低KV-Cache增长带来的显存与延迟压力

4. Retrofitting Linear Attention into Diffusion Language Models

来源:cs.LG 链接:https://arxiv.org/abs/2608.06628 标签:扩散语言模型 · 线性注意力 · 推理加速 · dLLM

研究将线性注意力机制改造注入扩散语言模型(dLLM),在保持非自回归并行生成优势的同时降低注意力复杂度,加速dLLM的推理吞吐,为自回归之外的生成范式提供效率改进。

核心要点:

  • 将线性注意力 retrofit 进扩散语言模型
  • 保留dLLM非自回归并行生成优势
  • 降低注意力复杂度、提升推理吞吐

5. The Sparsity Whisperer

来源:cs.LG 链接:https://arxiv.org/abs/2608.06630 标签:模型剪枝 · 稀疏化 · 推理成本 · LLM压缩

The Sparsity Whisperer针对现有剪枝准则主要保留大激活值而忽略结构化稀疏的问题,提出更优的稀疏化准则,在不过度损伤精度的前提下进一步压低大模型推理成本。

核心要点:

  • 指出现有剪枝准则偏向保留大激活的缺陷
  • 提出兼顾精度的结构化稀疏新准则
  • 在保持精度的同时降低LLM推理成本

6. G-Power: Architecture-level GPU Power Modeling with Aggregated Knowledge Foundations from Known GPUs

来源:cs.AR 链接:https://arxiv.org/abs/2608.06870 标签:GPU · 功耗建模 · 知识蒸馏 · 系统设计

G-Power构建架构级GPU功耗模型,利用聚合知识基础(Knowledge Foundations)从多源数据中学习功耗规律,为大规模并行计算的任务调度与能耗优化提供更准确的功耗预估。

核心要点:

  • 架构级GPU功耗建模,聚合多源知识基础
  • 面向大规模并行计算的能耗预估
  • 支撑任务调度与能效优化决策

7. HLSmith: An Expert-Guided Agentic Framework for C/C++-to-HLS Translation

来源:cs.AR 链接:https://arxiv.org/abs/2608.06791 标签:HLS · 编译器 · FPGA · 代码翻译

HLSmith是一个专家引导的Agent框架,将C/C++自动翻译为高层次综合(HLS)代码,降低FPGA加速器开发门槛,并结合专家反馈提升生成代码的可综合性与性能。

核心要点:

  • 专家引导的Agent框架:C/C++ → HLS 自动翻译
  • 面向FPGA应用特定加速器开发
  • 结合专家反馈提升可综合性与性能

📊 今日速览

# 标题摘要 来源 方向
1 Quantization Damage Is Multiplicative,… cs.LG 量化
2 SNI-GNN: SmartNIC-Assisted Full-Graph … cs.LG 分布式训练
3 Autonomy-of-Heads: Data-Free Sparse At… cs.CL 推理加速
4 Retrofitting Linear Attention into Dif… cs.LG 推理加速
5 The Sparsity Whisperer cs.LG 模型压缩
6 G-Power: Architecture-level GPU Power … cs.AR GPU系统
7 HLSmith: An Expert-Guided Agentic Fram… cs.AR 编译器

自动生成 · 2026-08-11 · jeffinchen daily tech reading list

评论