← Reading List
📰 技术速递

LLM 推理优化 · FP4量化 · GEMM性能 · 自主数据工程

Tech多源前沿

📰 2026-06-02 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 批量推理优化、FP4 量化格式、同态加密加速、GEMM 性能模型、多变量时序预训练、自主数据工程、PyTorch 超大规模分布式优化。


1. 物理 AI 推断的内存墙:Batch-1 LLM 解码真的受带宽限制吗?

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.30571
标签:LLM推理 · Batch-1解码 · HBM带宽 · CUDA Graphs · INT4量化

本文通过在 H100/A100/L40S/L4 四款 GPU 上实测 7B-8B GQA 模型的 batch-1 自回归解码,揭示了一个反直觉现象:GPU 峰值带宽越高,实际利用率反而越低——H100 仅达到理论内存带宽 27%,而 L4 可达 81%。研究将这一”失踪的性能”归因于 kernel launch overhead,并通过 CUDA Graphs A/B 实验在 H100 上验证了 1.259x 加速。量化路径测试显示 GPTQ+ExLlamaV2 (int4) 可将解码从 62ms 降至 17ms/step。

核心要点:

  • 内存速度快不等于推理延迟低,launch overhead 在高带宽 GPU 上成为新瓶颈
  • CUDA Graphs 在 H100 上提升 1.259x,L4 上仅 1.028x,差异由 GPU 速度决定
  • bf16 下常见量化路径(bnb-nf4、AWQ)未能兑现预期 4x 加速;ExLlamaV2 int4 内核例外

2. MixFP4:自适应 FP4/INT4 混合精度格式增强量化鲁棒性

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.31035
标签:FP4量化 · NVFP4 · 混合精度 · Tensor Core · LLM权重量化

NVFP4 等细粒度块缩放低精度格式在吞吐和内存上优势显著,但单一 FP4 子格式难以匹配各 block 异质的张量统计分布。MixFP4 提出在每个 block 级别自适应选择 E2M1 或 E1M2 两种子格式,通过复用 FP8 E4M3 block scale 的符号位编码格式选择,零额外 metadata 开销;统一解码为内部 E2M2 计算表示,避免数据路径分叉。在主流 LLM 系列上,相比 NVFP4 基线提升量化准确率,仅带来 3.1% 面积和 1.5% 功耗开销。

核心要点:

  • 异质 block 统计需要异质子格式,单一 FP4 格式是精度损失来源之一
  • 通过符号位复用实现零 metadata 开销的格式选择,硬件友好
  • 与 NVFP4 标准 MMA/GEMM 路径兼容,可平滑集成到现有加速器流水线

3. HE²:异构架构下通信轻量化的全同态加密加速器

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.31004
标签:全同态加密 · CKKS · 异构计算 · NMP · 数据流图优化

CKKS 同态加密在隐私计算中前景广阔,但 keyswitch 算子引起的频繁异构通信是主要性能瓶颈。HE² 提出 xPU(ASIC)+ xMU(近存计算 NMP)异构架构,在数据流图层面通过 hoisting 算法识别并融合并行 keyswitch block,降低 ModUp/ModDown 通信频率;架构层利用分组内在并行性实现 pipeline 执行以隐藏通信延迟。相比 SOTA 加速器实现 1.66x 加速,9.23x 更低 EDAP,通信停顿仅占总延迟 6.67%。

核心要点:

  • DFG 级 hoisting 融合是降低异构通信的关键,而非纯硬件带宽堆砌
  • 分组级流水线执行有效隐藏通信延迟,适用于 keyswitch 密集场景
  • 9.23x EDAP 改进表明面积/能效比是 FHE 加速的核心设计维度

4. 超越 Roofline:GEMM 性能”粗糙地形”的分解与平滑模型

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.29752
标签:GEMM · GPU性能模型 · Roofline · 矩阵乘法 · 编译优化

同一 GPU 上,N 维度相差 128 的相邻 GEMM 问题吞吐可差 30%,这种”性能粗糙性”对 roofline 分析和峰值 FLOP 直觉完全不可见,却在所有非峰值工作负载中占主导地位。本文提出分解 GEMM 性能地形的模型,识别 tile 映射、wave 量化、流水线气泡等多个子因素对性能波动的贡献,并给出平滑策略,对 LLM 推理中的 token batch size 选择和 kernel 自动调优有直接指导意义。

核心要点:

  • GEMM 性能粗糙性来源于 tile 量化效应,不可用简单 roofline 预测
  • Wave 量化(partial wave)是大 N 下性能波动的主因
  • 理解性能地形有助于推理框架选择最优 batch size 和 padding 策略

5. Unicorn:通用相关性建模驱动高维时序预训练扩展

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.30376
标签:时序预训练 · Foundation Model · 多变量预测 · 迁移学习 · 通道相关性

多变量时序预训练面临”维度绑定”困境:通道无关模型可跨数据集扩展但忽略依赖关系,通道相关模型表达力强但无法跨域迁移。Unicorn 提出潜在原型码本机制,将异质通道投影到共享潜空间,学习与通道 identity 无关的可复用交互模式,实现跨域迁移。在 few-shot 迁移场景下显著超越 SOTA,是朝向多变量时序基础模型的有效路径。

核心要点:

  • 码本解耦通道 identity 与相关性模式,是实现跨域迁移的关键设计
  • 预训练时的多数据集混合需要 identity-agnostic 表征,否则会产生数据集偏置
  • Few-shot 迁移性能改进证明跨域相关性存在可迁移结构

6. 自主智能体数据工程:让 LLM 驱动自身专业化

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.30407
标签:数据工程 · 模型专业化 · 自主Agent · 数据课程 · 迭代训练

现有 LLM 数据整理方法依赖人工设计流程,本文提出”自主智能体数据工程”范式:将数据作为可优化组件,让 LLM 以自主 agent 身份规划、生成并迭代优化训练数据,以 post-training 性能提升为反馈信号。实验中 GPT-5.2 构建的训练课程使学生模型性能提升 57.29%,全程无人工干预。这为解决专业领域数据稀缺问题提供了新范式。

核心要点:

  • 数据 agent 化是继模型扩展之后的新方向,数据质量由模型自我驱动提升
  • 端到端 pipeline 包括数据规划、生成、筛选和迭代,不局限于单一环节
  • 57.29% 的学生模型提升说明 agent 数据工程可替代大量人工标注工作

7. LinkedIn 用 PyTorch 解千亿变量级线性规划:DuaLip-GPU 实践

来源:PyTorch Blog
链接:https://pytorch.org/blog/how-linkedin-uses-pytorch-to-solve-extreme-scale-optimization-problems/
标签:分布式优化 · PyTorch · 稀疏矩阵 · GPU加速 · 线性规划

LinkedIn 将其基于 Scala/Spark 的 CPU 线性规划求解器 DuaLip 重构为 PyTorch GPU 版本,处理数亿用户、数万亿决策变量的超大规模 LP。系统采用稀疏张量运算和批量投影内核,通过 all-reduce/broadcast 集合通信在多 GPU 间分布对偶变量,实现近线性扩展。相比原 CPU 实现达到数量级级别加速,将 ML 训练与大规模优化统一到同一技术栈。

核心要点:

  • 一阶对偶上升方法(DuaLip)是使 LP 可 GPU 化的关键,回避了矩阵分解的内存瓶颈
  • 稀疏矩阵-向量乘加上 NCCL 集合通信,结构上与分布式 DNN 训练同构
  • PyTorch 作为线性规划引擎而非深度学习框架,体现了其作为通用张量计算平台的潜力

📊 今日速览

# 标题摘要 来源 方向
1 Batch-1 LLM 解码带宽利用率分析 arXiv cs.AR LLM推理
2 MixFP4 混合 FP4/INT4 量化格式 arXiv cs.AR 量化
3 HE² 异构 FHE 加速器 arXiv cs.AR 硬件加速
4 GEMM 性能粗糙性分解模型 arXiv cs.AR GPU/CUDA
5 Unicorn 高维时序基础模型 arXiv cs.LG 预训练扩展
6 自主 Agent 数据工程 arXiv cs.CL 大模型训练
7 LinkedIn DuaLip-GPU 分布式优化 PyTorch Blog 分布式训练

自动生成 · 2026-06-02 · jeffinchen daily tech reading list

评论