← Reading List
📰 技术速递

GPU训练·分布式注意力·编译器·MoE推理·LLM强化学习

Tech多源前沿

📰 2026-11-06 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 GPU/CUDA 训练、分布式训练、分布式注意力、推理内存、编译器、MoE 推理与 LLM 强化学习训练。


1. 解锁图灵架构 Tensor Core:单卡 22G RTX 2080 Ti 上的从零预训练实测

来源:cs.AR 链接:https://arxiv.org/abs/2611.05419 标签:GPU · CUDA · Tensor Core · FP16 · 预训练

RTX 2080 Ti(TU102)在硬件上具备完整的第二代 Tensor Core,但厂商在驱动层对 FP16 矩阵乘法做了限速,导致可用张量吞吐远低于硬件峰值。turing-unlock 通过在 nvidia 驱动绑定设备前写入 FP16 速度选择器(SS0=0x88888888, SS1=0x8)并释放 ACR 互斥锁来解除限制,公布的测量显示 cuBLAS FP16 矩阵乘吞吐得到显著提升,从而让这张老卡也能跑从零预训练。

核心要点:

  • 揭示厂商在驱动层对消费级 GPU 的 FP16 Tensor Core 做了软件限速
  • 通过内核模块在驱动加载前改写速度选择器与 ACR 互斥锁解除限制
  • 实测 cuBLAS FP16 吞吐大幅提升,验证了单卡 22G 上从零预训练的可行性

2. 把数据调度到计算:面向 AMD GPU 上 LLM 训练的分层数据流水线

来源:cs.AR 链接:https://arxiv.org/abs/2611.05751 标签:分布式训练 · AMD GPU · 数据流水线 · 显存墙

随着模型规模指数增长,LLM 训练的计算量极其庞大,但 GPU 计算单元所需的数据往往不在就绪状态——可能还在慢速内存或另一张卡上。芯片等待数据时昂贵的算力被闲置,规模越大,微小的数据搬运延迟也会被放大成巨大浪费。本文提出分层数据流水线(Hierarchical Data Pipelining),把数据调度与计算重叠,缓解 AMD GPU 集群上 LLM 训练的数据供给瓶颈。

核心要点:

  • 指出 LLM 训练瓶颈常来自数据供给而非纯算力,空闲等待放大了开销
  • 提出分层数据流水线,将跨卡/跨层级数据搬移与计算重叠
  • 面向 AMD GPU 集群,对大规模训练的可扩展性与利用率有直接价值

3. CHARM+:基于重合并多流的跨硬件注意力机制

来源:cs.AR 链接:https://arxiv.org/abs/2611.05906 标签:分布式注意力 · 序列并行 · 通信重叠 · 跨硬件

随着序列长度持续增长,基于序列并行的分布式注意力(如 Ring-Attention)已成为 LLM 的主流方案。但固有的通信依赖限制了计算-通信重叠,降低了 GPU 利用率;在跨硬件(NUMA 或跨节点)架构下,通信带宽不均衡更会频繁触发同步,进一步限制可扩展性。CHARM+ 提出 Re-Merge 多流机制,缓解跨硬件场景下的通信同步开销,提升长序列注意力的扩展效率。

核心要点:

  • 分析序列并行注意力中通信依赖对计算-通信重叠的限制
  • 针对跨硬件(NUMA/跨节点)带宽不均衡导致的同步瓶颈提出改进
  • Re-Merge 多流机制提升长序列下分布式注意力的 GPU 利用率

4. TileLens:以透明二维内存布局高效利用大粒度内存系统

来源:cs.AR 链接:https://arxiv.org/abs/2607.04031 标签:LLM 推理 · HBM · 大粒度内存 · 读放大

LLM 推理主要受 GPU HBM 的容量与带宽瓶颈制约。HBF、RoMe 等高容量/高带宽方案虽优于 HBM,但要求至少 KB 级的最小访问粒度。本文表明这类大粒度内存系统(LGMS)可能让 LLM 推理性能下降一个数量级,根因是读放大——为取少量数据被迫搬移整块。TileLens 通过透明的二维内存布局缓解读放大,更高效地利用大粒度内存。

核心要点:

  • 指出 HBF/RoMe 等新型大粒度内存因 KB 级访问粒度引发严重读放大
  • 量化 LGMS 在 LLM 推理上可能带来近 10 倍的性能退化
  • 提出透明二维内存布局 TileLens,降低读放大、提升推理效率

5. TauLang:面向静态调度加速器的时空编程语言与编译器

来源:cs.AR 链接:https://arxiv.org/abs/2611.06079 标签:编译器 · 静态调度 · Groq TSP · 低延迟推理

Groq 的 Tensor Streaming Processor(TSP)等静态调度加速器通过去除片上缓存、仲裁器和硬件调度器实现低延迟 LLM 推理,代价是编译器必须固定每个操作的精确切片与发射周期——操作何时执行本身成为正确性的前提。现有内核语言依赖动态调度假设,无法瞄准此类机器。TauLang 提出一套时空编程模型与编译器,专门描述并调度静态调度加速器上的计算。

核心要点:

  • 静态调度加速器(如 Groq TSP)以编译器确定每个操作的时序换取低延迟
  • 现有内核语言基于动态调度假设,无法直接表达时空确定性的约束
  • TauLang 提供时空编程抽象与配套编译器,填补静态调度加速器工具链空白

6. 对齐训练期权重规则:推理期专家停用的实现方式比较

来源:cs.CL 链接:https://arxiv.org/abs/2611.05804 标签:MoE · 专家停用 · 推理优化 · 权重归一化

推理期专家停用会同时改变 token 路由与专家权重,其对性能的影响取决于具体实现方式。本文在四个模型家族的五个指令微调检查点以及一个 OLMoE 基础检查点上,对相同禁用集合比较了移除、冻结、剩余专家重归一化、非归一化重路由四种策略,并建立了关联性能变化的权重和模型,为 MoE 模型在推理期安全裁剪专家提供实证依据。

核心要点:

  • 系统比较 MoE 推理期专家停用的四种实现策略(移除/冻结/重归一化/非归一化)
  • 跨四个模型家族、五个指令微调检查点及 OLMoE 做一致实验
  • 提出权重和模型解释性能变化,指导推理期专家裁剪的实践

7. C-GRPO:保角校准的组相对策略优化

来源:cs.LG 链接:https://arxiv.org/abs/2611.05591 标签:LLM 训练 · GRPO · 强化学习 · 自适应预算

面向推理的 LLM 训练越来越依赖多组 on-policy rollout,但标准 GRPO 使用固定组大小,对简单 prompt 浪费算力、对困难 prompt 探索不足。已有自适应预算方法缓解了低效,但其停止规则是启发式的,缺乏有限样本校准保证。C-GRPO 用保角(conformal)停止规则替换固定 rollout 预算,在保持有限样本校准保证的同时按需分配计算。

核心要点:

  • 指出固定组大小 GRPO 在简单/困难 prompt 上算力分配失衡
  • 现有自适应预算方法缺乏可证明的有限样本校准保证
  • C-GRPO 引入保角停止规则,兼顾计算效率与统计校准

📊 今日速览

# 标题摘要 来源 方向
1 解锁图灵架构 Tensor Core:单卡 22G RTX 2080 Ti 上的从零预训练实测 cs.AR GPU/CUDA 训练
2 把数据调度到计算:面向 AMD GPU 上 LLM 训练的分层数据流水线 cs.AR 分布式训练
3 CHARM+:基于重合并多流的跨硬件注意力机制 cs.AR 推理加速
4 TileLens:以透明二维内存布局高效利用大粒度内存系统 cs.AR 推理内存
5 TauLang:面向静态调度加速器的时空编程语言与编译器 cs.AR 编译器
6 对齐训练期权重规则:推理期专家停用的实现方式比较 cs.CL MoE 推理
7 C-GRPO:保角校准的组相对策略优化 cs.LG LLM RL 训练

自动生成 · 2026-11-06 · jeffinchen daily tech reading list

评论