← Reading List
📰 技术速递

硬件加速、编译优化与万亿参数MoE训练的今日前沿

Tech多源前沿

📰 2026-11-17 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 硬件加速器架构(线性注意力/边缘AI/LLM加速)、GPU存储尾延迟控制、编译期内核启发式、万亿参数MoE分布式训练。


1. 分页状态 Gated-DeltaNet:三模组播网格上的 RTL 到硅片位精确实现

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2611.18422 标签:线性注意力 · RTL-to-Silicon · 边缘FPGA · Gated-DeltaNet · 状态分页

线性注意力语言模型用固定大小的循环状态取代不断增长的 KV 缓存,但在边缘 FPGA 上该状态可能超出片上存储。本文提出一种分页状态(paged-state)Gated-DeltaNet 处理单元,部署在三模组播网格(tri-mode multicast mesh)上,从 RTL 到硅片实现位精确(bit-exact)。核心贡献在于证明状态大小并非推理瓶颈——通过分页与组播互联,可在资源受限硬件上高效承载长上下文线性注意力。

核心要点:

  • 用固定大小循环状态替代增长的 KV 缓存,降低长上下文推理的存储压力
  • 提出分页状态机制 + 三模组播网格互联,解决边缘 FPGA 片上存储不足问题
  • 从 RTL 到流片实现 bit-exact 验证,保证软硬件一致性

2. CHARMING:跨张量处理与存内计算的并行边缘 AI 加速

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2611.17785 标签:边缘AI · 存内计算 · 张量处理 · 并行加速 · 低功耗

边缘 AI 依赖专用加速器实现低延迟、低能耗推理,但效率仍受限于计算与存储的割裂。CHARMING 提出一种并行边缘 AI 加速架构,将张量处理单元与存内计算(PIM)协同调度,在资源与能耗严格受限的设备上提升推理吞吐。文章系统阐述了两类范式如何互补以缓解数据搬运瓶颈。

核心要点:

  • 融合张量处理与存内计算,减少边缘设备上的数据搬运开销
  • 面向低延迟、低能耗约束设计并行调度策略
  • 为资源受限场景下的 AI 加速提供统一架构视角

3. Mutable Inference:面向推理时学习的 LLM 加速器架构

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2611.18523 标签:LLM加速器 · 推理时学习 · 长上下文 · 注意力替代 · 硬件架构

长上下文 LLM 必须保留不断增长的对话历史,而全注意力让每个新 token 的成本持续攀升。推理时学习(ITL)提供了一种替代方案。本文重新思考 LLM 加速器设计,提出 Mutable Inference 架构,使硬件原生支持推理阶段的持续学习与状态更新,从而在保持低延迟的同时承载动态增长的知识状态。

核心要点:

  • 针对长上下文场景,用推理时学习替代昂贵且不断膨胀的全注意力
  • 加速器硬件原生支持推理阶段的持续状态更新
  • 在延迟与动态知识容量之间取得架构级平衡

4. LazyWeights:按需解码的边缘端 LLM 部署

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2611.17108 标签:边缘LLM · 模型部署 · 按需解码 · 内存优化 · Jetson

决定边缘设备能跑哪个 LLM 以及跑多快的关键往往不是算力而是内存:4GB Jetson Nano 受容量限制,8GB Jetson Orin Nano Super 受带宽限制。LazyWeights 提出 Decode-on-Demand 策略,按需从存储加载权重而非全量驻留,从而让大模型在极小内存设备上可行。文章量化了容量与带宽两类约束对边缘推理的实际影响。

核心要点:

  • 揭示边缘 LLM 瓶颈是内存(容量 vs 带宽)而非单纯算力
  • 提出按需解码(Decode-on-Demand)避免权重全量驻留
  • 在 4GB/8GB 级 Jetson 设备上实现更大模型的边缘部署

5. TailGuard-GDS:GPU 存储数据搬运的尾延迟安全控制

来源:arXiv (cs.OS) 链接:https://arxiv.org/abs/2611.17824 标签:GPUDirect Storage · 尾延迟 · 数据搬运 · NVMe · AI运行时

AI 运行时在关键路径上于 NVMe 存储与 GPU 显存间搬运状态。GPUDirect Storage(GDS)省去了主机端中转,但在八卡 H100 实测中发现其尾延迟存在显著风险。TailGuard-GDS 提出尾延迟安全的控制机制,在利用 GDS 高吞吐的同时约束最坏情况延迟,保障关键路径上的可预测性。

核心要点:

  • 揭示 GDS 在八卡 H100 上搬运状态时的尾延迟隐患
  • 提出尾延迟安全(tail-safe)控制策略约束最坏情况
  • 在保持高吞吐的同时提升 AI 运行时关键路径可预测性

6. Fast by Default:Helion 内核的编译期启发式自动调优

来源:PyTorch Blog 链接:https://pytorch.org/blog/fast-by-default-compile-time-heuristics-for-helion-kernels/ 标签:Helion · 编译优化 · 内核调优 · 自动启发式 · PyTorch

Helion 现在采用编译期启发式(compile-time heuristics),通过分析内核的 IR 与数据流,自动将其分类为 matmul、reduction 或 pointwise 等类型,并直接选取高性能配置,无需耗时的自动调优(autotuning)。这标志着编译器从「默认慢、靠搜索变快」转向「默认即快」,显著降低 kernel 优化的工程成本。

核心要点:

  • 编译期分析 IR 与数据流,自动分类内核类型(matmul/reduction/pointwise)
  • 免去昂贵的 autotuning 步骤,实现「默认即快」
  • 大幅降低 Helion kernel 优化的工程门槛与迭代时间

7. 在欧盟公共基础设施上用 PyTorch 与 TorchTitan 训练 1T 参数 MoE

来源:PyTorch Blog 链接:https://pytorch.org/blog/training-a-1t-parameter-moe-on-eu-public-infrastructure-with-pytorch-and-torchtitan/ 标签:MoE · 分布式训练 · TorchTitan · 万亿参数 · 公共算力

在共享的公共基础设施上预训练约 1 万亿参数的混合专家(MoE)模型,此前被认为因架构与互联特殊性而不可行。本文介绍如何借助 PyTorch 与 TorchTitan 在欧盟公共算力上完成这一规模化训练,重点分享了应对共享集群互联限制、容错与扩展性的工程实践,为大规模开放训练提供参考路径。

核心要点:

  • 在共享公共算力上实现 ~1T 参数 MoE 的可行规模化预训练
  • 基于 TorchTitan 应对互联限制、容错与扩展性挑战
  • 为开放、可复现的大规模训练提供工程实践蓝本

📊 今日速览

# 标题摘要 来源 方向
1 分页状态 Gated-DeltaNet:三模组播网格上的 RTL 到硅片位精确实现 arXiv (cs.AR) 线性注意力硬件
2 CHARMING:跨张量处理与存内计算的并行边缘 AI 加速 arXiv (cs.AR) 边缘AI加速
3 Mutable Inference:面向推理时学习的 LLM 加速器架构 arXiv (cs.AR) LLM加速器
4 LazyWeights:按需解码的边缘端 LLM 部署 arXiv (cs.AR) 边缘LLM部署
5 TailGuard-GDS:GPU 存储数据搬运的尾延迟安全控制 arXiv (cs.OS) GPU存储尾延迟
6 Fast by Default:Helion 内核的编译期启发式自动调优 PyTorch Blog 编译优化
7 在欧盟公共基础设施上用 PyTorch 与 TorchTitan 训练 1T 参数 MoE PyTorch Blog 分布式训练

自动生成 · 2026-11-17 · jeffinchen daily tech reading list

评论