📰 2026-11-17 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 硬件加速器架构(线性注意力/边缘AI/LLM加速)、GPU存储尾延迟控制、编译期内核启发式、万亿参数MoE分布式训练。
1. 分页状态 Gated-DeltaNet:三模组播网格上的 RTL 到硅片位精确实现
来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2611.18422 标签:线性注意力 · RTL-to-Silicon · 边缘FPGA · Gated-DeltaNet · 状态分页
线性注意力语言模型用固定大小的循环状态取代不断增长的 KV 缓存,但在边缘 FPGA 上该状态可能超出片上存储。本文提出一种分页状态(paged-state)Gated-DeltaNet 处理单元,部署在三模组播网格(tri-mode multicast mesh)上,从 RTL 到硅片实现位精确(bit-exact)。核心贡献在于证明状态大小并非推理瓶颈——通过分页与组播互联,可在资源受限硬件上高效承载长上下文线性注意力。
核心要点:
- 用固定大小循环状态替代增长的 KV 缓存,降低长上下文推理的存储压力
- 提出分页状态机制 + 三模组播网格互联,解决边缘 FPGA 片上存储不足问题
- 从 RTL 到流片实现 bit-exact 验证,保证软硬件一致性
2. CHARMING:跨张量处理与存内计算的并行边缘 AI 加速
来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2611.17785 标签:边缘AI · 存内计算 · 张量处理 · 并行加速 · 低功耗
边缘 AI 依赖专用加速器实现低延迟、低能耗推理,但效率仍受限于计算与存储的割裂。CHARMING 提出一种并行边缘 AI 加速架构,将张量处理单元与存内计算(PIM)协同调度,在资源与能耗严格受限的设备上提升推理吞吐。文章系统阐述了两类范式如何互补以缓解数据搬运瓶颈。
核心要点:
- 融合张量处理与存内计算,减少边缘设备上的数据搬运开销
- 面向低延迟、低能耗约束设计并行调度策略
- 为资源受限场景下的 AI 加速提供统一架构视角
3. Mutable Inference:面向推理时学习的 LLM 加速器架构
来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2611.18523 标签:LLM加速器 · 推理时学习 · 长上下文 · 注意力替代 · 硬件架构
长上下文 LLM 必须保留不断增长的对话历史,而全注意力让每个新 token 的成本持续攀升。推理时学习(ITL)提供了一种替代方案。本文重新思考 LLM 加速器设计,提出 Mutable Inference 架构,使硬件原生支持推理阶段的持续学习与状态更新,从而在保持低延迟的同时承载动态增长的知识状态。
核心要点:
- 针对长上下文场景,用推理时学习替代昂贵且不断膨胀的全注意力
- 加速器硬件原生支持推理阶段的持续状态更新
- 在延迟与动态知识容量之间取得架构级平衡
4. LazyWeights:按需解码的边缘端 LLM 部署
来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2611.17108 标签:边缘LLM · 模型部署 · 按需解码 · 内存优化 · Jetson
决定边缘设备能跑哪个 LLM 以及跑多快的关键往往不是算力而是内存:4GB Jetson Nano 受容量限制,8GB Jetson Orin Nano Super 受带宽限制。LazyWeights 提出 Decode-on-Demand 策略,按需从存储加载权重而非全量驻留,从而让大模型在极小内存设备上可行。文章量化了容量与带宽两类约束对边缘推理的实际影响。
核心要点:
- 揭示边缘 LLM 瓶颈是内存(容量 vs 带宽)而非单纯算力
- 提出按需解码(Decode-on-Demand)避免权重全量驻留
- 在 4GB/8GB 级 Jetson 设备上实现更大模型的边缘部署
5. TailGuard-GDS:GPU 存储数据搬运的尾延迟安全控制
来源:arXiv (cs.OS) 链接:https://arxiv.org/abs/2611.17824 标签:GPUDirect Storage · 尾延迟 · 数据搬运 · NVMe · AI运行时
AI 运行时在关键路径上于 NVMe 存储与 GPU 显存间搬运状态。GPUDirect Storage(GDS)省去了主机端中转,但在八卡 H100 实测中发现其尾延迟存在显著风险。TailGuard-GDS 提出尾延迟安全的控制机制,在利用 GDS 高吞吐的同时约束最坏情况延迟,保障关键路径上的可预测性。
核心要点:
- 揭示 GDS 在八卡 H100 上搬运状态时的尾延迟隐患
- 提出尾延迟安全(tail-safe)控制策略约束最坏情况
- 在保持高吞吐的同时提升 AI 运行时关键路径可预测性
6. Fast by Default:Helion 内核的编译期启发式自动调优
来源:PyTorch Blog 链接:https://pytorch.org/blog/fast-by-default-compile-time-heuristics-for-helion-kernels/ 标签:Helion · 编译优化 · 内核调优 · 自动启发式 · PyTorch
Helion 现在采用编译期启发式(compile-time heuristics),通过分析内核的 IR 与数据流,自动将其分类为 matmul、reduction 或 pointwise 等类型,并直接选取高性能配置,无需耗时的自动调优(autotuning)。这标志着编译器从「默认慢、靠搜索变快」转向「默认即快」,显著降低 kernel 优化的工程成本。
核心要点:
- 编译期分析 IR 与数据流,自动分类内核类型(matmul/reduction/pointwise)
- 免去昂贵的 autotuning 步骤,实现「默认即快」
- 大幅降低 Helion kernel 优化的工程门槛与迭代时间
7. 在欧盟公共基础设施上用 PyTorch 与 TorchTitan 训练 1T 参数 MoE
来源:PyTorch Blog 链接:https://pytorch.org/blog/training-a-1t-parameter-moe-on-eu-public-infrastructure-with-pytorch-and-torchtitan/ 标签:MoE · 分布式训练 · TorchTitan · 万亿参数 · 公共算力
在共享的公共基础设施上预训练约 1 万亿参数的混合专家(MoE)模型,此前被认为因架构与互联特殊性而不可行。本文介绍如何借助 PyTorch 与 TorchTitan 在欧盟公共算力上完成这一规模化训练,重点分享了应对共享集群互联限制、容错与扩展性的工程实践,为大规模开放训练提供参考路径。
核心要点:
- 在共享公共算力上实现 ~1T 参数 MoE 的可行规模化预训练
- 基于 TorchTitan 应对互联限制、容错与扩展性挑战
- 为开放、可复现的大规模训练提供工程实践蓝本
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | 分页状态 Gated-DeltaNet:三模组播网格上的 RTL 到硅片位精确实现 | arXiv (cs.AR) | 线性注意力硬件 |
| 2 | CHARMING:跨张量处理与存内计算的并行边缘 AI 加速 | arXiv (cs.AR) | 边缘AI加速 |
| 3 | Mutable Inference:面向推理时学习的 LLM 加速器架构 | arXiv (cs.AR) | LLM加速器 |
| 4 | LazyWeights:按需解码的边缘端 LLM 部署 | arXiv (cs.AR) | 边缘LLM部署 |
| 5 | TailGuard-GDS:GPU 存储数据搬运的尾延迟安全控制 | arXiv (cs.OS) | GPU存储尾延迟 |
| 6 | Fast by Default:Helion 内核的编译期启发式自动调优 | PyTorch Blog | 编译优化 |
| 7 | 在欧盟公共基础设施上用 PyTorch 与 TorchTitan 训练 1T 参数 MoE | PyTorch Blog | 分布式训练 |
自动生成 · 2026-11-17 · jeffinchen daily tech reading list
评论