← Reading List
📰 技术速递

大模型推理优化与分布式训练前沿

Tech多源前沿

📰 2026-11-21 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大模型推理优化(KV Cache)、分布式/超大规模训练、编译器与 kernel 自动调优、MoE 边缘推理。


1. Helion 编译期启发式:无需自动调优即可选快内核配置

来源:PyTorch 链接:https://pytorch.org/blog/fast-by-default-compile-time-heuristics-for-helion-kernels/ 标签:编译器 · Helion · CUDA Kernel · 自动调优 · Triton

Helion 现在通过编译期启发式分析内核的 IR 与数据流来自动挑选快速配置,无需耗时的 autotuning。系统先将内核分类为 matmul、reduction 或 pointwise,再依据分类套用针对性的启发式规则,在编译阶段就决定 tile size、loop order 等参数,从而显著降低 kernel 编译与调优成本,让 Helion 默认就快。

核心要点:

  • 内核被自动分类为 matmul / reduction / pointwise 三类,分别套用专属启发式
  • 在编译期基于 IR 与数据流直接决定 tile size、循环顺序等参数
  • 消除或大幅减少 autotuning 开销,实现 ‘Fast by Default’

2. 在欧盟公有基础设施上用 PyTorch + TorchTitan 训练 1T 参数 MoE

来源:PyTorch 链接:https://pytorch.org/blog/training-a-1t-parameter-moe-on-eu-public-infrastructure-with-pytorch-and-torchtitan/ 标签:分布式训练 · MoE · TorchTitan · 大规模训练 · 算力基础设施

在共享的公有计算基础设施上预训练约 1 万亿参数的混合专家(MoE)模型,过去被认为由于架构与互联瓶颈而不可行。本文展示如何借助 TorchTitan 的细粒度灵活性(如选择性激活重计算、序列并行、异步梯度通信)克服互联限制,在跨节点的公共集群上完成 1T 参数级训练。

核心要点:

  • 利用 TorchTitan 的细粒度并行与异步通信掩盖互联瓶颈
  • 在共享、非专属的公有基础设施上实现 1T 参数 MoE 预训练
  • 为资源受限场景下的超大规模训练提供可行路径

3. TripleKV:面向 AI Agent 的 KV Cache 三层预测-预取-保护管理

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2611.25112 标签:KV Cache · LLM Agent · 推理优化 · 存储分层 · 预取

LLM Agent 在推理与工具调用间交替,跨调用反复复用不断增长的上下文。高并发下其 KV Cache 工作集可达数百 GiB,远超 GPU 显存。空闲 KV 块被换出到慢速存储层后,Agent 返回时会触发昂贵的取回并阻塞推理。TripleKV 提出三层 KV 管理系统,利用 Agent 工作负载中’下一次推理所需的 KV 块已知、仅复用时间不确定’的特性,用工具执行时间隐藏取回延迟。

核心要点:

  • 三层 KV Cache 架构将显存放不下的块卸载到慢速存储层
  • 利用工具执行间隙预取已知将被复用的 KV 块,隐藏延迟
  • 面向高并发 Agent 场景,显著降低 KV 取回造成的推理停顿

4. PRKV:基于个性化 PageRank 的免训练全局 KV Cache 驱逐

来源:arXiv (cs.CL) 链接:https://arxiv.org/abs/2611.24969 标签:KV Cache · 长上下文 · 推理优化 · PageRank · 免训练

长上下文 LLM 推理中 KV Cache 的内存占用仍是核心瓶颈。PRKV 提出一种免训练驱逐方法,通过在注意力诱导的转移图上施加个性化 PageRank 来估计多跳全局 token 重要性,使重要性传播超越近因或瞬时注意力,且无需修改模型。在长上下文理解、稀疏检索与思维链推理任务上,PRKV 在最高 90% 的压缩比下仍取得与主流基线相当的性能并降低峰值显存。

核心要点:

  • 用注意力转移图上的个性化 PageRank 估计多跳全局 token 重要性
  • 完全免训练、不改模型权重即可压缩 KV Cache
  • 最高 90% 压缩比下保持任务性能并降低峰值显存占用

5. TRANSIT:面向多节点 LLM 训练的内存超订阅透明缩容

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2610.07593 标签:分布式训练 · GPU · 内存超订阅 · 训练效率 · 零拷贝

LLM 日益增长的内存需求迫使分布式训练跨越多 GPU 节点,降低单卡算力效率、增加网络流量并加剧排队延迟。TRANSIT 通过内存超订阅,透明地让训练在更少 GPU 上高效运行。它在超订阅期间协调驱动管理的页驻留与执行引导的零拷贝访问来优化 CPU-GPU 数据搬运,并利用训练迭代间重复的 kernel 执行模式。

核心要点:

  • 通过内存超订阅让大模型训练在更少 GPU 上完成,提升单卡效率
  • 协调页驻留与零拷贝访问优化 CPU-GPU 数据移动
  • 利用跨迭代的 kernel 执行模式降低超订阅带来的搬运开销

6. 180B 参数、32GB 内存:用 Transformers 把 MoE 推理推向极限

来源:HuggingFace 链接:https://huggingface.co/blog/moe-expert-streaming 标签:MoE · 边缘推理 · 专家流式加载 · 低显存 · Transformers

本文展示如何在仅 32GB RAM 的设备上推理 180B 参数的 MoE 模型。通过按需将专家权重流式加载到内存、仅在当前 token 需要时驻留活跃专家,系统突破了显存/内存容量对超大 MoE 推理的限制,让消费级硬件也能跑起旗舰级稀疏模型。

核心要点:

  • 按需流式加载专家权重,避免一次性把所有专家驻留内存
  • 在 32GB RAM 上实现 180B 参数 MoE 的可用推理
  • 为消费级硬件运行旗舰稀疏模型提供工程范式

7. llama.cpp v1.0.0:为本地 AI 生态打下更坚实的底座

来源:HuggingFace 链接:https://huggingface.co/blog/ggml-org/llama-cpp-v1 标签:llama.cpp · 本地推理 · GGML · 边缘部署 · 量化

llama.cpp 发布 v1.0.0,标志着本地 AI 推理生态的成熟里程碑。新版在后端抽象、量化内核与硬件适配上做了大量重构,提供了更稳定的 API 与更强的基础能力,使本地、跨平台的大模型推理更加可靠和高效。

核心要点:

  • v1.0.0 完成核心架构重构,API 更稳定
  • 强化量化内核与多后端(CPU/GPU/异构)适配
  • 巩固本地、跨平台大模型推理的事实标准地位

📊 今日速览

# 标题摘要 来源 方向
1 Helion 编译期启发式:无需自动调优即可选快内核配置 PyTorch 编译器/Helion
2 在欧盟公有基础设施上用 PyTorch + TorchTitan 训练 1T 参数 MoE PyTorch 分布式训练/MoE
3 TripleKV:面向 AI Agent 的 KV Cache 三层预测-预取-保护管理 arXiv (cs.AR) KV Cache/LLM Agent
4 PRKV:基于个性化 PageRank 的免训练全局 KV Cache 驱逐 arXiv (cs.CL) KV Cache/长上下文
5 TRANSIT:面向多节点 LLM 训练的内存超订阅透明缩容 arXiv (cs.AR) 分布式训练/GPU
6 180B 参数、32GB 内存:用 Transformers 把 MoE 推理推向极限 HuggingFace MoE/边缘推理
7 llama.cpp v1.0.0:为本地 AI 生态打下更坚实的底座 HuggingFace llama.cpp/本地推理

自动生成 · 2026-11-21 · jeffinchen daily tech reading list

评论