← Reading List
📰 技术速递

P2P 加速节点、LLM 推理优化与 Kernel 竞赛复盘

Tech多源前沿

📰 2026-06-12 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖网络系统、LLM 推理框架、模型推理优化与算子工程。


1. BITS: Discovering Peer-to-Peer Accelerated Nodes

来源:arXiv cs.NI 链接:https://arxiv.org/abs/2502.12723 标签:P2P 网络 · 节点发现 · CDN · 网络测量

(注:本篇为网络系统方向补充阅读,与前几篇 LLM 推理主题互补——分布式推理集群的节点发现与调度同样依赖高质量的网络测量与信誉机制。)BITS 研究如何在 P2P/混合 CDN 架构中发现可加速分发的节点:通过主动测量与图算法识别高带宽、低延迟、稳定在线的对等节点集合。这套”节点发现 + 信誉评分”的方法论对构建分布式推理集群(边缘 GPU 节点池)的调度层也有直接借鉴意义。

核心要点:

  • 主动测量 + 历史行为结合的节点质量评分
  • P2P 分发的边界节点选择算法与实际部署数据
  • 对抗节点作弊(虚报带宽/位置)的机制设计

2. 分块预填充与投机解码:DeepSeek 推理优化的工程实践

来源:技术博客(推理框架深度拆解) 链接:https://chang-wenbin.github.io/AIbin-Note/Research/2026-04-09_sglang-vllm-deepseek-glm5-optimization.html 标签:DeepSeek · 分块预填充 · 投机解码 · MTP

拆解 SGLang/vLLM 对 DeepSeek 系列模型的关键优化:Multi-head Latent Attention(MLA)的 KV 压缩、Multi-Token Prediction(MTP)的投机解码路径、分块预填充与批处理调度的配合。是国内模型在主流框架上的适配全景,工程细节密度很高。

核心要点:

  • MLA 的低秩 KV 压缩与矩阵吸收实现
  • MTP 投机解码:草稿层与主模型的协同调度
  • 分块预填充:长输入场景 TTFT 与吞吐的平衡

3. 高吞吐 LLM 推理的内存管理:从 PagedAttention 到分布式 KV

来源:vLLM 项目文档/设计文档 链接:https://docs.vllm.ai/en/latest/design/arch_overview.html 标签:KV Cache · 内存管理 · 分布式推理 · 架构

vLLM 官方架构文档综述:从单机的 PagedAttention 块管理,到 vLLM v1 的无锁调度器、多进程 executor、以及分布式 KV Cache 传输(PD 分离场景的 KV connector 接口)。适合作为”推理引擎内部长什么样”的标准参考资料。

核心要点:

  • vLLM v1 架构:API server、core、worker 的职责划分
  • KV connector 抽象:跨节点 KV 传输的插件化设计
  • 无锁调度与异步输出处理对尾延迟的改善

4. DeepSpeed-Inference on GPUs: 硬件感知的推理加速

来源:arXiv cs.CL(KDD’23 论文) 链接:https://arxiv.org/abs/2211.02009 标签:推理加速 · 量化 · Kernel 融合 · 微软

DeepSpeed 推理引擎的系统论文:面向 NVIDIA 各代 GPU 的硬件感知内核(Tensor Core 指令适配)、推理量化的显存-带宽收益分析、多卡推理的并行切分与 kernel 融合策略。与 vLLM 的调度路线不同,它展示了”内核优先”的加速路径。

核心要点:

  • 按代适配 Tensor Core 的融合 GEMM 内核
  • 推理三阶段(GEMV/GEMM/Attention)的瓶颈拆解
  • 量化推理的内核级实现与精度保持技巧

5. MLSys 2026 FlashInfer 竞赛:Agent 生成 Kernel 的工程复盘

来源:知乎专栏(KDA 框架参赛记) 链接:https://zhuanlan.zhihu.com/p/2044459666327999866 标签:FlashInfer · Agent · Kernel 优化 · MLSys

HAN Lab Kernel Mafia 团队复盘 KDA 框架参加 MLSys 2026 FlashInfer Full Agent 赛道的全过程:任务拆解、Agent 决策流程、与人类选手同台竞技的名次与差距分析。2026 年”AI 写内核”从论文走向竞赛与生产的标志性记录。

核心要点:

  • Full Agent 赛道的任务设计与评测规则
  • KDA 的多 Agent 分工:提案、实现、验证角色
  • Agent 相比人类 kernel 工程师的优势场景与瓶颈

6. 光速理解 Persistent Kernel:GPU 上的驻留执行模型

来源:技术博客(GPU 执行模型解析) 链接:https://developer.nvidia.com/blog/ 标签:Persistent Kernel · GPU 微架构 · 调度 · CUDA

Persistent Kernel 让线程块常驻 SM、在 kernel 内自调度任务,消除反复 launch 的开销,配合 grid-wide 同步实现复杂的数据流。MoE 融合内核、FlashInfer 的 split-k 调度、图执行引擎都依赖这一模型。本文从 SM 调度器视角解释其原理与适用边界。

核心要点:

  • 驻留线程块 + 任务队列的自调度模式
  • Grid-wide sync 与 cooperative groups 的使用
  • 适用场景:通信重叠、动态负载、多阶段流水

📊 今日速览

# 标题摘要 来源 方向
1 BITS: Discovering Peer-to-Peer Accelerated Nodes arXiv cs.NI P2P 网络
2 DeepSeek 推理优化:MLA/MTP/分块预填充 技术博客 推理优化
3 vLLM 架构全景:从 PagedAttention 到分布式 KV vLLM Docs 架构
4 DeepSpeed-Inference:硬件感知的推理加速 arXiv cs.CL 推理加速
5 MLSys 2026 FlashInfer 竞赛 Agent 复盘 知乎专栏 Kernel Agent
6 Persistent Kernel:GPU 驻留执行模型 NVIDIA Blog CUDA

自动生成 · 2026-06-12 · jeffinchen daily tech reading list

评论