📰 2026-07-27 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖推理加速、KV缓存管理、端侧推理硬件、GPU架构、分布式训练与AI芯片科学计算。
1. Windowed-MTP:消除百万级上下文中全量草稿 KV 的开销
来源:arXiv cs.LG
链接:http://arxiv.org/abs/2607.21535v1
标签:投机解码 · MTP · KV缓存 · 长上下文 · 推理加速
投机解码通过廉价草稿模型并行提议 token 来加速自回归生成,但前沿模型内置的 Multi-Token-Prediction(MTP)草稿头在百万 token 上下文下需要维护全量草稿 KV 缓存,带来巨大的显存与带宽开销。本文提出 Windowed-MTP,将草稿头的注意力窗口化,仅保留近期上下文的草稿 KV,从而在超长上下文场景下消除这一“草稿 KV 税”,同时保持接受率与生成质量。
核心要点:
- 定位百万级上下文下 MTP 草稿头全量 KV 缓存的显存/带宽瓶颈
- 以窗口化注意力替代全上下文草稿 KV,仅保留近期上下文
- 在保持投机解码接受率的同时大幅降低长上下文推理成本
2. KV 缓存驱逐的错误证书:基于随机化设计的可验证保障
来源:arXiv cs.CL
链接:http://arxiv.org/abs/2607.21475v1
标签:KV缓存 · 缓存驱逐 · 随机化算法 · 误差界 · LLM推理
确定性 KV 缓存驱逐策略按重要性分数保留 top-k token 并删除其余部分,但本文证明这种设计“无法知道自己毁掉了什么”——被驱逐的值可以被任意篡改而服务系统无法察觉。作者提出基于随机化设计的驱逐机制,为缓存驱逐提供可计算的错误证书,使系统能够量化驱逐操作对输出的潜在影响。
核心要点:
- 从理论上证明确定性 top-k 驱逐无法检测被驱逐信息的损失
- 引入随机化驱逐设计,为每次驱逐生成可验证的误差证书
- 为生产环境 KV 缓存压缩提供了可量化的正确性保障思路
3. BaseRT:利用 Apple M5 神经加速器实现顶级 LLM 推理
来源:arXiv cs.AR
链接:http://arxiv.org/abs/2607.19438v1
标签:Apple M5 · Metal · 神经加速器 · LLM推理 · 端侧AI
Apple M5 代 GPU 架构在每个核心上集成了专用神经加速器(片上矩阵单元),通过 Metal 4 tensor API 暴露给开发者。本文介绍原生 Metal 推理引擎 BaseRT,展示如何充分利用这些矩阵单元实现同级最优的 LLM 推理性能,为端侧大模型部署提供了新的硬件-软件协同设计参考。
核心要点:
- 首批系统利用 M5 每核神经加速器与 Metal 4 tensor API 的推理引擎
- 原生 Metal 实现,绕过通用框架开销直接调度片上矩阵单元
- 为 Apple Silicon 端侧 LLM 推理树立性能标杆
4. DGNA:通过微基准测试与数据分析剖析 GPU NUMA 架构
来源:arXiv cs.AR
链接:http://arxiv.org/abs/2607.19922v1
标签:GPU · NUMA · 微基准测试 · 内存架构 · 性能分析
随着 GPU 核心与显存规模持续膨胀,现代大型 GPU 内部呈现出显著的 NUMA(非一致内存访问)特性。本文提出 DGNA 框架,通过系统化微基准测试与数据分析揭示 GPU 内部的 NUMA 拓扑、访存延迟差异与带宽分布,帮助开发者理解并优化 kernel 在大型 GPU 上的数据布局与调度策略。
核心要点:
- 设计微基准系统探测 GPU 内部 NUMA 拓扑与访存特性
- 量化跨分区访存的延迟与带宽差异
- 为大型 GPU 上的 kernel 优化和数据布局提供实证依据
5. 受控周期性同步:高效数据并行训练的新范式
来源:arXiv cs.DC
链接:http://arxiv.org/abs/2607.21224v1
标签:数据并行 · 梯度同步 · 分布式训练 · 通信优化 · DDP
标准 DDP 在每次迭代都同步梯度,在高速局域网中表现良好,但随着集群规模扩大与网络异构化,通信开销日益成为瓶颈。本文提出受控周期性同步方法,允许 worker 在多个迭代间局部更新后再同步,通过控制同步周期在收敛质量与通信效率间取得平衡,显著提升带宽受限环境下的训练吞吐。
核心要点:
- 分析每步全量梯度同步在慢速/异构网络下的通信瓶颈
- 提出受控周期性同步机制,在局部更新与全局一致性间动态权衡
- 在带宽受限集群上提升数据并行训练的端到端吞吐
6. Ascend to Science:AI 芯片用于科学计算的探索
来源:arXiv cs.DC
链接:http://arxiv.org/abs/2607.20120v1
标签:AI芯片 · 低精度计算 · HPC · 昇腾 · 科学计算
AI 加速器的迅速崛起使计算系统围绕低精度张量引擎重构,这给 HPC 社区带来一个现实问题:此类硬件在什么条件下能支撑科学计算负载?本文以昇腾(Ascend)AI 芯片为对象,系统评估低精度张量引擎在科学计算核心 kernel 上的适用性、精度补偿技术与性能表现,为 AI 芯片进入 HPC 领域给出实证参考。
核心要点:
- 系统评估 AI 芯片低精度张量引擎对科学计算负载的适用条件
- 探讨混合精度与精度补偿技术在 HPC kernel 中的应用
- 为 AI 加速器与传统 HPC 生态融合提供实测数据
7. RISC-V 单核上 Float16 端侧训练的软硬件协同设计
来源:arXiv cs.AR
链接:http://arxiv.org/abs/2607.21130v1
标签:RISC-V · Float16 · 端侧训练 · 软硬件协同 · 开源框架
本文利用 RISC-V 标准扩展 Zfh(标量 float16)与 Zvfh(向量 float16),提出一个开源框架,在资源受限的 RISC-V 单核上实现完整的端侧模型训练。通过软硬件协同设计充分挖掘半精度指令的吞吐潜力,展示了在极低功耗设备上进行本地学习与模型适配的可行路径。
核心要点:
- 基于 Zfh/Zvfh 标准扩展实现 RISC-V 单核完整训练流程
- 软硬件协同优化 float16 算子,兼顾精度与吞吐
- 开源框架,为超低功耗端侧持续学习提供基础设施
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | Windowed-MTP | arXiv cs.LG | 推理加速 |
| 2 | KV 缓存驱逐的错误证书 | arXiv cs.CL | LLM推理 |
| 3 | BaseRT | arXiv cs.AR | 端侧推理 |
| 4 | DGNA | arXiv cs.AR | GPU架构 |
| 5 | 受控周期性同步 | arXiv cs.DC | 分布式训练 |
| 6 | Ascend to Science | arXiv cs.DC | AI芯片/HPC |
| 7 | RISC-V 单核上 Float16 端侧训练的软硬件协同设计 | arXiv cs.AR | 端侧训练 |
自动生成 · 2026-07-27 · jeffinchen daily tech reading list
评论