📰 2026-09-10 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 KV-Cache 复用与跨检查点一致性、近内存调度、GPU-PIM 块稀疏解码、MoE 近内存并行、FP8 仿真 FP64 与设备端内存管理。
1. KVShareArena:跨上下文与模型检查点的 KV-Cache 复用评测基准
来源:arXiv cs.CL 链接:http://arxiv.org/abs/2609.10266v1 标签:KV-Cache · RAG · 多智能体 · 推理复用 · 基准
现有 LLM 服务系统仅在复用文本位于 prompt 最开头时才复用 KV 缓存,但 RAG 服务(每个查询拼装不同检索块)与多智能体协调器(读取其他智能体报告)恰恰打破了这一前提。文章系统梳理了跨上下文、跨同族不同检查点的 KV 缓存修复方法,指出现有三套社区各自评测、标准割裂,并提出统一基准 KVShareArena 来公平衡量复用正确性。
核心要点:
- 揭示 RAG 与多智能体两类新兴负载使传统前缀缓存失效
- 统一对比三种社区的 KV 缓存修复方法,消除评测割裂
- 提供标准化基准,量化跨上下文/跨 checkpoint 复用的正确性损失
2. UNISON:面向 LLM 智能体会话 KV 驻留的近内存协同调度器
来源:arXiv cs.AR 链接:http://arxiv.org/abs/2609.09643v1 标签:LLM-Agent · KV-Cache · 近内存调度 · SRAM/HBM · 会话级
LLM 被组织成规划、调用工具、每步恢复任务的智能体循环后,对共享内存层级的压榨远超多轮对话:它在工具等待期持有不断增长的 KV 前缀,并将大量会话挤入同一 SRAM/HBM 池。现有基于最近使用、超时或身份的驱逐策略无视循环机制信息,把“活跃等待”当成可丢弃冷单元。UNISON 提出事件驱动的近内存调度器,按会话级语义做 KV 分层驻留与驱逐。
核心要点:
- 指智能体循环使 KV 驻留成为会话级效率问题,与计算模式优化正交
- 现有 recency/timeout/identity 代理策略误判活跃等待为冷数据
- 近内存协同调度,按循环机制信息做分层放置与驱逐
3. Maverick:基于矩阵-向量乘法委托的实用化隐私可验证 LLM 推理
来源:arXiv cs.LG 链接:http://arxiv.org/abs/2609.10264v1 标签:隐私推理 · 可验证计算 · 矩阵-向量乘 · 委托协议 · 开源LLM
开源 LLM 已能比肩闭源模型并提供透明性,但本地跑大模型需要大量算力,用户常被迫求助第三方,带来隐私与正确性隐患。现有方案往往给服务端带来巨大开销或引入额外信任假设。Maverick 提出一套基于矩阵-向量乘(MVM)委托协议的私有且可验证推理方法,在不过度加重服务端负担、不新增信任假设的前提下实现可验证推理。
核心要点:
- 开源模型本地推理受算力限制,第三方托管引发隐私/正确性担忧
- 以 MVM 委托协议核心,降低服务端开销与信任假设
- 在实用化前提下实现隐私保护与推理可验证
4. AMEND:GPU-PIM LLM 解码中审计式 Margin 实现非阻塞 KV 块丢弃
来源:arXiv cs.AR 链接:http://arxiv.org/abs/2609.09823v1 标签:GPU-PIM · 块稀疏注意力 · KV-Cache · 长上下文 · 非阻塞丢弃
自回归 LLM 解码每步重读不断增长的 KV 缓存,长上下文注意力受 GPU 显存带宽限制。块稀疏注意力可跳过低贡献 KV 块,但现有选择器(如 max-relative block threshold)在 QK 乘积之后才决策,会引入阻塞。AMEND 提出“审计式 margin”机制,使得在 GPU-PIM 架构下对低贡献 KV 块执行非阻塞丢弃,缓解带宽瓶颈。
核心要点:
- 长上下文解码受 GPU 显存带宽约束,块稀疏是主要加速手段
- 现有 QK 后决策的选择器带来阻塞开销
- 审计式 margin 在 GPU-PIM 上实现非阻塞的低贡献 KV 块丢弃
5. HDA-MoE:面向 3D 近内存处理的 MoE 混合并行与动态自适应调度
来源:arXiv cs.AR 链接:http://arxiv.org/abs/2609.08682v1 标签:MoE · 3D-NMP · 近内存处理 · 混合并行 · 动态调度
MoE 在扩大模型容量的同时推高了显存容量与带宽需求。3D 近内存处理(NMP)通过混合键合垂直集成存储与计算,提供高内部带宽与能效,适合加速 MoE 推理,但其分布式的存储/计算组织给负载映射带来新挑战。HDA-MoE 提出混合并行策略与动态自适应调度,针对 3D-NMP 架构高效映射 MoE 工作负载。
核心要点:
- MoE 的扩展以显存容量/带宽为代价,3D-NMP 提供高带宽高能效
- NMP 分布式组织使 MoE 负载映射成为新难题
- 混合并行 + 动态自适应调度,适配 3D 近内存 MoE 推理
6. Ozaki 2.5:在 FP8 张量核上工程化仿真 FP64 稠密矩阵乘的“解构路径”
来源:arXiv cs.AR 链接:http://arxiv.org/abs/2609.09095v1 标签:FP8 · FP64仿真 · 张量核 · CRT残基 · NVIDIA Rubin
FP8 Ozaki II 借助 CRT 残基系统的张量核乘积仿真 FP64 矩阵乘;将操作数转换为残差平面(“解构项”)在张量指令发射前消耗整数流水线与显存资源。本文工程化该路径:在 NVIDIA Rubin GPU 上,仿真速率仅在一个线程块簇内达到算术上限 P_FP8/(3r+1)(r=12 时约 473 TFLOPS),更大输出被在线重切分并维持在约 235 TFLOPS 的落地速率。
核心要点:
- 用 FP8 张量核 + CRT 残基仿真 FP64 稠密矩阵乘
- 解构开销在张量指令发射前占用整数流水与显存
- Rubin GPU 上单簇达约 473 TFLOPS,大输出在线重切分维持约 235 TFLOPS
7. mzCache:多任务场景下的设备端 LLM 内存管理
来源:arXiv cs.OS 链接:http://arxiv.org/abs/2609.01338v1 标签:设备端LLM · 内存管理 · 多任务 · KV-Cache · OS驱逐
设备端移动 LLM 推理日益受到关注,但移动设备处于高度动态的多任务环境,用户频繁切换应用导致内存压力,系统会驱逐 LLM 内存(模型权重与 KV 缓存)。当新推理启动时,被驱逐的状态需要重建,带来显著延迟与能耗。mzCache 针对多任务切换下的设备端 LLM 内存做专门管理,降低重启开销。
核心要点:
- 移动端多任务切换触发 OS 对 LLM 权重/KV 缓存的驱逐
- 状态重建造成推理延迟与能耗开销
- 面向设备端多任务场景的专用 LLM 内存管理方案
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | KVShareArena:跨上下文与模型检查点的 KV-Cache 复用评测基准 | arXiv cs.CL | KV-Cache/RAG |
| 2 | UNISON:面向 LLM 智能体会话 KV 驻留的近内存协同调度器 | arXiv cs.AR | LLM-Agent/KV-Cache |
| 3 | Maverick:基于矩阵-向量乘法委托的实用化隐私可验证 LLM 推理 | arXiv cs.LG | 隐私推理/可验证计算 |
| 4 | AMEND:GPU-PIM LLM 解码中审计式 Margin 实现非阻塞 KV 块丢弃 | arXiv cs.AR | GPU-PIM/块稀疏注意力 |
| 5 | HDA-MoE:面向 3D 近内存处理的 MoE 混合并行与动态自适应调度 | arXiv cs.AR | MoE/3D-NMP |
| 6 | Ozaki 2.5:在 FP8 张量核上工程化仿真 FP64 稠密矩阵乘的“解构路径” | arXiv cs.AR | FP8/FP64仿真 |
| 7 | mzCache:多任务场景下的设备端 LLM 内存管理 | arXiv cs.OS | 设备端LLM/内存管理 |
自动生成 · 2026-09-10 · jeffinchen daily tech reading list
评论