📰 2026-10-29 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 大模型推理与能效、GPU 内核优化、LLM 安全、循环 Transformer、推测推理加速、持续学习、OS 页缓存。
1. p-DCIM:面向 LLM-RAG 流水线的近内存上下文选择概率 SRAM 存算一体机
来源:cs.AR 链接:https://arxiv.org/abs/2610.37033 标签:存算一体 · SRAM DCIM · RAG · 推理能效 · Ising 机
本文提出一款在 28nm 工艺流片的概率型 SRAM 存算一体(DCIM)Ising 机,用于大语言模型检索增强生成(RAG)流水线中的上下文/证据集选择。RAG 的证据筛选阶段近年越来越依赖反复的语言模型重排序,给推理链路叠加了大量能耗;作者把证据选择重构为二次无约束二值优化(QUBO)问题,交由片上 Ising 机在内存附近完成,从而把重排序的算力与数据搬运从 GPU 侧卸载,显著降低 RAG 推理的能耗与延迟。
核心要点:
- 将 RAG 证据集选择建模为 QUBO,用流片的概率 SRAM DCIM Ising 机近内存求解
- 卸载传统上由 LLM 反复重排序承担的筛选计算,减少数据搬运与能耗
- 为存算一体芯片在 LLM 推理流水线中的系统级落地提供可参考的范式
2. All-in-One:面向量化/剪枝/合并等 LLM 变换的可组合攻击
来源:cs.LG 链接:https://arxiv.org/abs/2610.33298 标签:模型安全 · 后门攻击 · 量化 · 模型剪枝 · 部署安全
量化、剪枝与模型合并是面向部署的 LLM 常用的效率与性能优化变换。已有研究表明这些变换可能引入安全威胁:攻击者可以训练一个在变换前通过安全检查、而在部署变换后“激活”为恶意的模型。本文提出 All-in-One 这一可组合攻击框架,统一刻画多种部署变换组合下的后门可利用性,并系统性评估其对主流安全校验的绕过能力,提醒业界在模型上线前的评测流程中把变换后行为纳入考量。
核心要点:
- 揭示量化/剪枝/合并等部署变换可作为后门触发条件的载体
- 提出统一的可组合攻击框架,覆盖多变换组合场景
- 对现有安全校验在变换后失效的风险给出量化评估与防御启示
3. 物理非理想性下的 GPU 内核性能工程:以 H100 DSMEM 为例
来源:cs.AR 链接:https://arxiv.org/abs/2610.37466 标签:GPU 内核 · H100 · 分布式共享内存 · 硬件非理想性 · 性能优化
芯片设计与制造中的物理非理想性(如工艺偏差、floorsweeping)通常被常规硬件抽象层掩盖,但它们会直接限制内核性能并掩盖优化空间。本文以 NVIDIA H100 上的分布式共享内存(DSMEM)为案例,展示 floorsweeping 如何限制可用于集群(clustered)执行的硬件资源,进而抵消部分预期的收益;作者据此提出面向物理非理想性的内核性能工程方法,帮助开发者在真实的硅片特性下挖掘优化空间。
核心要点:
- 指出 floorsweeping 等物理非理想性会削弱 H100 DSMEM 集群执行收益
- 突破传统硬件抽象,把真实硅片特性纳入内核性能分析
- 给出可复用的 GPU 内核性能调优方法论
4. 共享 KV 缓存的 LSTM 式循环 Transformer
来源:cs.LG 链接:https://arxiv.org/abs/2610.33360 标签:循环 Transformer · KV Cache · 参数效率 · 推理显存 · 权重复用
循环(recurrent)Transformer 通过复用权重以更少参数完成深度计算。本文研究一种 LSTM 式 Transformer,它在循环核心中共享一份键值(KV)缓存:在宽度 1024 下,相比未绑定的对照组可减少 40.4% 的参数、保持几乎相当的前向 FLOPs,并把持久化缓存集合从 15 个降低到 4 个;并行训练时从标准前向过程供给缓存条目。该设计在参数与显存占用上同时受益,对长序列推理与边缘部署有实际价值。
核心要点:
- 循环核心共享单份 KV 缓存,持久化缓存集合从 15 降到 4
- 宽度 1024 下参数量减少 40.4% 而前向 FLOPs 基本持平
- 降低推理显存压力,利于长序列与资源受限场景部署
5. 面向引导式推测推理的多重要性采样
来源:cs.LG 链接:https://arxiv.org/abs/2610.33368 标签:推测推理 · 测试时扩展 · 重要性采样 · 过程奖励模型 · LLM 加速
本文把引导式推测推理(GSI)算法扩展到测试时扩展(test-time scaling)的新设定:由一组较小的 LLM 提议(draft)推理步骤,再由更大的基础模型与过程奖励模型(PRM)验证。作者借助多重要性采样(MIS)框架引入多种加权方案来聚合多个小模型提议的分布,提升草稿接受率与整体推理效率,在保持质量的同时加速大模型复杂推理的采样过程。
核心要点:
- 用小模型集成提议、大模型+PRM 验证的分工降低推理成本
- 引入多重要性采样加权方案聚合多来源草稿分布
- 提升草稿接受率,加速 test-time scaling 下的复杂推理
6. CAMR:面向大模型持续学习的兼容性感知记忆回放
来源:cs.CL 链接:https://arxiv.org/abs/2610.36734 标签:持续学习 · 记忆回放 · 大模型微调 · 灾难性遗忘 · 样本选择
持续学习要求大模型在获取新知识的同时保留已有能力。微调与回放分别支持“获取”与“保留”,但如何判断新样本是否需要监督、以及应回看哪些历史样本仍是难题。本文提出兼容性感知记忆回放(CAMR):一个自适应框架,联合控制对传入样本的监督需求判定与历史样本的重访选择,通过兼容性度量在减轻灾难性遗忘与避免无效回放之间取得平衡。
核心要点:
- 联合决策新样本是否需要监督标注与历史样本回放选择
- 以兼容性度量为核心缓解灾难性遗忘
- 自适应框架兼顾新知识获取与旧知识保留
7. Callosal:为存算分离存储与内存重思内核页缓存
来源:cs.OS 链接:https://arxiv.org/abs/2610.36347 标签:操作系统 · 页缓存 · 存算分离 · NFS · 缓存一致性
经典分布式文件系统(如 NFS)把文件系统操作集中到服务器,并用文件系统专属的自定义方式管理客户端缓存一致性,带来可扩展性瓶颈与弱一致性,难以支撑并发访问并修改共享文件的应用。本文核心观点是这些传统设计过于“以存储为中心”;随着今日的硬件与网络演进,作者重新设计内核页缓存以适配存算分离(disaggregated)的存储与内存架构,兼顾一致性与可扩展性。
核心要点:
- 指出现有 NFS 式设计过于存储中心化,限制一致性与扩展性
- 面向存算分离架构重新设计内核页缓存机制
- 支持客户端并发访问与修改共享文件的强一致需求
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | 面向 LLM-RAG 流水线的近内存上下文选择概 | cs.AR | 存算一体 |
| 2 | 面向量化/剪枝/合并等 LLM 变换的可组合攻击 | cs.LG | 模型安全 |
| 3 | 以 H100 DSMEM 为例 | cs.AR | GPU 内核 |
| 4 | 共享 KV 缓存的 LSTM 式循环 Trans | cs.LG | 循环 Transformer |
| 5 | 面向引导式推测推理的多重要性采样 | cs.LG | 推测推理 |
| 6 | 面向大模型持续学习的兼容性感知记忆回放 | cs.CL | 持续学习 |
| 7 | 为存算分离存储与内存重思内核页缓存 | cs.OS | 操作系统 |
自动生成 · 2026-10-29 · jeffinchen daily tech reading list
评论