← Reading List
📰 技术速递

大模型推理、GPU 内核优化与 OS 页缓存前沿精选

Tech多源前沿

📰 2026-10-29 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大模型推理与能效、GPU 内核优化、LLM 安全、循环 Transformer、推测推理加速、持续学习、OS 页缓存。


1. p-DCIM:面向 LLM-RAG 流水线的近内存上下文选择概率 SRAM 存算一体机

来源:cs.AR 链接:https://arxiv.org/abs/2610.37033 标签:存算一体 · SRAM DCIM · RAG · 推理能效 · Ising 机

本文提出一款在 28nm 工艺流片的概率型 SRAM 存算一体(DCIM)Ising 机,用于大语言模型检索增强生成(RAG)流水线中的上下文/证据集选择。RAG 的证据筛选阶段近年越来越依赖反复的语言模型重排序,给推理链路叠加了大量能耗;作者把证据选择重构为二次无约束二值优化(QUBO)问题,交由片上 Ising 机在内存附近完成,从而把重排序的算力与数据搬运从 GPU 侧卸载,显著降低 RAG 推理的能耗与延迟。

核心要点:

  • 将 RAG 证据集选择建模为 QUBO,用流片的概率 SRAM DCIM Ising 机近内存求解
  • 卸载传统上由 LLM 反复重排序承担的筛选计算,减少数据搬运与能耗
  • 为存算一体芯片在 LLM 推理流水线中的系统级落地提供可参考的范式

2. All-in-One:面向量化/剪枝/合并等 LLM 变换的可组合攻击

来源:cs.LG 链接:https://arxiv.org/abs/2610.33298 标签:模型安全 · 后门攻击 · 量化 · 模型剪枝 · 部署安全

量化、剪枝与模型合并是面向部署的 LLM 常用的效率与性能优化变换。已有研究表明这些变换可能引入安全威胁:攻击者可以训练一个在变换前通过安全检查、而在部署变换后“激活”为恶意的模型。本文提出 All-in-One 这一可组合攻击框架,统一刻画多种部署变换组合下的后门可利用性,并系统性评估其对主流安全校验的绕过能力,提醒业界在模型上线前的评测流程中把变换后行为纳入考量。

核心要点:

  • 揭示量化/剪枝/合并等部署变换可作为后门触发条件的载体
  • 提出统一的可组合攻击框架,覆盖多变换组合场景
  • 对现有安全校验在变换后失效的风险给出量化评估与防御启示

3. 物理非理想性下的 GPU 内核性能工程:以 H100 DSMEM 为例

来源:cs.AR 链接:https://arxiv.org/abs/2610.37466 标签:GPU 内核 · H100 · 分布式共享内存 · 硬件非理想性 · 性能优化

芯片设计与制造中的物理非理想性(如工艺偏差、floorsweeping)通常被常规硬件抽象层掩盖,但它们会直接限制内核性能并掩盖优化空间。本文以 NVIDIA H100 上的分布式共享内存(DSMEM)为案例,展示 floorsweeping 如何限制可用于集群(clustered)执行的硬件资源,进而抵消部分预期的收益;作者据此提出面向物理非理想性的内核性能工程方法,帮助开发者在真实的硅片特性下挖掘优化空间。

核心要点:

  • 指出 floorsweeping 等物理非理想性会削弱 H100 DSMEM 集群执行收益
  • 突破传统硬件抽象,把真实硅片特性纳入内核性能分析
  • 给出可复用的 GPU 内核性能调优方法论

4. 共享 KV 缓存的 LSTM 式循环 Transformer

来源:cs.LG 链接:https://arxiv.org/abs/2610.33360 标签:循环 Transformer · KV Cache · 参数效率 · 推理显存 · 权重复用

循环(recurrent)Transformer 通过复用权重以更少参数完成深度计算。本文研究一种 LSTM 式 Transformer,它在循环核心中共享一份键值(KV)缓存:在宽度 1024 下,相比未绑定的对照组可减少 40.4% 的参数、保持几乎相当的前向 FLOPs,并把持久化缓存集合从 15 个降低到 4 个;并行训练时从标准前向过程供给缓存条目。该设计在参数与显存占用上同时受益,对长序列推理与边缘部署有实际价值。

核心要点:

  • 循环核心共享单份 KV 缓存,持久化缓存集合从 15 降到 4
  • 宽度 1024 下参数量减少 40.4% 而前向 FLOPs 基本持平
  • 降低推理显存压力,利于长序列与资源受限场景部署

5. 面向引导式推测推理的多重要性采样

来源:cs.LG 链接:https://arxiv.org/abs/2610.33368 标签:推测推理 · 测试时扩展 · 重要性采样 · 过程奖励模型 · LLM 加速

本文把引导式推测推理(GSI)算法扩展到测试时扩展(test-time scaling)的新设定:由一组较小的 LLM 提议(draft)推理步骤,再由更大的基础模型与过程奖励模型(PRM)验证。作者借助多重要性采样(MIS)框架引入多种加权方案来聚合多个小模型提议的分布,提升草稿接受率与整体推理效率,在保持质量的同时加速大模型复杂推理的采样过程。

核心要点:

  • 用小模型集成提议、大模型+PRM 验证的分工降低推理成本
  • 引入多重要性采样加权方案聚合多来源草稿分布
  • 提升草稿接受率,加速 test-time scaling 下的复杂推理

6. CAMR:面向大模型持续学习的兼容性感知记忆回放

来源:cs.CL 链接:https://arxiv.org/abs/2610.36734 标签:持续学习 · 记忆回放 · 大模型微调 · 灾难性遗忘 · 样本选择

持续学习要求大模型在获取新知识的同时保留已有能力。微调与回放分别支持“获取”与“保留”,但如何判断新样本是否需要监督、以及应回看哪些历史样本仍是难题。本文提出兼容性感知记忆回放(CAMR):一个自适应框架,联合控制对传入样本的监督需求判定与历史样本的重访选择,通过兼容性度量在减轻灾难性遗忘与避免无效回放之间取得平衡。

核心要点:

  • 联合决策新样本是否需要监督标注与历史样本回放选择
  • 以兼容性度量为核心缓解灾难性遗忘
  • 自适应框架兼顾新知识获取与旧知识保留

7. Callosal:为存算分离存储与内存重思内核页缓存

来源:cs.OS 链接:https://arxiv.org/abs/2610.36347 标签:操作系统 · 页缓存 · 存算分离 · NFS · 缓存一致性

经典分布式文件系统(如 NFS)把文件系统操作集中到服务器,并用文件系统专属的自定义方式管理客户端缓存一致性,带来可扩展性瓶颈与弱一致性,难以支撑并发访问并修改共享文件的应用。本文核心观点是这些传统设计过于“以存储为中心”;随着今日的硬件与网络演进,作者重新设计内核页缓存以适配存算分离(disaggregated)的存储与内存架构,兼顾一致性与可扩展性。

核心要点:

  • 指出现有 NFS 式设计过于存储中心化,限制一致性与扩展性
  • 面向存算分离架构重新设计内核页缓存机制
  • 支持客户端并发访问与修改共享文件的强一致需求

📊 今日速览

# 标题摘要 来源 方向
1 面向 LLM-RAG 流水线的近内存上下文选择概 cs.AR 存算一体
2 面向量化/剪枝/合并等 LLM 变换的可组合攻击 cs.LG 模型安全
3 以 H100 DSMEM 为例 cs.AR GPU 内核
4 共享 KV 缓存的 LSTM 式循环 Trans cs.LG 循环 Transformer
5 面向引导式推测推理的多重要性采样 cs.LG 推测推理
6 面向大模型持续学习的兼容性感知记忆回放 cs.CL 持续学习
7 为存算分离存储与内存重思内核页缓存 cs.OS 操作系统

自动生成 · 2026-10-29 · jeffinchen daily tech reading list

评论