← Reading List
📰 技术速递

LLM服务·KV缓存·注意力稀疏·AI加速器·微架构·MoE

Tech多源前沿

📰 2026-11-22 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 服务与 KV 缓存、注意力稀疏化、AI 加速器与脉动阵列、RTL 仿真与微架构、稀疏 MoE 训练。


1. TideCache:面向混合架构 LLM 的高效服务与透明缓存管理

来源:arXiv cs.LG 链接:http://arxiv.org/abs/2611.26619v1 标签:LLM服务 · KV缓存 · 混合架构 · 推理加速 · 显存优化

TideCache 针对采用全局注意力与有界状态(如 SSM/Mamba 混合)的主流开源大模型,提出一种透明的混合缓存管理方案,统一调度注意力 KV 状态与有界循环状态,在不修改模型结构的前提下显著降低服务显存占用与解码延迟,提升吞吐。

核心要点:

  • 统一抽象注意力 KV 与有界状态,实现跨架构的统一缓存层
  • 透明接入、无需改模型权重,便于在现有推理框架落地
  • 在混合架构模型上兼顾显存省与解码延迟,提升服务吞吐

2. Aggron:在 Head-of-Line 停顿中对 Agent KV 缓存做激进压缩

来源:arXiv cs.LG 链接:http://arxiv.org/abs/2611.26435v1 标签:Agent · KV缓存压缩 · 长上下文 · 推理系统 · 多轮

LLM Agent 运行长多轮程序,上下文随每步增长,推理受限于 KV 缓存容量。Aggron 利用 head-of-line 停顿窗口对 Agent 的 KV 缓存进行激进压缩,在不明显损伤任务成功率的情况下释放显存,支撑更长更密的 Agent 轨迹。

核心要点:

  • 针对 Agent 多轮长上下文的 KV 膨胀问题提出停顿期压缩策略
  • 在 Head-of-Line 停顿中完成压缩,几乎不增加关键路径延迟
  • 以可控质量损失换取显著 KV 缓存节省,扩展 Agent 可用上下文长度

3. HiSA:稀疏化 LLM 中 RoPE 注意力的隐藏维度

来源:arXiv cs.LG 链接:http://arxiv.org/abs/2611.26363v1 标签:注意力机制 · RoPE · 稀疏化 · 推理加速 · 大模型

标准注意力对每对 query/key 做完整点积。HiSA 研究并稀疏化 LLM 中 RoPE 注意力的隐藏维度,仅保留最具信息量的维度参与打分,从而降低注意力计算与 KV 读取开销,是一种面向推理效率的结构化稀疏方案。

核心要点:

  • 重新审视 RoPE 注意力在隐藏维度上的冗余性
  • 提出结构化稀疏打分,减少点积与 KV 访存成本
  • 在保持模型质量的同时提升注意力层推理效率

4. MaskPE:用单一掩码实现权重布局与脉动阵列 MAC 门控

来源:arXiv cs.AR 链接:http://arxiv.org/abs/2611.26432v1 标签:脉动阵列 · 结构化剪枝 · MAC门控 · AI加速器 · 硬件

非结构化剪枝能减权重存储,却难在常规权重固定型脉动阵列中降低执行成本。MaskPE 让同一个掩码同时承担权重布局与 MAC 门控双重角色,使剪枝后的稀疏网络在脉动阵列上真正省算力,弥合存储与执行之间的鸿沟。

核心要点:

  • 单一掩码复用为权重布局与 MAC 门控,降低硬件控制复杂度
  • 针对权重固定型脉动阵列实现真正可执行的稀疏加速
  • 缩小非结构化剪枝在存储节省与实际算力节省上的落差

5. FoldSim:用分层折叠与静态分析扩展周期精确 RTL 仿真

来源:arXiv cs.AR 链接:http://arxiv.org/abs/2611.26472v1 标签:RTL仿真 · 硬件验证 · 分层折叠 · 静态分析 · EDA

RTL 仿真是硬件设计与验证的核心,但运行时间随设计规模快速增长。FoldSim 通过分层折叠与静态分析对仿真进行扩展,在保持周期精确性的同时加速大规模 RTL 仿真的执行。

核心要点:

  • 提出分层折叠方法压缩仿真规模并保留周期精确语义
  • 结合静态分析进一步削减冗余仿真开销
  • 面向大规模硬件设计的验证加速,缩短 EDA 迭代周期

6. From Seed to BLOOM:自主生长更优的乱序执行内核

来源:arXiv cs.AR 链接:http://arxiv.org/abs/2611.26517v1 标签:微处理器 · 乱序内核 · 微架构 · ASIC约束 · 自动化设计

在面积与频率等 ASIC 实现约束下提升微处理器性能是复杂难题。From Seed to BLOOM 提出一种自主生长方法,在满足实现约束的前提下自动探索并优化乱序执行内核的微架构。

核心要点:

  • 在面积/频率等 ASIC 约束下自动优化乱序内核微架构
  • 以自主生长式搜索替代手工微架构调参
  • 兼顾性能与可实现性,缩短内核设计探索周期

7. Beam 技术报告:501B 总参数 / 23.4B 激活的稀疏 MoE 模型

来源:arXiv cs.LG 链接:http://arxiv.org/abs/2611.26358v1 标签:MoE · 稀疏专家 · 大模型架构 · 训练 · 技术报告

Beam 是一个稀疏混合专家(MoE)模型,总参数 501.3B、激活参数 23.4B,针对特定场景构建。技术报告给出其架构设计与训练配置,展示了以高稀疏度在可控激活成本下获得大模型能力的路线。

核心要点:

  • 总参 501.3B、激活仅 23.4B 的高稀疏 MoE 架构
  • 详述专家路由与训练配置等工程实现要点
  • 验证以稀疏激活控制推理成本、保留大模型容量的范式

📊 今日速览

# 标题摘要 来源 方向
1 TideCache:面向混合架构 LLM 的高效服务与透明缓存管理 arXiv cs.LG LLM服务/缓存
2 Aggron:在 Head-of-Line 停顿中对 Agent KV 缓存做激进压缩 arXiv cs.LG Agent/KV压缩
3 HiSA:稀疏化 LLM 中 RoPE 注意力的隐藏维度 arXiv cs.LG 注意力稀疏
4 MaskPE:用单一掩码实现权重布局与脉动阵列 MAC 门控 arXiv cs.AR AI加速器
5 FoldSim:用分层折叠与静态分析扩展周期精确 RTL 仿真 arXiv cs.AR RTL仿真
6 From Seed to BLOOM:自主生长更优的乱序执行内核 arXiv cs.AR 微架构
7 Beam 技术报告:501B 总参数 / 23.4B 激活的稀疏 MoE 模型 arXiv cs.LG MoE训练

自动生成 · 2026-11-22 · jeffinchen daily tech reading list

评论