📰 2026-11-22 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 LLM 服务与 KV 缓存、注意力稀疏化、AI 加速器与脉动阵列、RTL 仿真与微架构、稀疏 MoE 训练。
1. TideCache:面向混合架构 LLM 的高效服务与透明缓存管理
来源:arXiv cs.LG 链接:http://arxiv.org/abs/2611.26619v1 标签:LLM服务 · KV缓存 · 混合架构 · 推理加速 · 显存优化
TideCache 针对采用全局注意力与有界状态(如 SSM/Mamba 混合)的主流开源大模型,提出一种透明的混合缓存管理方案,统一调度注意力 KV 状态与有界循环状态,在不修改模型结构的前提下显著降低服务显存占用与解码延迟,提升吞吐。
核心要点:
- 统一抽象注意力 KV 与有界状态,实现跨架构的统一缓存层
- 透明接入、无需改模型权重,便于在现有推理框架落地
- 在混合架构模型上兼顾显存省与解码延迟,提升服务吞吐
2. Aggron:在 Head-of-Line 停顿中对 Agent KV 缓存做激进压缩
来源:arXiv cs.LG 链接:http://arxiv.org/abs/2611.26435v1 标签:Agent · KV缓存压缩 · 长上下文 · 推理系统 · 多轮
LLM Agent 运行长多轮程序,上下文随每步增长,推理受限于 KV 缓存容量。Aggron 利用 head-of-line 停顿窗口对 Agent 的 KV 缓存进行激进压缩,在不明显损伤任务成功率的情况下释放显存,支撑更长更密的 Agent 轨迹。
核心要点:
- 针对 Agent 多轮长上下文的 KV 膨胀问题提出停顿期压缩策略
- 在 Head-of-Line 停顿中完成压缩,几乎不增加关键路径延迟
- 以可控质量损失换取显著 KV 缓存节省,扩展 Agent 可用上下文长度
3. HiSA:稀疏化 LLM 中 RoPE 注意力的隐藏维度
来源:arXiv cs.LG 链接:http://arxiv.org/abs/2611.26363v1 标签:注意力机制 · RoPE · 稀疏化 · 推理加速 · 大模型
标准注意力对每对 query/key 做完整点积。HiSA 研究并稀疏化 LLM 中 RoPE 注意力的隐藏维度,仅保留最具信息量的维度参与打分,从而降低注意力计算与 KV 读取开销,是一种面向推理效率的结构化稀疏方案。
核心要点:
- 重新审视 RoPE 注意力在隐藏维度上的冗余性
- 提出结构化稀疏打分,减少点积与 KV 访存成本
- 在保持模型质量的同时提升注意力层推理效率
4. MaskPE:用单一掩码实现权重布局与脉动阵列 MAC 门控
来源:arXiv cs.AR 链接:http://arxiv.org/abs/2611.26432v1 标签:脉动阵列 · 结构化剪枝 · MAC门控 · AI加速器 · 硬件
非结构化剪枝能减权重存储,却难在常规权重固定型脉动阵列中降低执行成本。MaskPE 让同一个掩码同时承担权重布局与 MAC 门控双重角色,使剪枝后的稀疏网络在脉动阵列上真正省算力,弥合存储与执行之间的鸿沟。
核心要点:
- 单一掩码复用为权重布局与 MAC 门控,降低硬件控制复杂度
- 针对权重固定型脉动阵列实现真正可执行的稀疏加速
- 缩小非结构化剪枝在存储节省与实际算力节省上的落差
5. FoldSim:用分层折叠与静态分析扩展周期精确 RTL 仿真
来源:arXiv cs.AR 链接:http://arxiv.org/abs/2611.26472v1 标签:RTL仿真 · 硬件验证 · 分层折叠 · 静态分析 · EDA
RTL 仿真是硬件设计与验证的核心,但运行时间随设计规模快速增长。FoldSim 通过分层折叠与静态分析对仿真进行扩展,在保持周期精确性的同时加速大规模 RTL 仿真的执行。
核心要点:
- 提出分层折叠方法压缩仿真规模并保留周期精确语义
- 结合静态分析进一步削减冗余仿真开销
- 面向大规模硬件设计的验证加速,缩短 EDA 迭代周期
6. From Seed to BLOOM:自主生长更优的乱序执行内核
来源:arXiv cs.AR 链接:http://arxiv.org/abs/2611.26517v1 标签:微处理器 · 乱序内核 · 微架构 · ASIC约束 · 自动化设计
在面积与频率等 ASIC 实现约束下提升微处理器性能是复杂难题。From Seed to BLOOM 提出一种自主生长方法,在满足实现约束的前提下自动探索并优化乱序执行内核的微架构。
核心要点:
- 在面积/频率等 ASIC 约束下自动优化乱序内核微架构
- 以自主生长式搜索替代手工微架构调参
- 兼顾性能与可实现性,缩短内核设计探索周期
7. Beam 技术报告:501B 总参数 / 23.4B 激活的稀疏 MoE 模型
来源:arXiv cs.LG 链接:http://arxiv.org/abs/2611.26358v1 标签:MoE · 稀疏专家 · 大模型架构 · 训练 · 技术报告
Beam 是一个稀疏混合专家(MoE)模型,总参数 501.3B、激活参数 23.4B,针对特定场景构建。技术报告给出其架构设计与训练配置,展示了以高稀疏度在可控激活成本下获得大模型能力的路线。
核心要点:
- 总参 501.3B、激活仅 23.4B 的高稀疏 MoE 架构
- 详述专家路由与训练配置等工程实现要点
- 验证以稀疏激活控制推理成本、保留大模型容量的范式
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | TideCache:面向混合架构 LLM 的高效服务与透明缓存管理 | arXiv cs.LG | LLM服务/缓存 |
| 2 | Aggron:在 Head-of-Line 停顿中对 Agent KV 缓存做激进压缩 | arXiv cs.LG | Agent/KV压缩 |
| 3 | HiSA:稀疏化 LLM 中 RoPE 注意力的隐藏维度 | arXiv cs.LG | 注意力稀疏 |
| 4 | MaskPE:用单一掩码实现权重布局与脉动阵列 MAC 门控 | arXiv cs.AR | AI加速器 |
| 5 | FoldSim:用分层折叠与静态分析扩展周期精确 RTL 仿真 | arXiv cs.AR | RTL仿真 |
| 6 | From Seed to BLOOM:自主生长更优的乱序执行内核 | arXiv cs.AR | 微架构 |
| 7 | Beam 技术报告:501B 总参数 / 23.4B 激活的稀疏 MoE 模型 | arXiv cs.LG | MoE训练 |
自动生成 · 2026-11-22 · jeffinchen daily tech reading list
评论