← Reading List
📰 技术速递

技术速递 2026-03-25:KV Cache 优化全景 & LLM 推理效率前沿

TecharXivKV CacheLLM推理RLHF训练算法

本期精选 6 篇 arXiv 最新论文,聚焦 KV Cache 优化、RLHF 奖励建模与训练算法改进三大方向。


📄 KV Cache Optimization Strategies for Scalable and Efficient LLM Inference

来源: arXiv cs.LG · 论文链接

KV Cache 是 Transformer 推理的核心优化机制。本文系统梳理 KV Cache 优化策略谱系——涵盖量化压缩、驱逐策略、前缀共享(PagedAttention 风格)及语义压缩——深入分析吞吐量、内存占用、精度保持三者之间的权衡关系。

KV Cache LLM推理 PagedAttention 内存优化


📄 An Experimental Study of KV Cache Reuse Strategies in Chunk-Level Caching Systems

来源: arXiv cs.CL · 论文链接

针对 RAG 场景下的 KV Cache 分块复用,在真实工作负载上对比前缀缓存、语义分块和驱逐策略。合理分块粒度与语义边界对齐可将推理延迟降低 30%+,为生产级 LLM 服务系统提供工程指导。

KV Cache复用 RAG 分块缓存 LLM Serving


📄 Fast-Slow Thinking RM: Efficient Integration of Scalar and Generative Reward Models

来源: arXiv cs.CL · 论文链接

提出”快慢思考”奖励建模框架:轻量标量 RM 做快速粗筛,生成式 RM 做深度精判,在对齐信号质量与计算成本间取得更优平衡。对工业界 RLHF 流水线优化有直接参考价值。

RLHF 奖励模型 对齐 高效训练


📄 AE-LLM: Adaptive Efficiency Optimization for Large Language Models

来源: arXiv cs.LG · 论文链接

自适应效率框架 AE-LLM:根据输入复杂度动态选择计算路径(层跳跃、Token 剪枝、早退出),推理 FLOPs 最高降低 40%,同时保持与完整模型相当的精度。

LLM效率 推理加速 动态计算 Token剪枝


📄 Thinking into the Future: Latent Lookahead Training for Transformers

来源: arXiv cs.CL · 论文链接

提出潜空间前瞻训练(Latent Lookahead Training):在 Latent Space 中预测未来多步表示,使模型建立更强的上下文规划能力,显著减少长文本生成中的错误累积。

训练算法 Latent Space 前瞻训练 自回归生成


📄 Beyond Test-Time Compute Strategies: Advocating Energy-per-Token in LLM Inference

来源: arXiv cs.CL · 论文链接

提出以”每 Token 能耗”(Energy-per-Token)作为统一推理效率指标,将硬件利用率、批调度策略与算法开销纳入同一框架,为跨策略推理效率比较提供更完整的评估基准。

LLM推理 能效 系统评估 绿色AI

评论