本期聚焦 LLM 推理效率全栈优化,涵盖稀疏注意力、NPU 算子自动调优、混合精度量化、推理能耗悖论、RAG 实时验证与代码 LLM 激活引导六大方向。
MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling
来源: arXiv cs.CL | 方向: 注意力机制/KV Cache
提出 Memory Sparse Attention(MSA)机制,将长期记忆整合进 Transformer 架构,通过稀疏注意力高效扩展上下文窗口,实现端到端记忆模型的规模化,在长文档理解任务上显著降低计算开销。
AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization
来源: arXiv cs.LG | 方向: NPU/算子优化/编译器
针对华为昇腾 NPU 的算子优化问题,提出基于 Episode 记忆的 Agent 框架自动优化 AscendC 算子,显著提升 NPU 推理吞吐量,为国产 AI 芯片生态的自动化编译优化提供新思路。
APreQEL: Adaptive Mixed Precision Quantization For Edge LLMs
来源: arXiv cs.LG | 方向: 量化/模型压缩/边缘推理
提出自适应混合精度量化方案,针对边缘设备 LLM 部署,在不同层采用不同位宽策略,在保持模型精度的同时大幅压缩内存占用,推动大模型端侧部署可行性。
The Compression Paradox in LLM Inference: Provider-Dependent Energy Effects of Prompt Compression
来源: arXiv cs.CL | 方向: LLM推理/能效/Prompt压缩
揭示 LLM 推理中的「压缩悖论」:Prompt 压缩在不同推理服务提供商环境下能耗效果相反,背后与 KV Cache 共享机制、批处理策略密切相关,对实际推理系统优化有重要指导价值。
Fast and Faithful: Real-Time Verification for Long-Document Retrieval-Augmented Generation
来源: arXiv cs.CL | 方向: RAG/生成验证/推理延迟
提出实时长文档 RAG 验证框架,在生成过程中并行校验引用忠实度,通过轻量级 token-level 校验机制将幻觉率降低显著,同时保持推理延迟可接受,适用于生产级 RAG 系统。
Steering Code LLMs with Activation Directions for Language and Library Control
来源: arXiv cs.LG | 方向: LLM可解释性/激活方向/代码生成
通过分析 Code LLM 的激活空间,发现可提取编程语言和库偏好的方向向量,无需微调即可在推理阶段动态引导模型生成指定语言/框架的代码,揭示 LLM 内部表示机制。
评论