← Reading List
📰 技术速递

技术速递 2026-03-27:LLM 推理效率全栈——稀疏注意力、NPU 算子优化与量化压缩

TecharXivLLM推理量化压缩注意力机制

本期聚焦 LLM 推理效率全栈优化,涵盖稀疏注意力、NPU 算子自动调优、混合精度量化、推理能耗悖论、RAG 实时验证与代码 LLM 激活引导六大方向。

MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling

来源: arXiv cs.CL | 方向: 注意力机制/KV Cache

提出 Memory Sparse Attention(MSA)机制,将长期记忆整合进 Transformer 架构,通过稀疏注意力高效扩展上下文窗口,实现端到端记忆模型的规模化,在长文档理解任务上显著降低计算开销。


AscendOptimizer: Episodic Agent for Ascend NPU Operator Optimization

来源: arXiv cs.LG | 方向: NPU/算子优化/编译器

针对华为昇腾 NPU 的算子优化问题,提出基于 Episode 记忆的 Agent 框架自动优化 AscendC 算子,显著提升 NPU 推理吞吐量,为国产 AI 芯片生态的自动化编译优化提供新思路。


APreQEL: Adaptive Mixed Precision Quantization For Edge LLMs

来源: arXiv cs.LG | 方向: 量化/模型压缩/边缘推理

提出自适应混合精度量化方案,针对边缘设备 LLM 部署,在不同层采用不同位宽策略,在保持模型精度的同时大幅压缩内存占用,推动大模型端侧部署可行性。


The Compression Paradox in LLM Inference: Provider-Dependent Energy Effects of Prompt Compression

来源: arXiv cs.CL | 方向: LLM推理/能效/Prompt压缩

揭示 LLM 推理中的「压缩悖论」:Prompt 压缩在不同推理服务提供商环境下能耗效果相反,背后与 KV Cache 共享机制、批处理策略密切相关,对实际推理系统优化有重要指导价值。


Fast and Faithful: Real-Time Verification for Long-Document Retrieval-Augmented Generation

来源: arXiv cs.CL | 方向: RAG/生成验证/推理延迟

提出实时长文档 RAG 验证框架,在生成过程中并行校验引用忠实度,通过轻量级 token-level 校验机制将幻觉率降低显著,同时保持推理延迟可接受,适用于生产级 RAG 系统。


Steering Code LLMs with Activation Directions for Language and Library Control

来源: arXiv cs.LG | 方向: LLM可解释性/激活方向/代码生成

通过分析 Code LLM 的激活空间,发现可提取编程语言和库偏好的方向向量,无需微调即可在推理阶段动态引导模型生成指定语言/框架的代码,揭示 LLM 内部表示机制。


评论