今日精选 7 篇深度技术论文,覆盖 Transformer 位置编码优化、训练优化器、量化压缩、KV Cache 压缩及微调理论等前沿方向。
1. Efficient Matrix Implementation for Rotary Position Embedding
| 来源: arXiv cs.LG | 标签: RoPE · 位置编码 · Transformer · 效率优化 |
RoPE 已成为现代 Transformer 架构核心组件,但现有实现存在计算冗余。本文提出高效矩阵化实现方案,通过利用 RoPE 矩阵的结构特性,在语言/视觉/3D 多域均显著降低计算开销,无需改变模型行为。
2. Muon²: Boosting Muon via Adaptive Second-Moment Preconditioning
| 来源: arXiv cs.LG | 标签: 优化器 · Muon · 预训练 · 自适应优化 |
Muon 优化器在大规模基础模型预训练中展现了利用神经网络更新矩阵结构的优势。Muon² 通过自适应二阶矩预调节进一步增强,在多个大模型预训练 benchmark 上取得显著收敛速度提升。
3. SEPTQ: A Simple and Effective Post-Training Quantization Paradigm for LLMs
| 来源: arXiv cs.CL | 标签: 量化 · PTQ · LLM推理 · 模型压缩 |
SEPTQ 提出了一种简单高效的训练后量化范式,在保持精度的同时大幅降低推理成本,为大模型高效部署提供了实用方案。
4. CodeComp: Structural KV Cache Compression for Agentic Coding
| 来源: arXiv cs.CL | 标签: KV Cache · 内存优化 · 代码智能 · 推理加速 |
CodeComp 提出了结构化 KV Cache 压缩方法,利用代码的结构特性实现高效压缩,显著降低 Agent 编码场景下的内存开销。
5. Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty
| 来源: arXiv cs.CL | 标签: RLHF · 奖励模型 · 推理效率 · 不确定性 |
利用模型内部不确定性信号,自适应判断何时需要 CoT 推理,显著提升奖励建模效率,减少不必要的计算开销。
6. Why Supervised Fine-Tuning Fails to Learn: A Systematic Study of Incomplete Learning in LLMs
| 来源: arXiv cs.CL | 标签: SFT · 微调 · 大模型训练 · 学习理论 |
系统研究 SFT 中持续存在的「不完全学习」现象,分析数据覆盖、优化目标与模型容量失配的根本原因,为改进微调策略提供理论依据。
7. The Diffusion-Attention Connection
| 来源: arXiv cs.LG | 标签: 注意力机制 · 理论分析 · Transformer · 图神经网络 |
揭示 Transformer、扩散映射和磁 Laplacian 三者实为统一 Markov 核框架的不同制度,建立注意力机制与图扩散过程的深刻理论联系。
数据来源:arXiv RSS (cs.LG / cs.CL) 生成时间:2026-04-15
评论