今日覆盖:LLM 量化理论 × 多模态对抗安全训练 × MoE 稀疏架构 × Agentic 检索范式。来自 arXiv cs.LG/cs.CL + HuggingFace Research Blog,7 篇精选,涵盖算法/框架/系统三个层次。
🧮 1. Dissecting Quantization Error: A Concentration-Alignment Perspective
| 来源: arXiv 2603.04359 · cs.LG | 论文链接 |
通过 SQNR 分解,将 PTQ 误差拆解为集中度(Concentration)和对齐度(Alignment)两个独立维度。现有旋转变换方法(如 Hadamard)仅优化集中度,本文证明两者同等重要。提出轻量 CAT(Concentration-Alignment Transforms),在 4-bit 精度下持续超越 SOTA。
关键价值: 为量化误差提供数学上清晰的理论框架,CAT 可插拔,生产部署友好。
🔬 2. Activation Outliers in Transformer Quantization
| 来源: arXiv 2603.04308 · cs.LG | 论文链接 |
深度复现 Bondarenko et al.(EMNLP 2021)。BERT-base W8A8 量化后准确率从 89.66% 骤降至 54.33%。发现最终层 kurtosis 达 271,Top 1% 激活通道占 55% 能量。Percentile clipping 完全失效,Mixed Precision PTQ 有效恢复至 89.42%。RTX 3050 实测各方案延迟几乎相同(~59ms),说明 PTQ 失败根源是结构化通道主导。
🛡️ 3. DMAST: Dual-Modality Multi-Stage Adversarial Safety Training
| 来源: arXiv 2603.04364 · cs.LG/cs.AI | 论文链接 |
多模态 Web Agent 的新型攻击面:DOM 注入同时污染截图与 Accessibility Tree 两个观察通道。提出三阶段训练框架:模仿学习 → Oracle-SFT(zero-acknowledgment 策略)→ GRPO 自我对弈对抗 RL。分布外任务上同时降低对抗风险、任务效率提升一倍。
🎯 4. AAJR: Adversarially-Aligned Jacobian Regularization
| 来源: arXiv 2603.04378 · cs.LG/cs.CR | 论文链接 |
多 Agent minimax 训练不稳定问题的理论解:仅沿对抗上升方向约束 Jacobian 灵敏度,而非全局约束。理论证明产生更大可容许策略类,逼近间隙更小,名义性能损耗更低。为 Agentic 鲁棒性提供结构性理论支撑。
🏗️ 5. MoE in Transformers: From Dense to Sparse Architecture
| 来源: HuggingFace Research Blog | 博客链接 |
深度技术博客。MoE 核心命题:模型容量 = 21B,推理成本 ≈ 3.6B(活跃参数)。gpt-oss-20b 在 M3 Ultra 上实测 115 tok/s,接近理论极限。覆盖路由机制、负载均衡(Auxiliary Loss)、Token Dropping、Expert Parallelism 以及 transformers 库工程实现。
🤖 6. AgentIR-4B: Reasoning-Aware Retrieval for Deep Research Agents
| 来源: arXiv 2603.04384 · cs.CL | 论文链接 |
Deep Research Agent 的推理轨迹是被忽视的检索信号。提出联合嵌入推理轨迹+查询的新范式,以及 DR-Synth 合成训练数据方法。AgentIR-4B 在 BrowseComp-Plus 上达 68% 准确率(vs 传统模型 50%,BM25 37%),参数量仅对比方法一半。
🧪 7. Bielik-Q2-Sharp: Extreme 2-bit Quantization Benchmark
| 来源: arXiv 2603.04162 · cs.CL | 论文链接 |
首篇系统评测 2-bit 极端量化的学术研究,对比 QuIP#/SpinQuant+GPTQ/QTIP/VPTQ/AQLM 等六种方法。发现 MC-generation 解离现象:旋转方法保留 log-likelihood 但自回归生成灾难失败。QTIP 以 ~2.4 bpw 实现最佳 per-bit 效率。全程 $285 预算完成。
iWiki 版:📰 2026-03-06 · 每日技术速递
评论