← Reading List
📰 技术速递

技术速递 2026-03-06:量化压缩 × 对抗安全 × 推理检索 × MoE 架构

TecharXiv量化安全对齐MoE推理检索

今日覆盖:LLM 量化理论 × 多模态对抗安全训练 × MoE 稀疏架构 × Agentic 检索范式。来自 arXiv cs.LG/cs.CL + HuggingFace Research Blog,7 篇精选,涵盖算法/框架/系统三个层次。


🧮 1. Dissecting Quantization Error: A Concentration-Alignment Perspective

来源: arXiv 2603.04359 · cs.LG 论文链接

通过 SQNR 分解,将 PTQ 误差拆解为集中度(Concentration)和对齐度(Alignment)两个独立维度。现有旋转变换方法(如 Hadamard)仅优化集中度,本文证明两者同等重要。提出轻量 CAT(Concentration-Alignment Transforms),在 4-bit 精度下持续超越 SOTA。

关键价值: 为量化误差提供数学上清晰的理论框架,CAT 可插拔,生产部署友好。


🔬 2. Activation Outliers in Transformer Quantization

来源: arXiv 2603.04308 · cs.LG 论文链接

深度复现 Bondarenko et al.(EMNLP 2021)。BERT-base W8A8 量化后准确率从 89.66% 骤降至 54.33%。发现最终层 kurtosis 达 271,Top 1% 激活通道占 55% 能量。Percentile clipping 完全失效,Mixed Precision PTQ 有效恢复至 89.42%。RTX 3050 实测各方案延迟几乎相同(~59ms),说明 PTQ 失败根源是结构化通道主导。


🛡️ 3. DMAST: Dual-Modality Multi-Stage Adversarial Safety Training

来源: arXiv 2603.04364 · cs.LG/cs.AI 论文链接

多模态 Web Agent 的新型攻击面:DOM 注入同时污染截图与 Accessibility Tree 两个观察通道。提出三阶段训练框架:模仿学习 → Oracle-SFT(zero-acknowledgment 策略)→ GRPO 自我对弈对抗 RL。分布外任务上同时降低对抗风险、任务效率提升一倍。


🎯 4. AAJR: Adversarially-Aligned Jacobian Regularization

来源: arXiv 2603.04378 · cs.LG/cs.CR 论文链接

多 Agent minimax 训练不稳定问题的理论解:仅沿对抗上升方向约束 Jacobian 灵敏度,而非全局约束。理论证明产生更大可容许策略类,逼近间隙更小,名义性能损耗更低。为 Agentic 鲁棒性提供结构性理论支撑。


🏗️ 5. MoE in Transformers: From Dense to Sparse Architecture

来源: HuggingFace Research Blog 博客链接

深度技术博客。MoE 核心命题:模型容量 = 21B,推理成本 ≈ 3.6B(活跃参数)。gpt-oss-20b 在 M3 Ultra 上实测 115 tok/s,接近理论极限。覆盖路由机制、负载均衡(Auxiliary Loss)、Token Dropping、Expert Parallelism 以及 transformers 库工程实现。


🤖 6. AgentIR-4B: Reasoning-Aware Retrieval for Deep Research Agents

来源: arXiv 2603.04384 · cs.CL 论文链接

Deep Research Agent 的推理轨迹是被忽视的检索信号。提出联合嵌入推理轨迹+查询的新范式,以及 DR-Synth 合成训练数据方法。AgentIR-4B 在 BrowseComp-Plus 上达 68% 准确率(vs 传统模型 50%,BM25 37%),参数量仅对比方法一半。


🧪 7. Bielik-Q2-Sharp: Extreme 2-bit Quantization Benchmark

来源: arXiv 2603.04162 · cs.CL 论文链接

首篇系统评测 2-bit 极端量化的学术研究,对比 QuIP#/SpinQuant+GPTQ/QTIP/VPTQ/AQLM 等六种方法。发现 MC-generation 解离现象:旋转方法保留 log-likelihood 但自回归生成灾难失败。QTIP 以 ~2.4 bpw 实现最佳 per-bit 效率。全程 $285 预算完成。


iWiki 版:📰 2026-03-06 · 每日技术速递

评论