← Reading List
📰 技术速递

MoE训练稳定性、优化器与推理安全前沿

Tech多源前沿

📰 2026-09-13 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大模型训练稳定性(MoE/优化器)、生成采样调度、Transformer 泛化分析、推理安全与幻觉检测。


1. 数据稀缺与模型稀疏性:专家混合模型对重复数据过拟合更严重

来源:arXiv/cs.LG 链接:https://arxiv.org/abs/2609.11917v1 标签:MoE · 数据重复 · 过拟合 · 训练稳定性 · 稀疏模型

随着人类撰写文本供给趋于枯竭,重复语言模型训练数据已成为标准做法。已有工作研究了稠密 Transformer 的数据重复效应,但对 Mixture-of-Experts (MoE) 这类稀疏架构在数据重复下的表现仍缺乏探索。本文在单域与多域数据混合、以及不同专家数量与粒度的 MoE 设置下变化数据重复率,在 80M 到 1B 激活参数(总参数 8.5B)的模型上一致发现:MoE 在数据重复下退化得更快,且这一效应随专家规模与稀疏度加剧。

核心要点:

  • 首次系统揭示 MoE 在训练数据重复下比稠密 Transformer 退化更快
  • 效应随专家数量/粒度(稀疏度)增大而加剧
  • 覆盖 80M–1B 激活参数(8.5B 总参数)规模,给出数据重复率实践警示

2. AdamX:让余弦相似度与梯度下降相遇

来源:arXiv/cs.LG 链接:https://arxiv.org/abs/2609.11867v1 标签:优化器 · AdamX · 梯度下降 · 训练加速 · 收敛性

本文提出 AdamX,一种将余弦相似度作为自适应机制来控制更新幅度的一阶优化器。该方法可扩展、与模型无关,且易于集成进现有训练流水线;同时引入方差校正方案,使训练早期优化更平滑。实验表明,在固定超参数预算下,AdamX 在多个基准数据集与架构上达到了有竞争力的收敛速度(以达预设性能阈值所需 epoch 数衡量)。

核心要点:

  • 以余弦相似度自适应控制更新幅度,模型无关且易集成
  • 引入方差校正使训练早期优化更平滑
  • 固定超参预算下达到与主流优化器竞争的收敛速度

3. 模型感知调度:用纤维最优传输提升生成质量

来源:arXiv/cs.LG 链接:https://arxiv.org/abs/2609.11842v1 标签:扩散模型 · 流匹配 · 采样调度 · 最优传输 · 生成质量

扩散与流匹配调度控制着沿仿射概率路径混合数据与噪声的信号/噪声系数。已有基于最优传输的动能作用最小化能解释强基线,但保持模型无关、忽略了预测误差。本文提出基于纤维最优传输(fiberwise optimal transport)的模型感知调度构建方法:在概率路径上固定时刻与状态处,兼容的信号/噪声分解构成一个仿射纤维,并定义纤维级预测风险以度量真实与预测诱导分解间的最优传输代价。

核心要点:

  • 将最优传输调度从模型无关推进到模型感知
  • 在概率路径的仿射纤维上定义纤维级预测风险
  • 有望改进扩散/流匹配采样的样本质量与效率

4. Transformer 的距离泛化:位置编码还有必要吗?

来源:arXiv/cs.CL 链接:https://arxiv.org/abs/2609.11913v1 标签:Transformer · 位置编码 · 泛化 · 距离泛化 · 架构分析

Transformer 的越界长度泛化(短上下文外推到长上下文)已被广泛研究,本文聚焦距离泛化——在保持固定上下文长度的前提下,改变训练与推理阶段 token 间距离时的表现。作者构造了两个合成延迟复制任务(全量复制与选择性复制),测试模型在训练未见过的延迟上的表现,并系统探讨了不同位置编码方案(如 RoPE、ALiBi 等)对距离泛化的影响。

核心要点:

  • 提出“距离泛化”视角,区别于常见的长度泛化
  • 用合成延迟复制任务评测训练未见的 token 距离
  • 系统比较 RoPE/ALiBi 等位置编码方案的影响

5. SpecGuard:近乎零开销的推理时后门检测

来源:arXiv/cs.CL 链接:https://arxiv.org/abs/2609.11799v1 标签:后门检测 · 推理安全 · 大模型安全 · 运行时监控 · 无额外开销

大模型常被第三方微调、共享或下载,部署模型可能携带暗藏后门:良性输入时行为正常,特定触发器出现时切换为攻击者控制行为。虽可在部署前审计,但对频繁更新的模型,运行时监控仍至关重要。难点在于 LLM 服务对延迟敏感——现有推理时检测器或依赖触发器形态假设(对隐蔽攻击失效),或需额外模型计算(输入扰动/辅助模型)。SpecGuard 旨在以近乎零额外开销实现推理时后门检测。

核心要点:

  • 面向频繁更新的第三方模型做运行时后门监控
  • 避免对触发器形态做强假设,抗隐蔽攻击
  • 在不显著增加推理延迟的前提下实现检测

6. 面向领域的大模型幻觉检测多信号管线

来源:arXiv/cs.LG 链接:https://arxiv.org/abs/2609.11878v1 标签:幻觉检测 · 不确定性量化 · 事实一致性 · DeBERTa · 可信生成

大模型会生成流畅但含不实声明的幻觉文本。本文提出多信号检测管线,结合微调 DeBERTa-v3 分类、蒙特卡洛 (MC) Dropout 不确定性量化与温度缩放校准,实现响应级幻觉检测。在 HaluEval 基准上,管线在通用域达到 F1=0.915、AUROC=0.977,分项 F1 为 QA 0.97、摘要 0.96、对话 0.82;MC Dropout 推理进一步将准确率提升至 93.2%。消融实验确认模型进行的是真实蕴含推理而非捷径利用。

核心要点:

  • 融合 DeBERTa-v3 分类 + MC Dropout + 温度缩放校准
  • HaluEval 上 F1=0.915 / AUROC=0.977,MC Dropout 提至 93.2%
  • 消融证明模型做真实蕴含推理而非捷径利用

7. RetroThinker:为语音大模型引入回顾性思考

来源:arXiv/cs.CL 链接:https://arxiv.org/abs/2609.11864v1 标签:语音大模型 · 推理加速 · 流式生成 · 思维链 · 低延迟

语音大模型 (SpeechLLM) 延迟更低且保留级联 ASR+文本 LM 架构丢失的副语言信息,但在复杂推理上仍落后于纯文本 LLM,而实时口语交互又有严格延迟约束。尽管已有工作用 Chain-of-Thought 与并发推理增强能力而不引入过高延迟,但精度—延迟权衡仍固有存在。本文探究流式 SpeechLLM 能否动态……(在推理中引入回顾性思考以提升复杂任务表现)。

核心要点:

  • 针对流式 SpeechLLM 的精度—延迟权衡提出改进
  • 在实时口语交互约束下增强复杂推理能力
  • 保留语音副语言信息的同时降低推理延迟

📊 今日速览

# 标题摘要 来源 方向
1 数据稀缺与模型稀疏性:专家混合模型对重复数据过拟合更严重 arXiv/cs.LG MoE · 数据重复
2 AdamX:让余弦相似度与梯度下降相遇 arXiv/cs.LG 优化器 · AdamX
3 模型感知调度:用纤维最优传输提升生成质量 arXiv/cs.LG 扩散模型 · 流匹配
4 Transformer 的距离泛化:位置编码还有必要吗? arXiv/cs.CL Transformer · 位置编码
5 SpecGuard:近乎零开销的推理时后门检测 arXiv/cs.CL 后门检测 · 推理安全
6 面向领域的大模型幻觉检测多信号管线 arXiv/cs.LG 幻觉检测 · 不确定性量化
7 RetroThinker:为语音大模型引入回顾性思考 arXiv/cs.CL 语音大模型 · 推理加速

自动生成 · 2026-09-13 · jeffinchen daily tech reading list

评论