← Reading List
📰 技术速递

预训练语料 · 推理加速 · 机制可解释性 · 开放模型 · 可信智能体

Tech多源前沿

📰 2026-08-16 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 预训练数据课程 · 推理加速(投机解码)· 机制可解释性(SAE) · 开放模型训练 · 可验证代码生成 · 科学智能体。


1. LITTLECURRICULUM:面向可控知识追踪的 88B Token 预训练语料

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2608.13545
标签:预训练语料 · 课程学习 · 知识获取 · 可控评估 · LLM训练

现代语言模型在异构的网页级语料上训练,导致其知识与技能获取过程难以刻画。本文提出 LITTLECURRICULUM,一个精心整理的 88B-token 预训练语料,内容限定在美国小学五年级及以下教材,显式排除更高年级的概念、事实与词汇。在该语料上从零训练一个 5B 参数 LLM,可精确追踪模型随训练步数逐步习得的知识。

核心要点:

  • 构建 88B-token、按年级难度显式裁剪的受控预训练语料,隔离”先验暴露”变量
  • 从零训练 5B 模型(LITTLELEARNER),支持对知识/技能获取做细粒度因果分析
  • 为研究数据课程、遗忘与泛化提供了可复现的受控实验平台

2. 扩散草稿器 + 因果树校正:更低延迟的无损投机解码

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2608.13524
标签:投机解码 · 推理加速 · 扩散模型 · 自回归 · 无损加速

投机解码通过并行验证多个草稿 token 无损加速自回归语言模型。扩散草稿器进一步通过并行预测整块 token 降低提案延迟,但其位置级分布是边缘分布而非沿草稿路径的条件分布。本文在扩散树构建中引入因果信息校正,兼顾单链因果性与树状候选覆盖度,提升验证接受率。

核心要点:

  • 指出现有扩散草稿器的位置级分布缺乏沿路径的条件依赖,限制接受率
  • 提出融合因果校正与树状构造的草稿方法,平衡延迟与候选多样性
  • 在保持无损的前提下进一步降低自回归解码的端到端延迟

3. SAEVerbalizer:用 SAE 解码方向反推特征解释

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2608.13538
标签:稀疏自编码器 · 机制可解释性 · 特征解释 · 表示注入 · LLM

稀疏自编码器(SAE)用于从大模型表示中提取大量特征,但解释这些特征仍主要依赖外部行为观测,导致解释肤浅且收集证据成本高。本文提出 SAEVerbalizer,将 SAE 解码方向注入 LLM 表示并微调其下投影,让模型直接” verbalize “对应特征的自然语言语义,降低对大规模行为证据的依赖。

核心要点:

  • 突破 SAE 特征解释依赖外部行为观测的瓶颈,转向表示内生成式解释
  • 通过注入解码方向 + 微调下投影,让 LLM 自述特征语义
  • 提升特征解释效率,并改善大规模 SAE 特征的可解释性落地

4. Mimir v1:基于 HRM 架构的 10 亿参数开放许可模型

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2608.13517
标签:开放模型 · 层级推理模型 · 许可数据 · 从零训练 · 多语

当前大模型依赖海量、常为非许可数据集,抬高了开源与伦理数据研究者的门槛。本文发布 Mimir v1,一个基于层级推理模型(HRM)架构的 10 亿参数语言模型,完全使用许可数据从零训练,在英语上具高度竞争力,并在仅用许可后训练数据的情况下刷新丹麦语 SOTA。

核心要点:

  • 全程使用 permissible(许可)数据从零训练,降低开放研究的合规门槛
  • 采用 Hierarchical Reasoning Model(HRM)架构,1B 规模取得强竞争力
  • 在英语与丹麦语上验证,为小语种/合规场景提供可复现基线

5. 可验证代码生成:让智能体同时产出实现与机器检查证明

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2608.13522
标签:可验证生成 · 形式化证明 · 智能体 · 可信AI · 代码生成

AI 编程智能体日益普及,但无法保证生成代码的正确性。可验证代码生成要求智能体同时产出实现与其规格的机器检查证明,是通向可信 AI 软件更强的路径。现有基准或只评单函数、或只评”给定实现下的证明生成”,尚未回答智能体能否端到端完成”实现+证明”。

核心要点:

  • 界定可验证代码生成这一更强正确性保证范式(实现 + 机器检查证明)
  • 指出现有基准的局限:单函数或只评证明生成,缺乏端到端评估
  • 为可信 AI 生成软件提出开放问题与研究议程

6. 科学智能体如何接入完整证据:超越文本/标签的多模态推理

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2608.13558
标签:科学智能体 · 证据推理 · 多模态 · 工具调用 · 长程任务

基础模型已能自动化假设生成、代码执行到 Manuscript 准备的研究工作流,但仅覆盖工作流并不等于掌握科学发现依赖的全部证据。现有系统多在文本、代码、标签或预计算摘要上推理,使空间、时间、跨通道与过程性关系等”科学决定性证据”对智能体不可见。

核心要点:

  • 揭示现有 AI 科学家系统的证据盲区:空间/时间/跨通道/过程性关系缺失
  • 主张科学智能体需直接对接原始多模态证据而非仅摘要
  • 为长程、工具增强的科学发现智能体指明架构方向

📊 今日速览

# 标题摘要 来源 方向
1 LITTLECURRICULUM:88B Token 受控预训练语料 arXiv cs.LG 预训练数据
2 扩散草稿器因果树校正的无损投机解码 arXiv cs.LG 推理加速
3 SAEVerbalizer:SAE 特征自解释框架 arXiv cs.CL 机制可解释性
4 Mimir v1:HRM 架构 1B 许可数据开放模型 arXiv cs.CL 开放模型训练
5 可验证代码生成:实现 + 机器检查证明 arXiv cs.LG 可信智能体
6 科学智能体的多模态完整证据推理 arXiv cs.CL 科学智能体

自动生成 · 2026-08-16 · jeffinchen daily tech reading list

评论