📰 2026-08-16 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖 预训练数据课程 · 推理加速(投机解码)· 机制可解释性(SAE) · 开放模型训练 · 可验证代码生成 · 科学智能体。
1. LITTLECURRICULUM:面向可控知识追踪的 88B Token 预训练语料
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2608.13545
标签:预训练语料 · 课程学习 · 知识获取 · 可控评估 · LLM训练
现代语言模型在异构的网页级语料上训练,导致其知识与技能获取过程难以刻画。本文提出 LITTLECURRICULUM,一个精心整理的 88B-token 预训练语料,内容限定在美国小学五年级及以下教材,显式排除更高年级的概念、事实与词汇。在该语料上从零训练一个 5B 参数 LLM,可精确追踪模型随训练步数逐步习得的知识。
核心要点:
- 构建 88B-token、按年级难度显式裁剪的受控预训练语料,隔离”先验暴露”变量
- 从零训练 5B 模型(LITTLELEARNER),支持对知识/技能获取做细粒度因果分析
- 为研究数据课程、遗忘与泛化提供了可复现的受控实验平台
2. 扩散草稿器 + 因果树校正:更低延迟的无损投机解码
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2608.13524
标签:投机解码 · 推理加速 · 扩散模型 · 自回归 · 无损加速
投机解码通过并行验证多个草稿 token 无损加速自回归语言模型。扩散草稿器进一步通过并行预测整块 token 降低提案延迟,但其位置级分布是边缘分布而非沿草稿路径的条件分布。本文在扩散树构建中引入因果信息校正,兼顾单链因果性与树状候选覆盖度,提升验证接受率。
核心要点:
- 指出现有扩散草稿器的位置级分布缺乏沿路径的条件依赖,限制接受率
- 提出融合因果校正与树状构造的草稿方法,平衡延迟与候选多样性
- 在保持无损的前提下进一步降低自回归解码的端到端延迟
3. SAEVerbalizer:用 SAE 解码方向反推特征解释
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2608.13538
标签:稀疏自编码器 · 机制可解释性 · 特征解释 · 表示注入 · LLM
稀疏自编码器(SAE)用于从大模型表示中提取大量特征,但解释这些特征仍主要依赖外部行为观测,导致解释肤浅且收集证据成本高。本文提出 SAEVerbalizer,将 SAE 解码方向注入 LLM 表示并微调其下投影,让模型直接” verbalize “对应特征的自然语言语义,降低对大规模行为证据的依赖。
核心要点:
- 突破 SAE 特征解释依赖外部行为观测的瓶颈,转向表示内生成式解释
- 通过注入解码方向 + 微调下投影,让 LLM 自述特征语义
- 提升特征解释效率,并改善大规模 SAE 特征的可解释性落地
4. Mimir v1:基于 HRM 架构的 10 亿参数开放许可模型
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2608.13517
标签:开放模型 · 层级推理模型 · 许可数据 · 从零训练 · 多语
当前大模型依赖海量、常为非许可数据集,抬高了开源与伦理数据研究者的门槛。本文发布 Mimir v1,一个基于层级推理模型(HRM)架构的 10 亿参数语言模型,完全使用许可数据从零训练,在英语上具高度竞争力,并在仅用许可后训练数据的情况下刷新丹麦语 SOTA。
核心要点:
- 全程使用 permissible(许可)数据从零训练,降低开放研究的合规门槛
- 采用 Hierarchical Reasoning Model(HRM)架构,1B 规模取得强竞争力
- 在英语与丹麦语上验证,为小语种/合规场景提供可复现基线
5. 可验证代码生成:让智能体同时产出实现与机器检查证明
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2608.13522
标签:可验证生成 · 形式化证明 · 智能体 · 可信AI · 代码生成
AI 编程智能体日益普及,但无法保证生成代码的正确性。可验证代码生成要求智能体同时产出实现与其规格的机器检查证明,是通向可信 AI 软件更强的路径。现有基准或只评单函数、或只评”给定实现下的证明生成”,尚未回答智能体能否端到端完成”实现+证明”。
核心要点:
- 界定可验证代码生成这一更强正确性保证范式(实现 + 机器检查证明)
- 指出现有基准的局限:单函数或只评证明生成,缺乏端到端评估
- 为可信 AI 生成软件提出开放问题与研究议程
6. 科学智能体如何接入完整证据:超越文本/标签的多模态推理
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2608.13558
标签:科学智能体 · 证据推理 · 多模态 · 工具调用 · 长程任务
基础模型已能自动化假设生成、代码执行到 Manuscript 准备的研究工作流,但仅覆盖工作流并不等于掌握科学发现依赖的全部证据。现有系统多在文本、代码、标签或预计算摘要上推理,使空间、时间、跨通道与过程性关系等”科学决定性证据”对智能体不可见。
核心要点:
- 揭示现有 AI 科学家系统的证据盲区:空间/时间/跨通道/过程性关系缺失
- 主张科学智能体需直接对接原始多模态证据而非仅摘要
- 为长程、工具增强的科学发现智能体指明架构方向
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | LITTLECURRICULUM:88B Token 受控预训练语料 | arXiv cs.LG | 预训练数据 |
| 2 | 扩散草稿器因果树校正的无损投机解码 | arXiv cs.LG | 推理加速 |
| 3 | SAEVerbalizer:SAE 特征自解释框架 | arXiv cs.CL | 机制可解释性 |
| 4 | Mimir v1:HRM 架构 1B 许可数据开放模型 | arXiv cs.CL | 开放模型训练 |
| 5 | 可验证代码生成:实现 + 机器检查证明 | arXiv cs.LG | 可信智能体 |
| 6 | 科学智能体的多模态完整证据推理 | arXiv cs.CL | 科学智能体 |
自动生成 · 2026-08-16 · jeffinchen daily tech reading list
评论