📰 2026-07-26 · 每日技术速递
今日精选 5 篇深度技术文章,覆盖大模型架构与量化推理、物理 AI 仿真、机器人学习数据采集与生成式模型数据策略。
1. Inkling:Thinking Machines 推出 1T 参数开源多模态 MoE 模型
来源:Hugging Face
链接:https://huggingface.co/blog/thinkingmachines-inkling
标签:MoE · 多模态 · NVFP4 量化 · MTP · 1M上下文
Thinking Machines 开源 Inkling,这是首个约 1T 参数、支持 1M 上下文窗口、原生接受图像/文本/音频输入的开源多模态模型,基于 45 万亿 token 的文本、图像、音频与视频训练。它采用 decoder-only 的稀疏 MoE 架构,总参数 975B、激活参数 41B,含 256 个专家;不用 RoPE 而采用相对注意力在 attention logits 中直接编码位置信息。提供 BF16 与校准良好的 NVFP4 量化版本,并内置用于推理加速的推测 MTP 层,transformers/SGLang/vLLM/llama.cpp 均提供 day-0 支持。
核心要点:
- 975B 总参数 / 41B 激活参数的 decoder-only 多模态 MoE,256 个专家稀疏激活降低推理成本
- 以相对注意力替代 RoPE,新增第四组投影产生逐 token、逐 head 的相对特征 R
- 提供 BF16 与 NVFP4 量化双版本,MTP 推测层加速推理,主流推理引擎 day-0 适配
2. 物理 AI 仿真现状综述
来源:Hugging Face (NVIDIA)
链接:https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai
标签:物理AI · 仿真 · GPU并行 · 强化学习 · 机器人
文章指出构建物理 AI 系统的核心挑战是数据可用性:LLM/VLM 可以用互联网规模数据训练,但机器人需要学习与物理世界交互的后果,而真实世界采集慢、贵、风险高。仿真通过生成大量光写实、物理一致的数据来弥补这一缺口,借助 GPU 并行化可以以远低于真实采集的成本生成数千小时机器人经验。仿真已从“调试几何/可视化”升级为模型开发闭环的一部分,用于生成感知数据集、训练强化学习策略、收集演示与基准测试,并提出“三计算机”范式。
核心要点:
- 物理 AI 的核心瓶颈是数据,仿真提供光写实、物理一致的可扩展数据来源
- 借助 GPU 并行在仿真中遥控机器人,以小部分成本生成数千小时经验数据
- 仿真已深度融入模型开发闭环,提出训练/部署/仿真的“三计算机”范式
3. Grabette:开放式机器人操作数据采集系统
来源:Hugging Face
链接:https://huggingface.co/blog/grabette
标签:机器人学习 · VLA · 扩散策略 · 6-DoF · 开源数据集
Grabette 针对机器人学习的“数据供给难题”:已有强大的策略架构(transformer VLA、扩散与 flow-matching 策略、世界模型)和 GPU,但缺乏大规模、多样的真实操作数据。它受 Stanford UMI 启发,用手持夹爪 + 摄像头采集演示,通过恢复 6-DoF 轨述把人手动作转化为机器人可学习的数据集,无需机器人、实验室或遥操装置。目标是让采集演示像拍视频一样简单,从而共建一个开放、协作的大规模操作数据集。
核心要点:
- 机器人学习真正的瓶颈在数据而非模型,传统遥操采集成本高、难扩展
- 受 UMI 启发,手持夹爪 + 摄像头恢复 6-DoF 轨述,无需机器人即可采数据
- 推动开放协作的共享数据集,降低机器人数据采集门槛
4. PRX 系列四:图像生成模型的数据策略
来源:Hugging Face (Photoroom)
链接:https://huggingface.co/blog/Photoroom/prx-part4-data
标签:数据管线 · VLM重标注 · 预训练 · 流式语料 · 生成式模型
PRX 系列第四篇拆解支撑整个图像生成模型质量的数据管线:从公开与内部数据集混合取数据,用 VLM 重新生成图像 caption,再转为可流式读取的语料。文章强调预训练阶段重在覆盖面与多样性而非单图完美:过度按美学过滤会收窄分布、损失模型无法后期找回的概念与组合多样性;“预训练重广度,微调重品味”,抛光留给小而严选的微调与偏好对齐集。
核心要点:
- 数据管线:公开 + 内部数据混合 → VLM 重标注 → 可流式训练语料
- 预训练阶段优先覆盖与多样性,避免过度美学过滤导致分布收窄
- “预训练重广度、微调重品味”,质感提升交给小型严选集
5. Real World VoiceEQ:评测语音 AI 的人性化质量
来源:Hugging Face (Hume AI)
链接:https://huggingface.co/blog/real-world-voiceeq
标签:语音AI · 基准测试 · ASR · TTS · S2S
现有基准显示语音 AI 接近人类水平,但真实对话却并非如此:模型会在对话中变换“声线”、错过犹豫与不确定性、处理口音/噪声/情绪化语音欠佳,而这些在仅关注延迟与词错率的基准中很难被发现。Hume AI 推出 Real World VoiceEQ,跨 40+ 个主流闭源与开源语音模型、覆盖 15+ 个评测维度与 60+ 项指标(ASR/TTS/S2S/语音理解),基于超过 100 万条人工评分构建,衡量语音交互的人性化质量。
核心要点:
- 现有基准偏重延迟/词错率,忽略了情绪、声线一致性等真实体验维度
- 覆盖 40+ 模型、5+ 维度、 60+ 指标,跨 ASR/TTS/S2S/语音理解
- 基于 100 万+ 条人工评分,评测语音系统的自然度与可靠性
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | Inkling 1T 开源多模态 MoE | Hugging Face | 模型架构/量化 |
| 2 | 物理 AI 仿真现状综述 | HF/NVIDIA | 仿真/强化学习 |
| 3 | Grabette 机器人数据采集 | Hugging Face | 机器人学习 |
| 4 | PRX 图像模型数据策略 | HF/Photoroom | 数据管线 |
| 5 | Real World VoiceEQ 语音基准 | HF/Hume AI | 语音评测 |
自动生成 · 2026-07-26 · jeffinchen daily tech reading list
评论