📰 2026-07-18 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 量化与低比特推理、扩散语言模型、CPU/算子优化、强化学习后训练、OS内核与多Agent系统。
1. PolyQ:面向 CPU 高效执行的自适应混合精度 LLM 量化
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2607.14618 标签:量化 · 低比特 · CPU推理 · 混合精度 · LLM部署
CPU 是端侧 LLM 推理最通用的目标硬件,但现有低比特量化方法要么只能给出粗粒度的运行点,要么给出难以在 CPU 上高效执行的细粒度混合精度。本文提出 PolyQ,一种面向 CPU 的自适应混合精度量化框架,在保持精度的同时让混合精度权重能够在通用 CPU 上高效执行。
核心要点:
- 指出现有低比特量化在 CPU 上的核心矛盾:粗粒度精度损失大、细粒度混合精度难以高效执行
- 提出 PolyQ 框架,将混合精度决策与 CPU 可执行性联合优化,而非先量化再硬塞硬件
- 在端侧 CPU 上实现精度与推理效率的平衡,降低 LLM 在通用设备上的部署门槛
2. 扩散大语言模型推理效率:双向注意力下的 KV 缓存复用与并行解码
来源:arXiv cs.CL 链接:https://arxiv.org/abs/2607.14107 标签:扩散LLM · 推理加速 · KV缓存 · 并行解码 · 注意力
扩散大语言模型(dLLM)的推理效率受两大挑战制约:双向注意力使得 KV 缓存无法像自回归模型那样高效复用;而用固定置信度阈值提升解码并行度又会损害生成质量。本文针对这两点提出改进方案,在不牺牲质量的前提下提升扩散 LLM 的解码吞吐。
核心要点:
- 剖析扩散 LLM 推理瓶颈:双向注意力破坏自回归式 KV-cache 复用假设
- 指出静态置信度阈值并行解码与生成质量之间的权衡困境
- 提出兼顾质量与并行度的解码策略,提升 dLLM 实际推理吞吐
3. TTCD:基于 token 时间连续的扩散语言模型,确定性映射无需多步采样
来源:arXiv cs.CL 链接:https://arxiv.org/abs/2607.14106 标签:扩散语言模型 · 连续空间 · 确定性生成 · 免采样 · 推理加速
本文提出 token time continuous diffusion(TTCD),一种新的扩散语言模型:(a) 在连续空间中运行,将高斯噪声确定性地映射到最终 token 画布,无需进一步采样;(b) 具备关键的可控生成特性。该设计有望显著降低扩散 LM 的推理步数与时延。
核心要点:
- 在连续空间运行,从噪声到 token 为确定性映射,消除多步迭代采样开销
- 相比传统需逐步去噪的扩散 LM,推理路径更短、时延更低
- 为扩散式语言建模提供新的、可解释的生成范式
4. 极低比特 GEMM 在 CPU 上的高效执行:碎片化精度体制的覆盖
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2607.14622 标签:低比特GEMM · CPU推理 · 矩阵乘 · 量化 · 算子优化
低比特 GEMM 对高效 ML 推理日益关键,但极低比特执行对传统 CPU 并不友好。实际部署覆盖碎片化的精度体制——从 1/2/4-bit 权重量化到变化的激活精度——其可行性受限于 CPU 指令与数据排布。本文探讨如何在这些碎片化体制下实现可行的 CPU 端低比特矩阵乘。
核心要点:
- 指出极低比特 GEMM 在传统 CPU 上水土不服的根本原因
- 覆盖 1/2/4-bit 权重与可变激活精度的碎片化部署场景
- 为 CPU 端低比特矩阵乘的可行性与工程实现提供系统性分析
5. 面向可执行沙箱的 LLM Agent 强化学习:rollout 拓扑的重新审视
来源:arXiv cs.LG 链接:https://arxiv.org/abs/2607.14171 标签:强化学习 · LLM Agent · PPO · GRPO · 分布式训练
强化学习已成为训练与可执行沙箱交互的 LLM Agent 的主导范式。SOTA 算法如 PPO、RLOO、GRPO 的 rollout 拓扑继承自 RLHF:每个 prompt 生成多条轨迹再聚合回报。本文重新审视该 rollout 拓扑在 Agent 场景下的效率与瓶颈,并提出针对性改进。
核心要点:
- 梳理 PPO/RLOO/GRPO 等算法的 rollout 拓扑源自 RLHF 的假设
- 揭示该拓扑在可执行沙箱 Agent 训练中的效率瓶颈
- 面向大规模 LLM Agent 后训练,给出 rollout 调度与聚合的优化方向
6. 物理内存分配内核优化:消除 minor page fault 的流水线冲刷开销
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2607.14789 标签:OS内核 · 内存管理 · page fault · 缺页 · 系统优化
物理内存分配按需建立虚拟到物理的映射。在当前系统中,每次 minor page fault 都会陷入内核并触发流水线冲刷、停顿以及一长串分配步骤,可能消耗数万 cycles。本文提出内核侧优化,大幅削减缺页处理路径上的开销,对内存密集型负载(含 LLM 推理)意义重大。
核心要点:
- 量化 minor page fault 陷入内核的代价:流水线冲刷 + 数万 cycles 分配步骤
- 提出削减缺页处理路径开销的内核优化方案
- 对大页/高频映射场景(如 LLM 推理内存压力)有直接收益
7. 多 Agent LLM 系统中的语义压缩风险:跨语域转换导致的信息损失
来源:arXiv cs.CL 链接:https://arxiv.org/abs/2607.14119 标签:多Agent · 语义压缩 · 表征风险 · LLM系统 · 通信
多 Agent LLM 系统通常将复杂任务拆解为专用角色。但这种模块化引入了表征风险:当中间 Agent 跨越语言语域转换文本时,会系统性地压缩语义信息,导致下游推理质量下降。本文刻画该风险并探讨缓解路径。
核心要点:
- 揭示多 Agent 模块化带来的表征风险:跨语域转换系统性压缩语义
- 说明语义压缩如何悄然降低下游 Agent 的推理质量
- 为构建更鲁棒的多 Agent LLM 通信与中间表示提供警示与方向
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | PolyQ | arXiv cs.AR | 量化部署 |
| 2 | 扩散大语言模型推理效率 | arXiv cs.CL | 扩散LLM推理 |
| 3 | TTCD | arXiv cs.CL | 扩散语言模型 |
| 4 | 极低比特 GEMM 在 CPU 上的 | arXiv cs.AR | CPU算子 |
| 5 | 面向可执行沙箱的 LLM Agent | arXiv cs.LG | RL后训练 |
| 6 | 物理内存分配内核优化 | arXiv cs.AR | OS内核 |
| 7 | 多 Agent LLM 系统中的语义 | arXiv cs.CL | 多Agent系统 |
自动生成 · 2026-07-18 · jeffinchen daily tech reading list
评论