📰 2026-07-05 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖 LLM推理硬件架构、混合精度量化、扩散模型加速、自蒸馏训练优化、模糊函数编译。
1. 3DLS:面向 LLM 推理分解架构的三维逻辑堆叠设计
来源:arXiv:cs.AR
链接:http://arxiv.org/abs/2607.01617v1
标签:LLM推理 · KV-Cache · 3D芯片架构 · Prefill-Decode分离 · 张量并行
大型语言模型推理中,Prefill-Decode(PD)分离与张量并行(TP)协同使用已成主流,但在传统2D/2.5D芯片架构中,KV-cache传输与TP集合通信竞争同一互联带宽,形成解码路径瓶颈。本文提出3DLS三维逻辑堆叠架构,将垂直die-to-die互联用于KV-cache传输,水平互联专用于TP通信,实现带宽隔离。
核心要点:
- 提出三维逻辑堆叠架构,垂直通道专用于PD分离时的KV-cache传输,消除与TP通信的带宽竞争
- 垂直D2D带宽为水平D2D的3-5倍,有效缓解解码端关键路径延迟
- 在大模型长上下文场景下,吞吐量与延迟均优于传统2.5D芯片方案
2. MxGLUT:面向混合精度 GEMM 的可重构 LUT 中心广播数据流加速器
来源:arXiv:cs.AR
链接:http://arxiv.org/abs/2607.01607v1
标签:LLM推理加速 · 混合精度量化 · GEMM · LUT加速器 · FP8-INT4
LLM推理在weight-only量化场景下(激活保持FP8、权重压缩至低比特整数),现有LUT加速器仍需为attention操作保留独立FP数据通路,导致硬件资源浪费。MxGLUT提出以LUT为核心的可重构广播数据流,统一覆盖FP8-INT4及全FP8的GEMM计算,消除独立FP数据通路。
核心要点:
- LUT中心的广播数据流统一处理FP8-INT4与FP8-FP8两种精度组合,一套硬件兼顾prefill与decode
- 消除了现有架构中为attention GEMM单独保留FP数据通路的冗余,面积利用率显著提升
- 在典型LLM推理workload上较基线加速器实现更高能效,尤其对长序列解码阶段效果明显
3. OrbitQuant:针对图像与视频扩散 Transformer 的无数据量化方法
来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.02461v1
标签:扩散模型量化 · PTQ · DiT · 无校准数据 · 推理加速
扩散Transformer(DiT)在图像和视频生成上达到SOTA,但多步采样与参数规模使推理代价高昂。现有PTQ方法因激活值随timestep、prompt和guidance分支剧烈偏移,需为每个新checkpoint重新拟合校准数据。OrbitQuant引入轨道量化范式,通过追踪激活分布的轨道统计量,实现无需校准数据的量化。
核心要点:
- 发现DiT激活沿特定轨道分布漂移,设计轨道统计量捕获跨timestep的激活分布变化
- 无需任何校准数据即可完成PTQ,彻底消除了切换checkpoint时的重校准开销
- 在图像生成(ImageNet)和视频生成基准上,量化质量与基于校准数据的方法相当甚至更优
4. Neuron-Aware 数据选择:无标注 LLM 自蒸馏
来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.02460v1
标签:LLM自蒸馏 · 无标注训练 · 数据选择 · 神经元激活 · Post-Training
在无真实反馈或人工标注的情况下对LLM进行post-training极具挑战性,尤其在专业领域注释成本高昂。现有无标注自进化方法将模型自身输出作为监督信号,但数据选择策略粗糙,存在大量冗余。本文提出神经元感知数据选择(Neuron-Aware Data Selection),利用中间层神经元激活模式识别信息量更高的训练样本。
核心要点:
- 通过分析LLM中间层神经元激活差异,量化每个样本对模型参数更新的实际贡献度
- 高效筛选出能触发稀疏但多样神经元激活的样本,避免低多样性数据的重复训练
- 在多个专业领域基准上,相同数据量下自蒸馏效果优于随机选择基线,且无需任何人工标注
5. DemoPSD:不一致性调制的策略自蒸馏
来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.02502v1
标签:LLM推理训练 · 自蒸馏 · On-Policy · 过拟合防御 · 策略优化
On-policy自蒸馏(OPSD)已成为训练LLM推理能力的实用方法,使用单一模型同时充当teacher与student。然而研究发现,teacher基于特权信息的密集token级监督会导致域内模式过拟合。DemoPSD提出通过teacher与student之间的预测不一致性来调制监督信号强度,在高置信一致区域降低监督权重,在分歧区域加强学习。
核心要点:
- 识别出OPSD中teacher密集监督导致过拟合的根本原因:对特权信息的过度依赖
- 设计不一致性调制机制,用teacher-student预测分歧度动态调整token级监督强度
- 在多个推理基准(数学、代码、逻辑)上显著提升泛化能力,过拟合问题得到有效抑制
6. 程序即权重:模糊函数的编程新范式
来源:arXiv:cs.CL
链接:http://arxiv.org/abs/2607.02512v1
标签:LLM编译 · 函数蒸馏 · 模糊函数 · 本地化推理 · 成本优化
大量日常编程任务(日志重要性判断、JSON修复、搜索结果排序)难以用规则实现,正越来越多地通过LLM API解决,但带来了延迟、可复现性和成本问题。本文提出「模糊函数编程」范式:将自然语言规格说明编译为小型本地神经网络权重,实现离线部署与确定性执行。
核心要点:
- 将LLM API调用的功能「编译」为轻量级本地神经网络,消除推理时的网络依赖和不确定性
- 通过大模型生成训练数据、小模型蒸馏学习,最终得到可本地执行的「程序权重」
- 在成本、延迟和可复现性上大幅优于直接调用LLM API,适合高频率、对确定性要求高的生产场景
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | 3DLS:面向 LLM 推理分解架构的三维逻辑堆叠… | arXiv:cs.AR | LLM推理架构 |
| 2 | MxGLUT:面向混合精度 GEMM 的可重构 L… | arXiv:cs.AR | 混合精度加速 |
| 3 | OrbitQuant:针对图像与视频扩散 Tran… | arXiv:cs.LG | 扩散模型量化 |
| 4 | Neuron-Aware 数据选择:无标注 LLM… | arXiv:cs.LG | LLM自蒸馏 |
| 5 | DemoPSD:不一致性调制的策略自蒸馏… | arXiv:cs.LG | 推理策略优化 |
| 6 | 程序即权重:模糊函数的编程新范式… | arXiv:cs.CL | 模糊函数编译 |
自动生成 · 2026-07-05 · jeffinchen daily tech reading list
评论