← Reading List
📰 技术速递

LLM推理架构、量化加速与蒸馏优化前沿(2026-07-05)

Tech多源前沿

📰 2026-07-05 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 LLM推理硬件架构、混合精度量化、扩散模型加速、自蒸馏训练优化、模糊函数编译。


1. 3DLS:面向 LLM 推理分解架构的三维逻辑堆叠设计

来源:arXiv:cs.AR
链接:http://arxiv.org/abs/2607.01617v1 标签:LLM推理 · KV-Cache · 3D芯片架构 · Prefill-Decode分离 · 张量并行

大型语言模型推理中,Prefill-Decode(PD)分离与张量并行(TP)协同使用已成主流,但在传统2D/2.5D芯片架构中,KV-cache传输与TP集合通信竞争同一互联带宽,形成解码路径瓶颈。本文提出3DLS三维逻辑堆叠架构,将垂直die-to-die互联用于KV-cache传输,水平互联专用于TP通信,实现带宽隔离。

核心要点:

  • 提出三维逻辑堆叠架构,垂直通道专用于PD分离时的KV-cache传输,消除与TP通信的带宽竞争
  • 垂直D2D带宽为水平D2D的3-5倍,有效缓解解码端关键路径延迟
  • 在大模型长上下文场景下,吞吐量与延迟均优于传统2.5D芯片方案

2. MxGLUT:面向混合精度 GEMM 的可重构 LUT 中心广播数据流加速器

来源:arXiv:cs.AR
链接:http://arxiv.org/abs/2607.01607v1 标签:LLM推理加速 · 混合精度量化 · GEMM · LUT加速器 · FP8-INT4

LLM推理在weight-only量化场景下(激活保持FP8、权重压缩至低比特整数),现有LUT加速器仍需为attention操作保留独立FP数据通路,导致硬件资源浪费。MxGLUT提出以LUT为核心的可重构广播数据流,统一覆盖FP8-INT4及全FP8的GEMM计算,消除独立FP数据通路。

核心要点:

  • LUT中心的广播数据流统一处理FP8-INT4与FP8-FP8两种精度组合,一套硬件兼顾prefill与decode
  • 消除了现有架构中为attention GEMM单独保留FP数据通路的冗余,面积利用率显著提升
  • 在典型LLM推理workload上较基线加速器实现更高能效,尤其对长序列解码阶段效果明显

3. OrbitQuant:针对图像与视频扩散 Transformer 的无数据量化方法

来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.02461v1 标签:扩散模型量化 · PTQ · DiT · 无校准数据 · 推理加速

扩散Transformer(DiT)在图像和视频生成上达到SOTA,但多步采样与参数规模使推理代价高昂。现有PTQ方法因激活值随timestep、prompt和guidance分支剧烈偏移,需为每个新checkpoint重新拟合校准数据。OrbitQuant引入轨道量化范式,通过追踪激活分布的轨道统计量,实现无需校准数据的量化。

核心要点:

  • 发现DiT激活沿特定轨道分布漂移,设计轨道统计量捕获跨timestep的激活分布变化
  • 无需任何校准数据即可完成PTQ,彻底消除了切换checkpoint时的重校准开销
  • 在图像生成(ImageNet)和视频生成基准上,量化质量与基于校准数据的方法相当甚至更优

4. Neuron-Aware 数据选择:无标注 LLM 自蒸馏

来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.02460v1 标签:LLM自蒸馏 · 无标注训练 · 数据选择 · 神经元激活 · Post-Training

在无真实反馈或人工标注的情况下对LLM进行post-training极具挑战性,尤其在专业领域注释成本高昂。现有无标注自进化方法将模型自身输出作为监督信号,但数据选择策略粗糙,存在大量冗余。本文提出神经元感知数据选择(Neuron-Aware Data Selection),利用中间层神经元激活模式识别信息量更高的训练样本。

核心要点:

  • 通过分析LLM中间层神经元激活差异,量化每个样本对模型参数更新的实际贡献度
  • 高效筛选出能触发稀疏但多样神经元激活的样本,避免低多样性数据的重复训练
  • 在多个专业领域基准上,相同数据量下自蒸馏效果优于随机选择基线,且无需任何人工标注

5. DemoPSD:不一致性调制的策略自蒸馏

来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.02502v1 标签:LLM推理训练 · 自蒸馏 · On-Policy · 过拟合防御 · 策略优化

On-policy自蒸馏(OPSD)已成为训练LLM推理能力的实用方法,使用单一模型同时充当teacher与student。然而研究发现,teacher基于特权信息的密集token级监督会导致域内模式过拟合。DemoPSD提出通过teacher与student之间的预测不一致性来调制监督信号强度,在高置信一致区域降低监督权重,在分歧区域加强学习。

核心要点:

  • 识别出OPSD中teacher密集监督导致过拟合的根本原因:对特权信息的过度依赖
  • 设计不一致性调制机制,用teacher-student预测分歧度动态调整token级监督强度
  • 在多个推理基准(数学、代码、逻辑)上显著提升泛化能力,过拟合问题得到有效抑制

6. 程序即权重:模糊函数的编程新范式

来源:arXiv:cs.CL
链接:http://arxiv.org/abs/2607.02512v1 标签:LLM编译 · 函数蒸馏 · 模糊函数 · 本地化推理 · 成本优化

大量日常编程任务(日志重要性判断、JSON修复、搜索结果排序)难以用规则实现,正越来越多地通过LLM API解决,但带来了延迟、可复现性和成本问题。本文提出「模糊函数编程」范式:将自然语言规格说明编译为小型本地神经网络权重,实现离线部署与确定性执行。

核心要点:

  • 将LLM API调用的功能「编译」为轻量级本地神经网络,消除推理时的网络依赖和不确定性
  • 通过大模型生成训练数据、小模型蒸馏学习,最终得到可本地执行的「程序权重」
  • 在成本、延迟和可复现性上大幅优于直接调用LLM API,适合高频率、对确定性要求高的生产场景

📊 今日速览

# 标题摘要 来源 方向
1 3DLS:面向 LLM 推理分解架构的三维逻辑堆叠… arXiv:cs.AR LLM推理架构
2 MxGLUT:面向混合精度 GEMM 的可重构 L… arXiv:cs.AR 混合精度加速
3 OrbitQuant:针对图像与视频扩散 Tran… arXiv:cs.LG 扩散模型量化
4 Neuron-Aware 数据选择:无标注 LLM… arXiv:cs.LG LLM自蒸馏
5 DemoPSD:不一致性调制的策略自蒸馏… arXiv:cs.LG 推理策略优化
6 程序即权重:模糊函数的编程新范式… arXiv:cs.CL 模糊函数编译

自动生成 · 2026-07-05 · jeffinchen daily tech reading list

评论