← Reading List
📰 技术速递

LLM 压缩与架构、硬件加速与 OS 调度

Tech多源前沿

📰 2026-07-23 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大语言模型压缩与架构、FPGA/CNN 与后量子密码硬件加速、OS 调度、推理微调机制 等方向。


1. 复合稀疏前沿:结合参数剪枝与动态计算的 LLM 压缩

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2607.18280 标签:LLM压缩 · 复合稀疏 · 低秩近似 · 通道剪枝 · 推理加速

大语言模型常通过静态参数剪枝或动态 token 级计算进行压缩,但激进稀疏化会在某个临界边界后引发性能骤降。本文提出一种极简的复合稀疏框架:先用低秩近似与通道剪枝得到静态压缩骨干,再引入轻量级路由机制进行动态计算,将压缩负担在两个维度上分摊,从而推迟性能崩溃点。实验表明,复合稀疏相比单一维度压缩能在更高稀疏率下保持精度。

核心要点:

  • 将静态参数剪枝与动态 token 级计算两种机制结合,分摊压缩负担
  • 先用低秩近似+通道剪枝得到压缩骨干,再叠加轻量路由动态计算
  • 相比单一维度压缩,能在更高整体稀疏率下延缓性能崩溃

2. SparHiXcel-v2:支持列压缩的灵活稀疏感知 FPGA CNN 加速器

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2607.19248 标签:FPGA · CNN加速 · 稀疏感知 · 列压缩 · 硬件映射

在资源受限平台上高效加速 CNN 仍受困于稀疏模式的不规则性及硬件开销。非结构化稀疏精度高但硬件映射低效,结构化稀疏易执行却灵活性差。本文提出 SparHiXcel-v2,一种高可配置的 FPGA CNN 加速器,通过列压缩在稀疏灵活性与硬件效率之间取得更好平衡,兼顾非结构化稀疏的精度优势与结构化执行的简洁性。

核心要点:

  • 针对非结构化/结构化稀疏各自的硬件代价提出折中方案
  • 基于 FPGA 的高可配置设计,支持列级压缩以平衡灵活性与效率
  • 在资源受限平台实现更优的精度-效率权衡

3. PIP-NTT:面向格基后量子密码的可扩展存内并行 NTT 加速器

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2607.18533 标签:后量子密码 · NTT · 内存并行 · 硬件加速 · 格密码

迭代正/逆数论变换(NTT)是格基后量子密码的核心组件,传统实现依赖乒乓内存与大块与分圆环绑定的存储,效率受限。本文提出 PIP-NTT,采用内存并行化策略:用四个较小的 n/4 尺寸内存替代大块存储,在保持总体内存占用的同时提升访存并行度,从而构建可扩展的迭代 NTT 加速器。

核心要点:

  • 指出传统乒乓内存+大块存储方案对 NTT 效率的瓶颈
  • 用四个 n/4 小型内存实现内存并行化,保持总 footprint 不变
  • 面向格基 PQC 提供可扩展的迭代 NTT 加速结构

4. SuperPass:在移动设备上快速放行阻塞线程以缓解优先级反转

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2607.18097 标签:操作系统 · 优先级反转 · Android · 调度 · 延迟优化

优先级反转指高优先级线程被低优先级线程阻塞。尽管实时系统中已有深入研究,但通用 OS(如 Android)中的影响长期被忽视。本文在 Android 上实测发现优先级反转频繁发生,前台应用 UI 线程常被低优先级线程阻塞达 210ms,足以造成掉帧。作者提出 SuperPass 方案,针对通用 OS 场景快速放行阻塞线程,降低延迟敏感线程的等待时间。

核心要点:

  • 揭示 Android 通用 OS 中频繁且被忽视的优先级反转现象
  • 实测 UI 线程被阻塞可达 210ms,直接导致掉帧与体验下降
  • 提出 SuperPass 在通用 OS 场景下快速放行阻塞线程以缓解反转

5. 为大型语言模型引入卷积:轻量深度卷积补充局部归纳偏置

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2607.18413 标签:LLM · 卷积 · Transformer · 局部偏置 · Qwen3

LLM 主要依赖 Transformer,其中自注意力提供全局 token 交互,但未显式编码自然语言的局部性。本文研究轻量深度卷积能否在不显著增加参数量的前提下补充局部归纳偏置。宏级消融实验在 Qwen3 Transformer block 的 17 个位置对比卷积,发现作用于注意力前的投影 Q/K/V 时效果最佳;微级研究进一步剖析其机制。

核心要点:

  • 自注意力缺乏显式局部性编码,深度卷积可低成本补充该偏置
  • 在 Qwen3 block 的 17 个位置做宏级消融,定位最优插入点
  • 将卷积置于投影 Q/K/V 之前时收益最大

6. 推理微调诱导持久隐状态策略:用切换动力系统解析 CoT

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2607.18532 标签:推理微调 · 思维链 · 动力系统 · 隐状态 · 可解释性

推理专用 LLM 相比基座模型在多步推理上增益显著,但内部究竟发生了什么改变仍不清晰。本文将思维链推理建模为切换动力系统(SDS),内部表征在离散隐策略状态间演化,结合时间感知对比分析揭示:推理微调并非仅提升局部 token 级能力,而是全局重组了模型随时间组织推理的结构,并诱导出持久化的隐状态策略。

核心要点:

  • 将 CoT 推理形式化为切换动力系统,内部表征在离散隐状态间演化
  • 推理微调是全局重组推理结构,而非仅提升局部 token 能力
  • 发现微调诱导出持久化的隐策略状态,为推理可解释性提供新视角

7. 带可见性控制的高效流水线高层综合(HLS)

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2607.18765 标签:高层综合 · HLS · 流水线 · RTL · PPA优化

高层综合(HLS)将硬件设计抽象从 RTL 提升到顺序程序。在各类并行形式中,流水化需要对流水线结构与冒险处理做细粒度控制才能达到有竞争力的 PPA。现有工具要么缺少此类控制,要么以牺牲顺序语义为代价。本文提出一种 HLS 工具,将细粒度流水线控制嵌入顺序编程模型,在保持顺序语义的同时实现激进的流水线优化。

核心要点:

  • HLS 流水化需要细粒度控制才能达成有竞争力的 PPA
  • 现有工具在控制力与顺序语义保真之间二选一,存在缺口
  • 提出的 HLS 工具将流水线控制嵌入顺序模型,兼顾两者

📊 今日速览

# 标题摘要 来源 方向
1 复合稀疏前沿:结合参数剪枝与动态计算的 LLM 压缩 arXiv cs.LG LLM压缩
2 SparHiXcel-v2:支持列压缩的灵活稀疏感知 FPGA CNN 加速器 arXiv cs.AR 硬件加速
3 PIP-NTT:面向格基后量子密码的可扩展存内并行 NTT 加速器 arXiv cs.AR 硬件加速
4 SuperPass:在移动设备上快速放行阻塞线程以缓解优先级反转 arXiv cs.OS OS调度
5 为大型语言模型引入卷积:轻量深度卷积补充局部归纳偏置 arXiv cs.CL LLM架构
6 推理微调诱导持久隐状态策略:用切换动力系统解析 CoT arXiv cs.CL 推理机制
7 带可见性控制的高效流水线高层综合(HLS) arXiv cs.AR 硬件综合

自动生成 · 2026-07-23 · jeffinchen daily tech reading list

评论