← Reading List
📰 技术速递

每日技术速递:编译器 / 量化推理 / GPU 架构 / 硬件加速器 / PEFT / 内核安全

Tech多源前沿

📰 2026-07-24 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 编译器 / 量化推理 / GPU 架构 / 硬件加速器 / 参数高效微调 / 内核安全。


1. Helion 登陆 TPU:迈向跨硬件的异构 Kernel 编写

来源:PyTorch Blog
链接:https://pytorch.org/blog/helion-on-tpu-towards-hardware-heterogeneous-kernel-authoring/ 标签:Helion · 编译器 · TPU · Pallas · Kernel编写

Helion 是 PyTorch 推出的高层 DSL,用于编写性能可移植的机器学习 Kernel。团队与 Google 合作构建了 TPU 后端,将 Helion Kernel 编译为 Pallas,使同一份 Kernel 代码既能跑在 GPU 也能跑在 TPU 上。这标志着 PyTorch 生态在跨硬件异构编程上的关键一步,开发者不必再为每种加速器重写底层算子。

核心要点:

  • Helion 作为高层 DSL,屏蔽底层硬件差异,实现 Kernel 的性能可移植性
  • 新增 TPU 后端将 Helion Kernel 编译到 Google Pallas 中间层
  • 同一份 Kernel 源码可在 GPU/TPU 间复用,大幅降低多硬件适配成本

2. 把 Nunchaku 4-bit 扩散模型推理带入 Diffusers

来源:Hugging Face Blog
链接:https://huggingface.co/blog/nunchaku-diffusers 标签:量化 · 4-bit · 扩散模型 · 推理加速 · Diffusers

Nunchaku 是基于 SVDQuant 技术的 4-bit 扩散模型推理引擎,现已集成进 Hugging Face Diffusers。它通过低秩分解吸收量化误差,在将权重与激活压至 4-bit 的同时保持图像生成质量,显著降低显存占用并加速推理,让高分辨率扩散模型可在消费级 GPU 上流畅运行。

核心要点:

  • SVDQuant 用低秩分支吸收 4-bit 量化的离群值误差,兼顾精度与压缩率
  • 权重和激活同时量化到 4-bit,显存占用与访存带宽大幅下降
  • 原生集成 Diffusers,开发者可一行切换即享受量化推理加速

3. BaseRT:用 Apple M5 神经加速器打造顶级 LLM 推理

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.19438 标签:Apple M5 · LLM推理 · 矩阵单元 · 端侧加速 · GPU架构

Apple M5 世代引入了重新设计的 GPU 架构,每个核心都配备专用的神经加速器——片上矩阵单元。本文提出 BaseRT,充分利用这些暴露出来的矩阵单元来优化端侧 LLM 推理,在苹果芯片上实现同类最佳的推理吞吐与延迟表现。

核心要点:

  • M5 GPU 每核内置专用神经加速器(片上矩阵乘单元)
  • BaseRT 针对新矩阵单元重构推理算子调度,压榨硬件峰值算力
  • 面向端侧 LLM 场景,实现苹果平台上同类最佳的推理性能

4. DGNA:通过微基准剖析 GPU NUMA 架构

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.19922 标签:GPU · NUMA · 微基准 · 访存性能 · 数据分析

GPU 凭借强大并行能力已成为多领域基础设施,但其内部 NUMA(非统一内存访问)特性对性能影响巨大却缺乏系统刻画。DGNA 通过精心设计的微基准与数据分析,逐层揭示 GPU NUMA 架构的访存延迟、带宽与跨域拓扑,为高性能 Kernel 优化提供了可量化的底层依据。

核心要点:

  • 针对 GPU 内部 NUMA 拓扑设计系统化微基准测试套件
  • 量化跨内存域的访存延迟与带宽差异
  • 为分布式与大模型训练的访存优化提供实证指导

5. BRIM:负载均衡的双侧位串行稀疏推理加速器

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.19431 标签:位串行 · 稀疏推理 · DNN加速器 · 负载均衡 · 硬件设计

位串行加速器利用比特级稀疏性降低 DNN 推理成本,但现有设计仅在单个操作数上挖掘稀疏,导致收益受限。BRIM 提出双侧位串行架构,同时利用权重与激活两侧的比特稀疏,并通过工作负载均衡机制解决稀疏分布不均带来的效率损失,显著提升推理能效。

核心要点:

  • 双侧位串行:同时挖掘权重与激活的比特级稀疏性
  • 工作负载均衡机制缓解稀疏分布不均导致的空闲
  • 相较单侧方案在能效与吞吐上取得明显提升

6. LAARA:面向参数高效微调的层感知自适应秩分配

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.19391 标签:LoRA · 参数高效微调 · 自适应秩 · PEFT · 大模型

低秩适配(LoRA)被广泛用于参数高效微调,但现有方法通常给每个 Transformer 层分配相同的适配秩,忽视了不同层的重要性差异。LAARA 提出层感知的自适应秩分配策略,根据各层的实际需求动态调整 LoRA 秩,在相同参数预算下取得更优的微调效果。

核心要点:

  • 指出统一秩分配忽略了 Transformer 各层的重要性差异
  • 按层动态分配 LoRA 适配秩,把参数预算花在刀刃上
  • 在同等可训练参数量下提升微调质量

7. 隔离失效源自共享存储:页缓存侧信道泄漏的刻画与利用

来源:arXiv cs.OS
链接:https://arxiv.org/abs/2607.17518 标签:页缓存 · 侧信道 · 云隔离 · 内核安全 · SCA攻击

现代云平台在强软件隔离之上共享硬件资源以提升性能与利用率,但这种组合埋下隐患。本文系统刻画并利用了页缓存(page-cache)侧信道泄漏:即便存在软件隔离,共享存储层仍会因页缓存状态被跨租户观测而泄露信息,作者展示了具体的攻击利用路径并讨论缓解方向。

核心要点:

  • 揭示软件隔离与共享硬件组合下的页缓存侧信道风险
  • 页缓存状态可被跨租户观测,绕过软件层隔离边界
  • 给出可行的攻击利用路径并探讨内核层缓解思路

📊 今日速览

# 标题摘要 来源 方向
1 Helion 登陆 TPU:迈向跨硬件的 PyTorch Blog 编译器
2 把 Nunchaku 4-bit 扩散模 Hugging Face Blog 量化推理
3 BaseRT:用 Apple M5 神经 arXiv cs.AR 端侧推理
4 DGNA:通过微基准剖析 GPU NUM arXiv cs.AR GPU架构
5 BRIM:负载均衡的双侧位串行稀疏推理加 arXiv cs.AR 硬件加速
6 LAARA:面向参数高效微调的层感知自适 arXiv cs.LG PEFT微调
7 隔离失效源自共享存储:页缓存侧信道泄漏的 arXiv cs.OS 内核安全

自动生成 · 2026-07-24 · jeffinchen daily tech reading list

评论