← Reading List
📰 技术速递

低精度格式、量化税、投机解码运行时与内核融合

Tech多源前沿

📰 2026-08-13 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 低精度数据格式与量化、投机解码运行时、内核融合与算子优化、高性能推理后端。


1. CurveFP:面向大语言模型的有理基数对数数据类型与闭合乘积

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.10010 标签:低精度训练 · 数据格式 · GEMM · 量化 · 推理

CurveFP 提出一种块缩放(block-scaled)的低精度数值家族,将数值量级分布到交错的对数曲线上。其统一曲线索引使每个非零乘积都能表示为精确的「符号+整数索引」更新,有理基数则暴露出累加所需的有限相位调度。作者实例化出用于训练的 CurveFP8 E4C3/E5C2 与用于紧凑推理的 CurveFP7 E3C3。在四个 7B–9B 模型上,CurveFP7 用少一个元素位就超越了 tensorwise FP8 的困惑度,且仅落后原生精度 1.32% 以内;CurveFP8 在 36 组训练 GEMM 对比中全部降低误差。

核心要点:

  • 用「曲线索引 + 有理基数」重构低精度乘法,使乘积成为精确的整数索引更新而非近似浮点乘加。
  • 提出 CurveFP8(训练)与 CurveFP7(推理)两套实例化格式,兼顾精度与位宽。
  • 在 7B–9B 规模与 3B-token 预训练三元组上,误差全面低于 FP8,且位宽更省。

2. 多语言量化税:边缘小语言模型中的结构崩塌与类型学脆弱性

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2608.09941 标签:4-bit量化 · 边缘部署 · 多语言 · SLM · 精度损失

4-bit 权重量化对边缘侧小语言模型(SLM)部署至关重要,但现有量化税评估几乎全部以英语为中心。本文对 Gemma 4 与 Qwen 3.5 架构进行零样本多语言 4-bit 量化评测,覆盖八种类型学差异显著的语言(MMLU ProX Lite 与 GlobalPIQA)。研究发现参数截断会暴露深层预训练不平等,并识别出四类现象:类型学脆弱性导致低资源非拉丁文字表征崩塌、母语脆弱性悖论、领域特异性遗忘,以及跨语言路由失效。

核心要点:

  • 首次对 4-bit 量化做零样本多语言评测,揭示英语中心评估掩盖的严重精度损失。
  • 发现低资源/非拉丁文字在量化后出现「表征崩塌」,甚至无法生成有效任务 logits。
  • 指出预训练数据不平等会被量化放大,为多语言边缘 SLM 部署敲响警钟。

3. MemSpec:面向边缘设备自适应草稿调度的内存感知推理运行时

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2608.10362 标签:投机解码 · 边缘推理 · 内存调度 · 草稿模型 · 运行时

投机解码用轻量草稿模型并行推测多个 token 以加速 LLM 自回归生成,其效果高度依赖草稿选择。但在内存受限的边缘设备上,自适应切换草稿模型常因切换开销而无法提升端到端吞吐。MemSpec 指出核心矛盾在于「草稿选择」与「紧内存预算下草稿可用性」的错配,并提出一个预测引导、内存感知的运行时:通过主动式常驻工作集管理,将草稿选择与实际执行解耦。

核心要点:

  • 定位边缘投机解码瓶颈:草稿模型切换开销 > 投机收益,导致吞吐不升反降。
  • 将草稿选择与实际执行解耦,以预测引导的常驻工作集管理缓解内存压力。
  • 面向内存受限设备设计,让自适应投机解码真正落地到边缘场景。

4. 迈向「免费」归一化:将归一化融合进 GEMM 与注意力内核

来源:PyTorch Blog 链接:https://pytorch.org/blog/towards-free-normalization-fusing-normalization-into-gemm-and-attention-kernels/ 标签:内核融合 · LayerNorm · RMSNorm · 性能优化 · GEMM

本文系统介绍针对 LayerNorm/RMSNorm 等归一化算子的多种新颖内核融合技术,通过降低这类高度内存受限内核的访存 IO 开销来获得显著加速。文章先概述归一化在 LLM 与广告推荐模型中的建模重要性与性能挑战,再提出 Lazy Pre-Norm、Multi-CTA Norm Fusion 等策略,可将归一化内核最高 90% 的延迟隐藏进 GEMM。最后给出 FlashNormAttention 算法,将归一化进一步融入注意力计算。

核心要点:

  • 提出 Lazy Pre-Norm 与 Multi-CTA Norm Fusion,将归一化延迟隐藏进 GEMM,最高掩盖 90%。
  • 针对 LLM 与广告推荐模型普遍存在的归一化内存瓶颈给出系统解法。
  • FlashNormAttention 进一步把归一化融合进注意力内核,减少独立 kernel 启动开销。

5. AdaptCore:昇腾 NPU 上面向动态形状的自适应矩阵乘法

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.10803 标签:MatMul · 动态形状 · 昇腾NPU · 算子优化 · 性能建模

高度动态的张量形状让矩阵乘法(MatMul)面临「泛化危机」,在显式受控架构与严格物理约束的昇腾 NPU 上尤为严峻,现有面向 GPU 的优化手段失效。本文提出 AdaptCore:将算子优化系统性解耦为空间分块与指令编排,先把动态形状映射到硬件感知的二维分块分类法以平衡片上容量与多核并行,再结合可组合优化库与确定性分析性能模型,通过对硬件状态变化的数学评估主动选择并缓存最优实现。

核心要点:

  • 将 MatMul 优化解耦为「空间分块 + 指令编排」两层,专门适配昇腾 NPU 的受控架构。
  • 用硬件感知二维分块分类法平衡片上容量限制与多核并行度。
  • 结合分析性能模型主动评估硬件状态变化,缓存最优实现以应付动态形状。

6. 原生级速度的 vLLM transformers 建模后端

来源:Hugging Face Blog 链接:https://huggingface.co/blog/native-speed-vllm-transformers-backend 标签:vLLM · 推理后端 · Transformers · 吞吐优化 · 开源

Hugging Face 推出新的 transformers 建模后端,使基于 transformers 模型定义的推理能够跑出接近 vLLM 原生后端的吞吐与延迟。该后端在保持 transformers 生态易用性与模型覆盖广度的同时,吸收 vLLM 式的高性能调度与内核路径,让用户在无需迁移到独立推理框架的情况下即可获得接近原生的推理速度,降低高性能 LLM 服务的使用门槛。

核心要点:

  • 让 transformers 模型定义直接获得接近 vLLM 原生的推理吞吐与延迟。
  • 兼容 transformers 的广泛模型覆盖与易用性,无需切换独立推理框架。
  • 吸收 vLLM 式高性能调度与内核路径,降低高性能 LLM 服务门槛。

📊 今日速览

# 标题摘要 来源 方向
1 CurveFP:面向大语言模型的有理基数对数数据类型与闭合乘积 arXiv cs.LG 低精度格式/量化
2 多语言量化税:边缘小语言模型中的结构崩塌与类型学脆弱性 arXiv cs.CL 多语言量化
3 MemSpec:面向边缘设备自适应草稿调度的内存感知推理运行时 arXiv cs.OS 投机解码运行时
4 迈向「免费」归一化:将归一化融合进 GEMM 与注意力内核 PyTorch Blog 内核融合
5 AdaptCore:昇腾 NPU 上面向动态形状的自适应矩阵乘法 arXiv cs.AR 算子优化(NPU)
6 原生级速度的 vLLM transformers 建模后端 Hugging Face Blog 推理后端

自动生成 · 2026-08-13 · jeffinchen daily tech reading list

评论