← Reading List
📰 技术速递

DeepSeek-V4 MoE · CAP剪枝 · Prefill节能 · PIM架构 · 跨语言迁移

Tech多源前沿

📰 2026-06-20 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 MoE大模型架构、LLM剪枝与推理加速、Prefill能耗优化、存内计算硬件、扩散模型GPU优化、跨语言迁移学习。


1. 3D 扩散模型跨 GPU 架构的性能分析与优化

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2606.19365
标签:扩散模型 · GPU优化 · 3D生成 · 推理效率 · 硬件分析

研究了 3D MRI 扩散模型在不同 GPU 架构(A100、H100、V100)上的性能瓶颈,分析内存带宽与计算吞吐量权衡,提出针对性优化策略,大幅降低高保真 3D 医学影像合成的 GPU 资源需求。

核心要点:

  • 系统分析 3D 扩散模型在多种 GPU 架构上的性能瓶颈,包括内存带宽与计算密度差异
  • 提出跨架构优化策略,重点关注去噪迭代步骤中的算子融合与内存访问模式优化
  • 实验表明在 H100 上相比 A100 可获得约 2.5x 吞吐提升,同时保持生成质量

2. 因果归因剪枝:保留 LLM 推理能力的免训练压缩方法

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2606.19350
标签:模型剪枝 · 因果归因 · 推理能力 · LLM压缩 · 免训练

提出 Causal Attribution Pruning (CAP),一种免训练的 LLM 剪枝方法,通过因果归因分析识别多步推理链中的关键权重,优先保留参与逻辑推导的神经元,在降低推理计算成本的同时保持 Chain-of-Thought 性能。

核心要点:

  • 基于因果归因而非梯度/激活幅值识别对推理能力至关重要的权重子集
  • 无需重新训练即可对 LLM 进行结构化剪枝,兼容主流模型(LLaMA、Qwen 等)
  • 在 GSM8K、MATH 等推理基准上,剪枝后性能损失显著低于传统幅值剪枝方法

3. DeepSeek-V4:迈向高效百万 Token 上下文的 MoE 大模型

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2606.19348
标签:MoE · 长上下文 · 大模型训练 · DeepSeek · 百万Token

DeepSeek 发布 V4 系列预览版,包含 1.6T 参数的 DeepSeek-V4-Pro(激活参数 37B)和轻量级 V4-Lite。V4 引入新型 MoE 架构与高效注意力机制,原生支持百万 Token 上下文,在长文档处理、多轮推理任务上大幅超越前代模型。

核心要点:

  • 1.6T 参数 MoE 架构,每 token 仅激活 37B 参数,推理效率大幅优于同规模 dense 模型
  • 原生支持 1M token 上下文窗口,通过改进的线性注意力与稀疏注意力混合机制实现
  • 引入新型专家路由算法,降低专家负载不均衡问题,训练稳定性与推理吞吐同步提升

4. 数字 PIM 架构性能分析:以卷积神经网络为案例

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2305.04122
标签:存内计算 · PIM · 数据移动 · CNN加速 · 硬件架构

以卷积神经网络为基准,系统评估数字 Processing-in-Memory (PIM) 架构的实际性能收益。研究揭示 PIM 在减少数据移动开销方面的潜力:内存密集型卷积层收益显著,计算密集型层仍受限于 in-memory 逻辑低频运行。

核心要点:

  • 量化 PIM 架构在 CNN 推理中的数据移动减少量,对比传统 CPU/GPU 基线
  • 分析不同卷积层(depthwise vs pointwise)在 PIM 上的性能差异与适配性
  • 提出混合执行策略:内存密集算子卸载至 PIM,计算密集算子保留在 GPU/NPU

5. SPSD:基于边缘 Prompt 压缩的云端 LLM Prefill 节能框架

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2606.19364
标签:Prompt压缩 · LLM推理 · Prefill优化 · 边缘计算 · 能耗优化

针对云端 LLM 服务中 Prefill 阶段的高能耗问题,提出 SPSD 框架,在边缘侧对用户 Prompt 进行语义保真压缩,减少传输至云端的 Token 数量,从而降低 Prefill 计算负荷,同时保持对话语义连贯性。

核心要点:

  • 识别 LLM 推理中 Prefill 阶段为云端能耗主要来源,尤其在长对话场景下
  • SPSD 在边缘设备进行轻量语义压缩,保留社交语义同时降低 60%+ Token 传输量
  • 端云协同推理框架在多个对话基准上验证,质量损失可控、延迟显著下降

6. 解耦跨语言迁移中的语言相关性与任务对齐

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2606.19346
标签:跨语言迁移 · 多语言LLM · Zero-shot · 任务对齐 · 微调

通过对 7 个大语言模型(4B-671B 参数)在阿拉伯语上微调后零样本迁移的系统实验,解耦语言亲缘性与任务对齐两个独立因素,揭示大规模模型中任务对齐相比语言相似度的更强主导作用。

核心要点:

  • 在 4B 到 671B 参数范围内系统研究语言亲缘性与任务对齐对跨语言迁移的独立贡献
  • 发现模型规模越大,任务对齐效应越显著,语言相似度的影响相对减弱
  • 为多语言 LLM 的微调策略提供实证支撑:大模型可从语言无关的任务数据中充分受益

📊 今日速览

# 标题摘要 来源 方向
1 3D 扩散模型跨 GPU 架构的性能分析与优化 arXiv cs.LG 扩散模型/GPU优化
2 因果归因剪枝:保留 LLM 推理能力的免训练压缩方法 arXiv cs.CL LLM剪枝/推理
3 DeepSeek-V4:迈向高效百万 Token 上下文的 MoE 大模型 arXiv cs.CL MoE/长上下文
4 数字 PIM 架构性能分析:以卷积神经网络为案例 arXiv cs.AR PIM硬件架构
5 SPSD:基于边缘 Prompt 压缩的云端 LLM Prefill 节能框架 arXiv cs.LG Prefill节能
6 解耦跨语言迁移中的语言相关性与任务对齐 arXiv cs.CL 跨语言迁移

自动生成 · 2026-06-20 · jeffinchen daily tech reading list

评论