Notes

学习笔记 · 技术整理

🔬

GPU 性能分析基础:Register Spill · Occupancy · Latency-Bound 诊断

以 NVIDIA H20(Hopper)为例,系统梳理 CUDA kernel 调优所需的核心概念:寄存器溢出检测、占用率分析、Warp Lockstep 识别,以及 Memory / Compute / Latency-bound 三类瓶颈的诊断与优化路径。

GPU CUDA 性能分析 Occupancy Nsight H20
🧠

大模型训练技术全景:预训练 · 微调 · 对齐 · 推理扩展

从 Pre-training 数据工程、架构演进、3D 并行策略,到 SFT / RLHF / DPO / GRPO 对齐训练,再到 Test-Time Scaling(o1 / DeepSeek-R1 范式)的完整技术脉络。

预训练 SFT RLHF GRPO Test-Time Scaling
⚡

大模型推理优化全景:KV Cache · 量化 · 投机解码 · 服务系统

系统梳理 LLM 推理优化全栈:KV Cache 管理(PagedAttention)、FP8/AWQ 量化、投机解码(Eagle/Medusa)、Prefill-Decode 分离架构,以及 vLLM / SGLang / TensorRT-LLM 框架对比。

KV Cache 量化 投机解码 vLLM PD分离
🚀

DeepSpeed-MoE:端到端 MoE 训练与推理加速方案(ICML 2022)

微软提出的 MoE 端到端解决方案:PR-MoE 金字塔残差架构降低模型规模 3.7 倍,分层 All-to-All 通信优化实现推理延迟降低 7.3 倍,训练成本节省 5 倍。

DeepSpeed MoE PR-MoE 推理优化 ICML 2022
🌙

Mooncake:以 KVCache 为中心的 LLM 分离式推理架构

月之暗面 Kimi 生产推理平台深度解析:KVCache-centric PD 分离、分层存储池(HBM/DRAM/SSD)、过载早期拒绝,以及最新 PrfaaS 跨数据中心 Prefill 架构。含两篇 arXiv 论文核心内容。

Mooncake PD 分离 KVCache 推理服务 Transfer Engine
🔗

NVSHMEM 统一地址空间与 Sparse Embedding 技术解析

NVSHMEM PGAS 模型核心机制、GPU-initiated one-sided 通信原语,以及用统一地址空间实现大规模 Sparse Embedding 分布式 Lookup 的完整方案:coalescing、热点副本、IBGDA 与落地路径。

NVSHMEM Sparse Embedding PGAS RDMA 推荐系统
⚡

DeepEP:DeepSeek 开源的 MoE 专家并行通信库深度解析

全球首个 MoE 专用通信库:双内核架构(高吞吐+低延迟)、FP8 原生支持、NVLink/RDMA 非对称带宽转发、Hook 零 SM 占用机制,含性能实测与代码示例。

DeepEP MoE 专家并行 NVLink RDMA
⚡

FlashAttention 全版本演进:从 IO 感知到异步流水线

系统梳理 FlashAttention v1/v2/v3 的核心创新:Tiling+Online Softmax、序列维度并行化、H100 异步流水线与 FP8 支持,含原理图、性能对比与完整代码示例。

FlashAttention GPU优化 CUDA 长上下文 H100
⚙️

大模型训练并行技术全景:DP / TP / PP / SP / ZeRO

系统梳理五类并行策略:数据并行、张量并行、流水线并行、序列并行与 ZeRO 显存优化。含切分原理、通信分析、3D 并行架构及框架对比。

分布式训练 张量并行 流水线并行 ZeRO Megatron
⚡

Multi-Head Latent Attention (MLA): DeepSeek 高效推理的秘密

深入解析 DeepSeek V2/V3 的核心创新:通过低秩 KV 压缩将缓存减少 93%,同时超越标准 MHA 性能。含完整 PyTorch 实现。

MLA DeepSeek Attention KV Cache
📚

Mixture of Experts (MoE) 完整技术综述

从 1991 年理论提出到 2024 年 DeepSeek-V3 工程突破,全面覆盖 MoE 架构、路由机制、负载均衡、训练推理优化,含代码示例与模型对比。

MoE Survey DeepSeek Mixtral 稀疏模型
🧠

LatentMoE:低维潜空间专家路由架构

从 Dense → 标准 MoE → LatentMoE 的演进脉络,讲清 All-to-All 通信瓶颈及低维潜空间如何同时压缩开销并指数扩展专家多样性。

MoE LLM架构 NVIDIA 分布式推理
⚙️

PyTorch 学习资源汇总

面向系统开发者的 PyTorch 学习路径,侧重底层实现和系统架构,包含 Megatron-LM、MLIR 相关资源。

PyTorch Systems Megatron-LM MLIR
🧩

LeetCode 高频100题总结

按题型分类整理,每题含完整题目描述、核心思路、复杂度分析与 Python 代码模板。

LeetCode 算法 Python 面试
🛠️

算法解题技巧总结

双指针、前缀和、哈希表、单调栈、二分、DFS/BFS、动态规划、贪心、分治、图论等核心解题技巧,含模板代码与经典例题。

算法 技巧 模板 Python