Notes
学习笔记 · 技术整理
GPU 性能分析基础:Register Spill · Occupancy · Latency-Bound 诊断
以 NVIDIA H20(Hopper)为例,系统梳理 CUDA kernel 调优所需的核心概念:寄存器溢出检测、占用率分析、Warp Lockstep 识别,以及 Memory / Compute / Latency-bound 三类瓶颈的诊断与优化路径。
GPU CUDA 性能分析 Occupancy Nsight H20大模型训练技术全景:预训练 · 微调 · 对齐 · 推理扩展
从 Pre-training 数据工程、架构演进、3D 并行策略,到 SFT / RLHF / DPO / GRPO 对齐训练,再到 Test-Time Scaling(o1 / DeepSeek-R1 范式)的完整技术脉络。
预训练 SFT RLHF GRPO Test-Time Scaling大模型推理优化全景:KV Cache · 量化 · 投机解码 · 服务系统
系统梳理 LLM 推理优化全栈:KV Cache 管理(PagedAttention)、FP8/AWQ 量化、投机解码(Eagle/Medusa)、Prefill-Decode 分离架构,以及 vLLM / SGLang / TensorRT-LLM 框架对比。
KV Cache 量化 投机解码 vLLM PD分离DeepSpeed-MoE:端到端 MoE 训练与推理加速方案(ICML 2022)
微软提出的 MoE 端到端解决方案:PR-MoE 金字塔残差架构降低模型规模 3.7 倍,分层 All-to-All 通信优化实现推理延迟降低 7.3 倍,训练成本节省 5 倍。
DeepSpeed MoE PR-MoE 推理优化 ICML 2022Mooncake:以 KVCache 为中心的 LLM 分离式推理架构
月之暗面 Kimi 生产推理平台深度解析:KVCache-centric PD 分离、分层存储池(HBM/DRAM/SSD)、过载早期拒绝,以及最新 PrfaaS 跨数据中心 Prefill 架构。含两篇 arXiv 论文核心内容。
Mooncake PD 分离 KVCache 推理服务 Transfer EngineNVSHMEM 统一地址空间与 Sparse Embedding 技术解析
NVSHMEM PGAS 模型核心机制、GPU-initiated one-sided 通信原语,以及用统一地址空间实现大规模 Sparse Embedding 分布式 Lookup 的完整方案:coalescing、热点副本、IBGDA 与落地路径。
NVSHMEM Sparse Embedding PGAS RDMA 推荐系统DeepEP:DeepSeek 开源的 MoE 专家并行通信库深度解析
全球首个 MoE 专用通信库:双内核架构(高吞吐+低延迟)、FP8 原生支持、NVLink/RDMA 非对称带宽转发、Hook 零 SM 占用机制,含性能实测与代码示例。
DeepEP MoE 专家并行 NVLink RDMAFlashAttention 全版本演进:从 IO 感知到异步流水线
系统梳理 FlashAttention v1/v2/v3 的核心创新:Tiling+Online Softmax、序列维度并行化、H100 异步流水线与 FP8 支持,含原理图、性能对比与完整代码示例。
FlashAttention GPU优化 CUDA 长上下文 H100大模型训练并行技术全景:DP / TP / PP / SP / ZeRO
系统梳理五类并行策略:数据并行、张量并行、流水线并行、序列并行与 ZeRO 显存优化。含切分原理、通信分析、3D 并行架构及框架对比。
分布式训练 张量并行 流水线并行 ZeRO MegatronMulti-Head Latent Attention (MLA): DeepSeek 高效推理的秘密
深入解析 DeepSeek V2/V3 的核心创新:通过低秩 KV 压缩将缓存减少 93%,同时超越标准 MHA 性能。含完整 PyTorch 实现。
MLA DeepSeek Attention KV CacheMixture of Experts (MoE) 完整技术综述
从 1991 年理论提出到 2024 年 DeepSeek-V3 工程突破,全面覆盖 MoE 架构、路由机制、负载均衡、训练推理优化,含代码示例与模型对比。
MoE Survey DeepSeek Mixtral 稀疏模型LatentMoE:低维潜空间专家路由架构
从 Dense → 标准 MoE → LatentMoE 的演进脉络,讲清 All-to-All 通信瓶颈及低维潜空间如何同时压缩开销并指数扩展专家多样性。
MoE LLM架构 NVIDIA 分布式推理PyTorch 学习资源汇总
面向系统开发者的 PyTorch 学习路径,侧重底层实现和系统架构,包含 Megatron-LM、MLIR 相关资源。
PyTorch Systems Megatron-LM MLIRLeetCode 高频100题总结
按题型分类整理,每题含完整题目描述、核心思路、复杂度分析与 Python 代码模板。
LeetCode 算法 Python 面试算法解题技巧总结
双指针、前缀和、哈希表、单调栈、二分、DFS/BFS、动态规划、贪心、分治、图论等核心解题技巧,含模板代码与经典例题。
算法 技巧 模板 Python