SGLang PP 与 HiCache 时序分析
概述
SGLang 的 Pipeline Parallelism (PP) 模式下，HiCache 负责 KV cache 的异步 prefetch（Host→GPU）和 backup（GPU→Host）。本文从 PP 调度器的外层事件循环出发，追踪 Load 和 Write 的完整时序，揭示 write_ack 比 load_ack 多延迟的根本原因。
SGLang Pipeline Parallelism 深度分析
发表于
更新于
Pipeline Parallelism（PP）是多卡推理中的核心技术之一。SGLang 的 PP 实现有一套独立的事件循环和调度机制，和普通的 single-batch 路径完全不同。本文将从代码出发，深入分析 SGLang 的 PP 实现。
FlashMLA Sparse Decode 完整计算过程详解
本文以一个最小化的具体数值例子，逐步展示 FlashMLA Sparse Decode 的每一个计算步骤，并标注每一步与 Hopper (SM90) / Blackwell (SM100/GB200) 硬件特性的关系。