WideEP：大规模专家并行（Expert Parallelism）部署实战
什么是 WideEP
WideEP（Wide Expert Parallelism）不是 SGLang 里的一个具体模块，而是社区对一种大规模 MoE 部署模式的俗称。官方文档里叫 Large-Scale EP。
核心思路只有一句话：
把 Expert Parallelism 撑得很宽（几十到上百张 GPU），配合 DP Attention 消除通信，用 DeepEP 解决 All-to-All 瓶颈。
Marlin MoE Kernel 深度分析
发表于
更新于
引言
DeepSeek-V4 引入 MXFP4 量化后，MoE 层的计算效率成为推理性能的关键瓶颈。SGLang 的 Marlin Runner Backend 专门针对 INT4/MXFP4 量化权重优化 MoE 的 GEMM 计算。本文深入分析其实现原理、数据流以及设计权衡。
DeepSeek-V4 KV Cache 深度分析
发表于
更新于
DeepSeek-V4 series incorporate several key upgrades: (1) hybrid attention architecture that combines Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA); (2) Manifold-Constrained Hyper-Connections (mHC); (3) Muon optimizer.
DeepSeek-V4 彻底改变了 KV Cache 的设计，从 V3 的 MLA（Multi-head Latent Attention）转向 CSA + HCA 混合注意力架构，通过序列维度压缩而非仅靠隐维度压缩来大幅降低 KV Cache 开销。