ggaaooppeenngg

小米 MiMo 团队的《Full-Pipeline Inference Optimization for MiMo-V2.5 Series》（arXiv:2607.13095）核心论点很直白：Hybrid SWA 理论上能把 KVCache 和 attention 计算量压到 Full Attention 的 1/7，但如果 KVCache 系统不跟着改造，实际反而会变慢。

本文不写综述，重点拆解几个关键工程问题：SWA 的 KV cache 怎么存、怎么 offload、共享前缀命中时的重算问题、numa_balancing 为什么 +10%、以及 Prefill 为什么也要开 MTP。

DeepSeek-V4 的架构图有一个特点：本身就是一份并行性说明书。画成并行分支的模块，基本都是在告诉系统实现者"这里有 overlap 的空间"。本文梳理 V4 中可 overlap 的算子对，对照论文承诺与 SGLang 实现现状。

背景

训练超长序列 LLM 时，单卡显存放不下完整的 KV cache，需要对序列维度做并行（Sequence Parallelism）。目前主流有两种方案：

• Ulysses（DeepSpeed-Ulysses）：两次 All-to-All，按 head 切分
• Ring Attention：环形传递 KV blocks，分块计算

两者目标相同，但设计假设完全不同。本文从原理、通信量、代码实现到架构选择动机，做完整对比。