ggaaooppeenngg

从残差到 mHC：一条清晰的三代演进路

如果你训练过深层 Transformer，一定对残差连接（Residual Connection）不陌生。它是 ResNet 留下的最重要的遗产之一，也是今天所有大语言模型的标配。

但残差连接有个根本问题：它只有一条信息流。

DeepSeek 在 2025 年连发两篇论文，把这个问题彻底讲透了。故事的三步是：

1. Residual（2015）：x_{l+1} = x_l + F(x_l) — 一条流，稳定但表达弱
2. HC（2024）：把残差流拓宽到 n 条并行流，表达能力暴涨，但训练直接崩
3. mHC（2025）：给 HC 加上数学约束，又强又稳

这篇文章把这三代讲清楚，重点放在 mHC 上。

一句话概括

MegaMoE = 把 EP（Expert Parallelism）中的 All-to-All 通信和 MoE 计算融合到一个 kernel 里，让 NVLink 传输和 Tensor Core 计算时间上完全重叠。

传统 EP 里通信和计算串行，GPU 利用率只有 50-60%；MegaMoE 通过 Symmetric Memory + 细粒度 Scheduler + 单 Kernel 状态机，把利用率推到接近 100%。

背景

DeepSeek-V4 系列模型（V4 / V4-Pro）在 MoE（Mixture of Experts）层大量使用 MXFP4 量化权重，配合 FP8/BF16 激活 实现高效推理。在 SGLang / vLLM 中，flashinfer_mxfp4 是一个专为这种量化格式设计的 MoE Runner Backend。

本文将基于 H20 (SM90 Hopper) 实测数据和源码分析，完整解析 FlashInfer MXFP4 的实现原理，以及与 Marlin MoE 的架构差异。