DeepSeek MoE 架构采用跨节点专家并行（EP）架构，当 MoE 以 EP320 架构在解码阶段实现惊人的批处理规模时，整个 AI 推理领域都在追问：这种将专家并行推向极致的架构，究竟代表着未来方向，还是特定场景的过渡方案？
作为国内首批实现 PD（prefill-decode）分离推理落地的团队，PPIO 推理加速团队观察到：EP 架构正以惊人的效率重构推理性能边界——DeepSeek V3 在 8 卡 H100 集群中实现 22G 专家参数的智能调度，使单卡批处理量提升 8 倍。但与此同时，跨节点通信的魔咒、PD 分离带来的范式革命、Dense 模型的进化反扑，都在重塑这场技术变革的终局。
在这场算力与效率的博弈中，我们尝试解码 EP 架构的真实潜力...
EP 架构通过增大 batch size，充分挖掘 GPU 矩阵乘法的并行计算潜力，显著提升系统的吞吐能力。在深度学习模型的推理阶段，较大的 batch size 能够让 GPU 在单位时间内处理更多数据。
以图像识别模型为例，当 batch size 增大时，GPU 可以同时对更多张图片进行特征提取与分类运算，大大加快了推理速度。这种机制充分利用了 GPU 的并行计算资源，使模型在数据处理效率上得到质的提升，为大规模数据的快速处理提供了有力支持。在大规模数据处理中，采用 EP 架构增大 batch size 后，处理速度较传统架构提升了数倍，有效缩短了任务执行时间。
将专家分散到不同 GPU 上的策略，有效减轻了单个 GPU 的访存压力，大幅降低了推理延迟。在处理大规模语言模型推理时，模型参数规模庞大，访存操作往往成为制约性能的关键因素。EP 架构通过将专家分散开来，每个 GPU 只需处理少量专家的参数，极大减少了访存需求，让 GPU 能够更专注于计算任务。这使得系统在处理实时性要求较高的任务时，能够快速响应，满足如智能客服实时问答、在线翻译等场景对低延迟的严苛要求。
从技术发展趋势来看，随着数据量呈爆发式增长以及模型参数规模持续扩张，对推理系统的吞吐和延迟性能要求将越来越高。EP 架构这种能够充分利用大规模计算资源、提升计算效率的设计理念，与未来技术发展需求高度契合。随着硬件技术的不断进步，如 GPU 性能的进一步提升、网络带宽和传输效率的持续拓展，EP 架构有望在更广泛的场景中发挥其优势，具备成为主流方向的技术潜力。
如下图所示，我们以 DeepSeek V3 模型为例说明优化原理，在 LLM 的推理当中，往往存在算力、访存、存储等瓶颈，我们从瓶颈的角度进行分析：
假设我们在 8 张 H100 的机器上运行 DeepSeek V3 模型，输入的 prompt 长度是 1k，则推理阶段激活的 9 个专家参数大小约为 22G，KV Cache 则只有 30M 左右，实际推理中，专家参数与 KV Cache 都需要加载到显卡当中。与之相比，MoE 在 decode 阶段的算力诉求远小于 1TFLOPS，而 H 系列的显卡有上千 TFLOPS，远远达不到算力瓶颈。
从上面的分析中得知 MoE 不是一个算力瓶颈问题，可以根据显卡性能和业务指标对瓶颈进行更进一步的分析，例如，TPOT 指标一般要求 50m，这就意味着只有 50ms 全部用于将数据从显存搬运到 SM，同时因为碎片等原因而导致真正带宽利用率只有 50%。按照以上假设，在 50ms 的范围内，带宽为 3350G/S 的 H800 显卡仅能够搬运 85G 的数据。
如果我们不做任何 EP 技术，按照显卡 85G 的数据搬运能力，意味着每张卡的最大 batchsize 只能有 4（batchsize=85G/22G），与之相反，我们简单的将 EP 设置为 8，则 batchsize 能达到 32（batchsize=85G/(22G/8)）。从这里就能看出，EP 越大，每个显卡需要加载的专家参数量就越小，从而导致 batchsize 越大，同时意味着更大的推理吞吐，这便是 EP 提升推理性能的原理。
值得一提的是，DeepSeek 在 decode 阶段采用的 EP320，进一步将 batchsize 做的更大，从而将显卡性能压榨到极致。
在一些特定场景中，EP 架构已展现出无可比拟的优势，成为最优解决方案。
在气象模拟、分子动力学模拟等场景中，需要处理海量数据和复杂计算任务。这些任务通常具有大规模并行计算的特点，EP 架构能够很好地适应这种需求，通过将不同的计算任务分配到多个节点的 GPU 上并行处理，大幅缩短计算时间，提高模拟的精度和效率。在气象模拟中，利用 EP 架构可以快速模拟全球气象变化，为气象预测提供更准确的数据支持。
在互联网搜推系统中，实时性要求极高，需要在极短时间内对用户的查询或行为做出响应。EP 架构凭借其低延迟特性，能够快速处理用户请求，为用户提供即时的搜索结果或个性化推荐，极大提升用户体验，在这类场景中具有独特的应用价值。
在金融行业的高频交易场景中，每一秒的延迟都可能导致巨大的经济损失。EP 架构的低延迟特性能够满足高频交易对实时性的严格要求，帮助金融机构快速做出交易决策，抢占市场先机。
在医疗影像诊断领域，对于大量医学影像数据的快速分析和诊断至关重要。EP 架构的高吞吐能力可以加速影像数据的处理，让医生能够更快地获取诊断结果，为患者的治疗争取宝贵时间。在医疗影像分析中，基于 EP 架构的系统能够快速处理大量的 X 光、CT 等影像数据，辅助医生更高效地进行疾病诊断。
尽管 EP 架构优势众多，但在实际应用中也面临一系列严峻挑战，限制了其短期内成为主流方向的可能性。
跨节点通信开销是 EP 架构面临的主要问题之一。由于不同节点之间需要频繁交换数据，网络带宽和延迟成为制约系统性能的瓶颈。在复杂多变的网络环境下，网络拥塞、节点故障等问题时有发生，这可能导致通信延迟大幅增加，甚至数据传输错误，严重影响系统的稳定性和性能。
不同节点的硬件性能差异也给 EP 架构带来难题。即使在同一数据中心内，不同节点的 GPU 型号、内存大小、CPU 性能等也可能存在差异，这使得任务分配和负载均衡变得更加复杂。如果不能有效解决这些问题，部分节点可能成为系统的 “堵点”，降低整体性能。
构建和维护基于 EP 架构的推理系统需要较高的技术门槛和成本投入。这不仅需要专业的技术团队来进行系统的设计、部署和优化，还需要大量的硬件资源和网络基础设施支持。对于许多中小企业来说，这种高昂的成本可能难以承受，限制了 EP 架构的广泛应用。
现有部署方式是 prefill+decode 共同部署在同一张 GPU 卡上。Prefill 阶段主要是算力瓶颈，decode 阶段主要是访存瓶颈，这两种不同的任务在同一张卡会造成资源浪费，硬件计算效率低。PD 分离，即 prefill-decode 分离，将推理过程中的预填充（prefill）阶段和解码（decode）阶段分离处理，分别在不同的 GPU 卡上处理。在预填充阶段，系统快速生成初始的中间结果（KV），这些结果通常具有一定的规律性和可并行性。EP 架构可以充分利用其大规模并行计算能力，在多个节点上同时进行预填充计算，大大提高预填充的速度。而在解码阶段，由于其对实时性要求较高，PD 分离允许硬件更专注地处理解码任务，优化解码算法和资源分配。通过这种任务分离，系统能够更好地平衡不同阶段的计算资源需求，提升整体推理效率。
PD 分离推理范式在与 EP 架构结合的实际应用中也面临诸多挑战。预填充和解码阶段的硬件资源划分需要精确的算法支持，否则可能导致资源分配不合理。如果预填充阶段分配过多资源，会造成解码阶段资源紧张，影响实时性；反之，预填充阶段资源不足，则会拖慢整个推理速度。预填充和解码阶段之间的数据交互也带来了额外的通信开销。由于两个阶段可能在不同节点或不同计算资源上进行，如何高效地传输中间结果，确保数据的一致性和完整性，是需要解决的难题。在网络环境不稳定或带宽有限时，这种通信开销可能严重影响推理性能。
若 EP 架构成为未来主流方向，大模型参数持续增大，dense 模型并不会彻底消失，而是会在不同场景下与 EP 架构主导的模型形成互补关系。