标签：mixture of experts

共 3 篇文章

• MoE 推理部署生产实战：用 Expert Parallel、EPLB 与 DeepEP 治理专家倾斜与跨卡通信

  MoE 上线后，瓶颈常从算力转向专家倾斜与 All-to-All 通信。本文结合 vLLM、TensorRT-LLM 与 DeepEP，系统讲解 Expert Parallel、EPLB 与冗余专家的落地方法，并给出分阶段部署、可观测指标与上线检查清单。

  2026/09/01 llm-serving / mixture-of-experts / expert-parallel / vllm / deepep / eplb / 推理部署

• LLM MoE Expert Parallel 生产实战：用专家负载画像、All-to-All 预算与动态副本稳住推理吞吐

  MoE 模型稀疏激活不等于推理天然高效。本文拆解 Expert Parallel 的 All-to-All 通信、专家热点与动态副本机制，给出从负载画像到拓扑放置、容量门禁的完整生产治理方案。

  2026/07/11 LLM Serving / Mixture of Experts / Expert Parallel / GPU Inference / Distributed Systems

• MoE Expert Parallelism 实战：稀疏大模型推理的通信与负载均衡治理

  MoE模型推理服务中，Expert Parallelism如何影响通信开销与负载均衡？本文从真实瓶颈出发，系统梳理EP工作机制、All-to-All通信、并行策略组合、跨节点部署与上线检查清单，帮助工程师在生产环境中高效部署稀疏大模型。

  2026/06/30 LLM Serving / Mixture of Experts / Expert Parallelism / Inference Optimization