标签：Distributed Systems

共 2 篇文章

• LLM Context Parallel 生产实战：用 Sequence Sharding、Ring/Ulysses 通信与因果负载均衡突破长上下文瓶颈

  深入讲解长上下文训练中 Context Parallel 的核心原理、Ring Attention 与 Ulysses 通信选型、因果负载均衡策略及生产上线门禁，帮助团队在多 GPU 环境下降低激活显存占用，稳定将上下文长度从 8K 扩展到 128K 以上。

  2026/07/16 LLM Training / Context Parallel / Distributed Systems / Long Context / Ring Attention

• LLM MoE Expert Parallel 生产实战：用专家负载画像、All-to-All 预算与动态副本稳住推理吞吐

  MoE 模型稀疏激活不等于推理天然高效。本文拆解 Expert Parallel 的 All-to-All 通信、专家热点与动态副本机制，给出从负载画像到拓扑放置、容量门禁的完整生产治理方案。

  2026/07/11 LLM Serving / Mixture of Experts / Expert Parallel / GPU Inference / Distributed Systems