标签：Distributed Inference

共 1 篇文章

• LLM 分布式推理通信故障治理：用 NCCL RAS、Flight Recorder 与拓扑基线定位集体通信卡死

  分布式大模型推理发生 NCCL 集体通信卡死时，往往只剩模糊的超时日志。本文介绍如何用 RAS、Flight Recorder、拓扑基线和异常 Rank 定位，建立可观测、可回滚的通信上线门禁。

  2026/07/13 LLM Serving / NCCL / Distributed Inference / GPU / Reliability