标签：NCCL

共 2 篇文章

• LLM 分布式推理通信故障治理：用 NCCL RAS、Flight Recorder 与拓扑基线定位集体通信卡死

  分布式大模型推理发生 NCCL 集体通信卡死时，往往只剩模糊的超时日志。本文介绍如何用 RAS、Flight Recorder、拓扑基线和异常 Rank 定位，建立可观测、可回滚的通信上线门禁。

  2026/07/13 LLM Serving / NCCL / Distributed Inference / GPU / Reliability

• LLM Tensor Parallel 推理部署生产实战：用并行度、NCCL 与拓扑感知降低跨卡抖动

  本文讲解大模型跨卡推理部署中的 Tensor Parallel、Pipeline Parallel、NCCL 通信与拓扑感知调优，覆盖并行度选择、节点网络、压测指标和上线检查，帮助团队降低多 GPU 服务抖动。

  2026/07/07 LLM Serving / Tensor Parallel / NCCL / GPU Inference