LLM Tensor Parallel 推理部署生产实战：用并行度、NCCL 与拓扑感知降低跨卡抖动
本文讲解大模型跨卡推理部署中的 Tensor Parallel、Pipeline Parallel、NCCL 通信与拓扑感知调优，覆盖并行度选择、节点网络、压测指标和上线检查，帮助团队降低多 GPU 服务抖动。
标签：Tensor Parallel
共 1 篇文章
共 1 篇文章
本文讲解大模型跨卡推理部署中的 Tensor Parallel、Pipeline Parallel、NCCL 通信与拓扑感知调优，覆盖并行度选择、节点网络、压测指标和上线检查，帮助团队降低多 GPU 服务抖动。