标签：Reliability

共 4 篇文章

• LLM 分布式推理通信故障治理：用 NCCL RAS、Flight Recorder 与拓扑基线定位集体通信卡死

  分布式大模型推理发生 NCCL 集体通信卡死时，往往只剩模糊的超时日志。本文介绍如何用 RAS、Flight Recorder、拓扑基线和异常 Rank 定位，建立可观测、可回滚的通信上线门禁。

  2026/07/13 LLM Serving / NCCL / Distributed Inference / GPU / Reliability

• LLM 输出长度治理生产实战：用 Finish Reason、Token 预算与续写策略避免答案半截

  本文从大模型答案半截、续写失控和成本抖动入手，讲解如何用 Finish Reason、Token 预算、长度分级、续写账本和上线门禁治理输出完整性，减少用户看到不完整答案的风险。

  2026/07/10 LLM API / Token Budget / Finish Reason / Reliability / Production Engineering

• LLM Streaming 输出生产实战：用 SSE 事件边界、背压与断流恢复稳定实时响应

  本文从大模型流式输出的生产故障入手，深入讲解 SSE 事件边界、背压控制、断流恢复、代理超时与前端渲染优化，帮助工程团队构建可靠、可观测的流式响应链路，稳定实时交互体验。

  2026/07/10 LLM Serving / Streaming / SSE / Backpressure / Reliability / Gateway / Engineering

• LLM API 客户端可靠性生产实战：用错误分级、重试预算与请求账本稳住调用链路

  本文讲解大模型 API 客户端在生产环境中的可靠性治理，覆盖错误分级、超时边界、随机退避、重试预算、请求账本、降级策略与上线检查，帮助团队减少调用链路抖动。

  2026/07/08 LLM API / Reliability / Retry Budget / Rate Limit / Production Engineering