标签：SLO

共 2 篇文章

• LLM 推理容量规划生产实战：用 Token 吞吐压测与队列水位估算 GPU 余量

  本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。

  2026/07/05 LLM Serving / Capacity Planning / GPU Inference / SLO / vLLM / Token Throughput

• LLM Serving 过载保护实战：用 SLO 驱动自动伸缩与准入控制

  大模型推理服务上线后，真正棘手的问题往往不是单次请求慢，而是流量突增时系统陷入不可恢复的排队状态。本文围绕 SLO 驱动的自动伸缩与准入控制，给出基于队列长度、Token 压力、TTFT/TPOT 和租户配额的过载保护工程落地清单。

  2026/07/01 LLM Serving / Autoscaling / SLO / Admission Control / 过载保护 / 推理基础设施