标签：slo

共 4 篇文章

• LLM Serving 过载保护生产实战：用 Queue SLO、Backpressure 与弹性扩容守住尾延迟

  面向生产级大模型推理服务，系统讲解如何用队列等待时间、TTFT SLO、Backpressure 与弹性扩容协同应对突发流量，避免扩容滞后、尾延迟失控和无限排队，并给出关键指标、参数配置、上线检查清单与常见误区。

  2026/08/26 llm-serving / autoscaling / backpressure / slo / vllm

• LLM Serving 自动伸缩生产实战：用队列水位、P95 延迟与 GPU 利用率安全扩缩容

  本文深入探讨 LLM Serving 生产环境的自动伸缩方案，以队列水位、P95 延迟、Token 吞吐和 GPU 利用率构建多层扩缩容控制闭环，融入 warm pool、admission control、成本边界与 cooldown 策略，帮助团队在成本约束下稳定满足推理 SLO。

  2026/07/09 LLM Serving / 自动伸缩 / GPU 推理 / P95 延迟 / SLO / 扩缩容

• LLM 推理容量规划生产实战：用 Token 吞吐压测与队列水位估算 GPU 余量

  本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。

  2026/07/05 LLM Serving / Capacity Planning / GPU Inference / SLO / vLLM / Token Throughput

• LLM Serving 过载保护实战：用 SLO 驱动自动伸缩与准入控制

  大模型推理服务上线后，真正棘手的问题往往不是单次请求慢，而是流量突增时系统陷入不可恢复的排队状态。本文围绕 SLO 驱动的自动伸缩与准入控制，给出基于队列长度、Token 压力、TTFT/TPOT 和租户配额的过载保护工程落地清单。

  2026/07/01 LLM Serving / Autoscaling / SLO / Admission Control / 过载保护 / 推理基础设施