标签：Capacity Planning

共 2 篇文章

• LLM 容量压测生产实战：用 Timed Trace、Burstiness 与 Tail-SLO Gate 找到真实安全 QPS

  LLM 容量压测不能只跑固定并发和平均延迟。本文结合 vLLM、AIPerf 与 MLPerf，讲清 Timed Trace、突发流量、尾延迟门禁与安全 QPS 的生产评估方法，教你找到上线前真实可靠的容量拐点。

  2026/09/02 LLM Serving / 容量压测 / Benchmark / 尾延迟 / Safe QPS / Timed Trace / Burstiness / Capacity Planning

• LLM 推理容量规划生产实战：用 Token 吞吐压测与队列水位估算 GPU 余量

  本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。

  2026/07/05 LLM Serving / Capacity Planning / GPU Inference / SLO / vLLM / Token Throughput