标签：Safe QPS

共 1 篇文章

• LLM 容量压测生产实战：用 Timed Trace、Burstiness 与 Tail-SLO Gate 找到真实安全 QPS

  LLM 容量压测不能只跑固定并发和平均延迟。本文结合 vLLM、AIPerf 与 MLPerf，讲清 Timed Trace、突发流量、尾延迟门禁与安全 QPS 的生产评估方法，教你找到上线前真实可靠的容量拐点。

  2026/09/02 LLM Serving / 容量压测 / Benchmark / 尾延迟 / Safe QPS / Timed Trace / Burstiness / Capacity Planning