标签：Backpressure

共 3 篇文章

• LLM Serving 过载保护生产实战：用 Queue SLO、Backpressure 与弹性扩容守住尾延迟

  面向生产级大模型推理服务，系统讲解如何用队列等待时间、TTFT SLO、Backpressure 与弹性扩容协同应对突发流量，避免扩容滞后、尾延迟失控和无限排队，并给出关键指标、参数配置、上线检查清单与常见误区。

  2026/08/26 llm-serving / autoscaling / backpressure / slo / vllm

• LLM Streaming 输出生产实战：用 SSE 事件边界、背压与断流恢复稳定实时响应

  本文从大模型流式输出的生产故障入手，深入讲解 SSE 事件边界、背压控制、断流恢复、代理超时与前端渲染优化，帮助工程团队构建可靠、可观测的流式响应链路，稳定实时交互体验。

  2026/07/10 LLM Serving / Streaming / SSE / Backpressure / Reliability / Gateway / Engineering

• LLM Streaming Backpressure 生产实战：用取消、超时与流控稳定长输出体验

  本文系统讲解大模型流式输出中的背压、取消与超时治理，覆盖 SSE 事件流、客户端慢读、服务端队列、连接中断、资源回收、降级策略和上线检查，帮助团队稳定长输出体验。

  2026/07/03 llm-serving / streaming / backpressure / production