标签：SGLang

共 3 篇文章

• VLM Serving 生产实战：用视觉 Token 预算稳定图片与视频推理

  本文系统讲解多模态大模型服务中图片与视频输入治理、视觉 Token 预算、预处理队列、成本控制和上线检查清单，帮助团队在生产环境中稳定落地 VLM 推理服务。

  2026/07/02 VLM / LLM Serving / Multimodal AI / 视觉Token预算 / 多模态推理 / Inference / Vision Token / vLLM / SGLang

• KV Cache 复用实战：Prefix Caching、Offloading 与长上下文成本治理

  KV Cache 复用正在成为长上下文大模型服务的核心优化点。本文从 Prefix Caching、RadixAttention 到多级 Offloading，系统梳理命中率、延迟、成本与上线检查方法，帮助团队在同样 GPU 预算下承载更多请求。

  2026/06/29 LLM Inference / KV Cache / Prefix Caching / vLLM / SGLang

• Prefill-Decode Disaggregation：LLM 推理为什么要把 Prefill 和 Decode 拆开

  本文系统拆解 Prefill-Decode Disaggregation 的工程原理、TTFT 与 ITL/TPOT 的指标边界、KV cache 传输成本、调度策略和上线 Checklist，帮助判断 LLM 推理服务何时应该从统一实例走向分离式架构。

  2026/06/25 LLM Inference / Prefill Decode / vLLM / SGLang / AI Infrastructure / KV Cache / TTFT / ITL / Goodput