标签：长上下文

共 2 篇文章

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、适用边界、KV Cache 传输、资源规划与上线检查清单。

  2026/06/29 LLM Serving / Prefill-Decode / KV Cache / 推理优化 / 长上下文 / 延迟治理

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、KV Cache 传输、资源规划与上线检查清单，帮助 LLM 服务从“能跑”迈向稳定可扩展。

  2026/06/29 LLM Serving / Prefill Decode / KV Cache / Inference Optimization / 长上下文 / 尾延迟 / RAG / Agent