标签：长上下文

共 3 篇文章

• LLM RoPE Scaling 上线生产实战：用配置指纹、长度分桶与双轨评测避免长上下文退化

  RoPE Scaling 并不等于把 max_model_len 调大。本文从位置频率、配置指纹、长度分桶、长短上下文双轨评测与灰度回滚出发，系统讲解如何将长上下文扩展安全交付到生产环境，避免上下文退化带来的业务风险。

  2026/07/13 LLM 推理 / 长上下文 / RoPE / 模型评测 / 生产工程 / 位置编码

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、适用边界、KV Cache 传输、资源规划与上线检查清单。

  2026/06/29 LLM Serving / Prefill-Decode / KV Cache / 推理优化 / 长上下文 / 延迟治理

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、KV Cache 传输、资源规划与上线检查清单，帮助 LLM 服务从“能跑”迈向稳定可扩展。

  2026/06/29 LLM Serving / Prefill Decode / KV Cache / Inference Optimization / 长上下文 / 尾延迟 / RAG / Agent