标签：TTFT

共 4 篇文章

• LLM Serverless GPU 冷启动生产实战：用权重预取、Warm Pool 与 Scale-to-Zero 平衡成本和 TTFT

  本文从 LLM Serverless GPU 推理的冷启动问题入手，深入讲解权重预取、镜像预热、Warm Pool、Scale-to-Zero、TTFT 监控和上线门禁，帮助工程团队在 GPU 成本与首 token 延迟之间建立可控的精细化平衡。

  2026/07/10 LLM Serving / Serverless GPU / Cold Start / TTFT / Cost Optimization

• Prefix Caching 生产实战：用 KV Cache 复用降低 TTFT 与输入成本

  系统讲解 Prefix Caching 与 KV Cache 复用在大模型推理中的核心原理、工程落地五步流程、关键监控指标、五大适用场景及常见误区，并附上线检查清单，帮助团队降低首 token 延迟与重复计算成本。

  2026/06/30 大模型 / LLM Serving / KV Cache / Prefix Caching / 推理优化 / TTFT / vLLM / Prompt Caching

• Prompt Caching Engineering：长任务 Agent 的成本与延迟优化不能只靠自动缓存

  本文系统拆解 Prompt Caching 在生产级 LLM Agent 中的工程价值，从稳定前缀、cache breakpoint、工具 schema、动态上下文、TTFT、缓存命中指标到质量回归测试，帮助团队把提示词缓存从 API 功能做成可观测、可版本化的成本与延迟优化体系。

  2026/06/26 Prompt Caching / LLM Engineering / AI Agent / Cost Optimization / LLM Inference / Cache Engineering / TTFT

• Prefill-Decode Disaggregation：LLM 推理为什么要把 Prefill 和 Decode 拆开

  本文系统拆解 Prefill-Decode Disaggregation 的工程原理、TTFT 与 ITL/TPOT 的指标边界、KV cache 传输成本、调度策略和上线 Checklist，帮助判断 LLM 推理服务何时应该从统一实例走向分离式架构。

  2026/06/25 LLM Inference / Prefill Decode / vLLM / SGLang / AI Infrastructure / KV Cache / TTFT / ITL / Goodput