标签：KServe

共 1 篇文章

• LLM 冷启动治理生产实战：用 Local NVMe Cache、Weight Streaming 与 Warm Pool 缩短模型拉起时间

  大模型服务扩容后迟迟不能 Ready，瓶颈常在模型权重下载、磁盘读取与 GPU 装载。本文从本地 NVMe 缓存、权重流式加载、Warm Pool 与模型本地性感知调度出发，给出一套可落地的 LLM 冷启动治理方案。

  2026/08/28 LLM Serving / Cold Start / KServe / vLLM / GPU Inference