LLM Spot GPU Serving 生产实战：用 Interruption Notice、Drain Budget 与 Warm Replacement 降低抢占损失
Spot GPU 能显著降低大模型推理基础设施成本，但抢占机制会直接切断流式连接并丢失显存状态。本文深入解析生产级 Spot LLM Serving 架构，详解中断信号感知、Drain Budget 计算、Drain 与 Warm Replacement 并行拉起、流式重试契约与故障演练，构建高可用的低成本推理体系。
标签：inference reliability
共 1 篇文章