标签：kubernetes

共 3 篇文章

• LLM Spot GPU Serving 生产实战：用 Interruption Notice、Drain Budget 与 Warm Replacement 降低抢占损失

  Spot GPU 能显著降低大模型推理基础设施成本，但抢占机制会直接切断流式连接并丢失显存状态。本文深入解析生产级 Spot LLM Serving 架构，详解中断信号感知、Drain Budget 计算、Drain 与 Warm Replacement 并行拉起、流式重试契约与故障演练，构建高可用的低成本推理体系。

  2026/09/21 llm-serving / spot-gpu / kubernetes / sre / inference-reliability

• LLM GPU 多租户隔离生产实战：用 MIG Profile、Time-Slicing 分层与重配置门禁稳定共享推理

  面向共享 GPU 上的大模型推理，本文系统讲解 MIG、Time-Slicing 与 MPS 的隔离差异，给出 Profile 选型、Kubernetes 调度、重配置门禁、监控与回滚方法，帮助团队在利用率、延迟和故障边界之间建立可验证的生产方案。

  2026/07/12 LLM Serving / NVIDIA MIG / GPU Multi-Tenancy / Kubernetes / Inference Infrastructure

• LLM GPU 故障自愈生产实战：用健康探针、节点隔离与请求排空降低推理中断

  LLM 推理服务如何应对 GPU 异常？本文讲解 DCGM 健康检查、Kubernetes 四层探针设计、节点隔离、请求排空、CUDA OOM 分级恢复与灰度验证，帮助团队构建 GPU 故障自愈闭环，降低推理中断与重试风暴。

  2026/07/06 LLM Serving / GPU Reliability / Kubernetes / DCGM / Inference Ops / GPU 故障自愈