标签：Inference Infrastructure

共 2 篇文章

• LLM GPU 多租户隔离生产实战：用 MIG Profile、Time-Slicing 分层与重配置门禁稳定共享推理

  面向共享 GPU 上的大模型推理，本文系统讲解 MIG、Time-Slicing 与 MPS 的隔离差异，给出 Profile 选型、Kubernetes 调度、重配置门禁、监控与回滚方法，帮助团队在利用率、延迟和故障边界之间建立可验证的生产方案。

  2026/07/12 LLM Serving / NVIDIA MIG / GPU Multi-Tenancy / Kubernetes / Inference Infrastructure

• LLM LoRA 适配器缓存生产实战：用冷热分层与驱逐策略降低动态加载抖动

  本文讲解多租户大模型服务中 LoRA 适配器缓存的生产治理，覆盖动态加载、冷热分层、驱逐策略、租户配额、版本发布与上线检查，帮助团队降低首次延迟和显存抖动风险。

  2026/07/05 LLM Serving / LoRA / Adapter Cache / Inference Infrastructure / 冷热分层 / 多租户 / 动态加载 / 驱逐策略