标签：GPU 推理

共 4 篇文章

• Multi-LoRA 适配器缓存生产实战：GPU/CPU 两级驻留、LRU 淘汰与 LoRA Affinity 降低冷加载尾延迟

  面向多租户大模型推理平台，系统讲解 Multi-LoRA 适配器在 GPU/CPU 两级缓存中的驻留、LRU 淘汰、冷加载延迟与亲和路由设计，并给出容量规划、监控指标、发布治理和上线检查方法。

  2026/08/27 LLM 推理服务 / Multi-LoRA / LoRA 缓存 / GPU 推理 / 亲和路由 / 适配器管理

• LLM CUDA Graph 生产实战：用 Shape Bucket、分段捕获与 Eager 回退降低解码启动开销

  大模型解码阶段 CPU Kernel Launch 开销常被忽视。本文深入讲解 CUDA Graph 捕获与重放机制，结合 Shape Bucket 设计、分段捕获、预热状态机和 Eager 回退策略，给出可落地的生产方案，帮助团队降低推理尾延迟与 P99 抖动。

  2026/07/11 LLM 推理服务 / CUDA Graph / GPU 推理 / vLLM / 性能优化

• LLM Serving 自动伸缩生产实战：用队列水位、P95 延迟与 GPU 利用率安全扩缩容

  本文深入探讨 LLM Serving 生产环境的自动伸缩方案，以队列水位、P95 延迟、Token 吞吐和 GPU 利用率构建多层扩缩容控制闭环，融入 warm pool、admission control、成本边界与 cooldown 策略，帮助团队在成本约束下稳定满足推理 SLO。

  2026/07/09 LLM Serving / 自动伸缩 / GPU 推理 / P95 延迟 / SLO / 扩缩容

• Serverless GPU 推理冷启动治理：用 Warm Pool 与分阶段预热降低首次延迟

  深入剖析 Serverless GPU 场景下大模型冷启动的六阶段瓶颈，从 Warm Pool 分层策略、分阶段预热机制到工程落地架构与指标体系，帮助团队在 GPU 成本与首 Token 延迟之间找到可验证的平衡方案。

  2026/07/01 LLM Serving / Serverless GPU / Cold Start / Warm Pool / Inference Optimization / GPU 推理 / 冷启动优化