标签：LLM 推理服务

共 2 篇文章

• Multi-LoRA 适配器缓存生产实战：GPU/CPU 两级驻留、LRU 淘汰与 LoRA Affinity 降低冷加载尾延迟

  面向多租户大模型推理平台，系统讲解 Multi-LoRA 适配器在 GPU/CPU 两级缓存中的驻留、LRU 淘汰、冷加载延迟与亲和路由设计，并给出容量规划、监控指标、发布治理和上线检查方法。

  2026/08/27 LLM 推理服务 / Multi-LoRA / LoRA 缓存 / GPU 推理 / 亲和路由 / 适配器管理

• LLM CUDA Graph 生产实战：用 Shape Bucket、分段捕获与 Eager 回退降低解码启动开销

  大模型解码阶段 CPU Kernel Launch 开销常被忽视。本文深入讲解 CUDA Graph 捕获与重放机制，结合 Shape Bucket 设计、分段捕获、预热状态机和 Eager 回退策略，给出可落地的生产方案，帮助团队降低推理尾延迟与 P99 抖动。

  2026/07/11 LLM 推理服务 / CUDA Graph / GPU 推理 / vLLM / 性能优化