标签：cuda graph

共 2 篇文章

• LLM Serving CUDA Graph 生产实战：用 Shape Buckets、Piecewise Capture 与 Warmup Plan 降低 Kernel Launch 抖动

  CUDA Graph 可降低大模型推理的启动开销，但动态批次、形状变化与首次捕获也会制造延迟抖动。本文结合 vLLM 与 TensorRT-LLM，讲清形状分桶、分段捕获、预热策略、显存权衡与生产回退门禁，帮你把 GPU 未满载却延迟下不去的 Host 侧瓶颈压下去。

  2026/09/03 llm-serving / cuda-graph / inference-optimization / vllm / tensorrt-llm

• LLM CUDA Graph 生产实战：用 Shape Bucket、分段捕获与 Eager 回退降低解码启动开销

  大模型解码阶段 CPU Kernel Launch 开销常被忽视。本文深入讲解 CUDA Graph 捕获与重放机制，结合 Shape Bucket 设计、分段捕获、预热状态机和 Eager 回退策略，给出可落地的生产方案，帮助团队降低推理尾延迟与 P99 抖动。

  2026/07/11 LLM 推理服务 / CUDA Graph / GPU 推理 / vLLM / 性能优化