标签：tensorrt llm

共 5 篇文章

• LLM Serving CUDA Graph 生产实战：用 Shape Buckets、Piecewise Capture 与 Warmup Plan 降低 Kernel Launch 抖动

  CUDA Graph 可降低大模型推理的启动开销，但动态批次、形状变化与首次捕获也会制造延迟抖动。本文结合 vLLM 与 TensorRT-LLM，讲清形状分桶、分段捕获、预热策略、显存权衡与生产回退门禁，帮你把 GPU 未满载却延迟下不去的 Host 侧瓶颈压下去。

  2026/09/03 llm-serving / cuda-graph / inference-optimization / vllm / tensorrt-llm

• LLM 模型格式转换生产实战：用 Tensor Mapping、QKV 重排与逐层数值校验避免静默退化

  系统讲解大模型权重在 Hugging Face、Megatron 与 TensorRT-LLM 之间转换时的参数映射、QKV 重排、分片索引、逐层数值校验和回滚门禁，帮助团队避免模型虽能加载却发生静默退化、输出漂移或并行切分错误，建立可重复、可审计的转换发布流程。

  2026/07/22 LLM Engineering / Model Conversion / Megatron / TensorRT-LLM / Safetensors

• KV Cache 量化生产实战：用 FP8/INT8 降低长上下文推理显存压力

  系统梳理 KV Cache 量化在长上下文 LLM 推理中的价值、原理、vLLM/TensorRT-LLM 落地方式、评估指标与上线风险，帮助团队稳妥降低显存与延迟成本。

  2026/07/01 大模型 / 推理优化 / KV Cache / 量化 / LLMOps / vLLM / TensorRT-LLM

• Speculative Decoding 生产落地：为什么低 QPS 加速，高负载反而变慢

  从生产推理角度拆解推测解码的收益边界，解释草稿模型、验证模型、接受率、请求负载与批处理之间的关系，并给出上线前的压测、回退和监控清单。

  2026/06/29 LLM Inference / Speculative Decoding / vLLM / TensorRT-LLM / 性能优化

• 大模型量化实战：FP8、INT4、AWQ 与生产推理的取舍

  从FP8、INT4、AWQ、GPTQ到KV Cache量化，系统讲清大模型推理量化的收益、风险、选型方法和上线检查清单，帮助LLM推理工程师做出可落地的量化决策。

  2026/06/29 LLM Inference / Quantization / vLLM / TensorRT-LLM / Model Serving