标签：Model Serving

共 2 篇文章

• 大模型量化实战：FP8、INT4、AWQ 与生产推理的取舍

  从FP8、INT4、AWQ、GPTQ到KV Cache量化，系统讲清大模型推理量化的收益、风险、选型方法和上线检查清单，帮助LLM推理工程师做出可落地的量化决策。

  2026/06/29 LLM Inference / Quantization / vLLM / TensorRT-LLM / Model Serving

• Prefix-Aware KV Cache Routing：LLM 推理别再重复算相同前缀

  本文系统拆解 Prefix-Aware KV Cache Routing 的生产工程价值，从 prefix caching、KV cache block hash、worker 路由、跨节点缓存复用、租户隔离到 SLO 监控，帮助团队减少重复 prefill、降低 TTFT，并避免缓存热点与安全风险。

  2026/06/26 LLM Inference / KV Cache / Prefix Caching / AI Infrastructure / Model Serving