Continuous Batching 生产实战：让 LLM 服务在高并发下稳定吃满 GPU
本文系统梳理大模型服务中连续批处理的核心原理、调度策略、KV Cache 约束、工程落地步骤与监控指标，帮助团队在高并发场景下提升吞吐并控制尾延迟，覆盖从原理验证到生产上线的完整实践路径。
标签：性能工程
共 2 篇文章
-
-
Speculative Decoding 生产实战：用草稿模型降低 LLM 生成延迟
本文系统梳理 Speculative Decoding 在大模型推理服务中的原理、工程落地、选型方法、指标监控与常见误区，帮助团队判断何时值得上线草稿模型加速。