标签：大模型工程

共 3 篇文章

• PagedAttention 实战：为什么大模型服务的瓶颈不是算力，而是 KV Cache 调度

  从 KV Cache 内存碎片、PagedAttention、连续批处理到前缀缓存，系统讲清大模型推理服务如何提升吞吐、降低延迟，并给出工程落地检查清单。

  2026/06/29 LLM Inference / PagedAttention / KV Cache / vLLM / 大模型工程

• Speculative Decoding 实战：为什么小模型草稿 + 大模型校验能降低 LLM 解码延迟

  系统拆解 Speculative Decoding 的 draft model 与 target model 协作机制，涵盖候选 token 校验、接受率分析、低 batch 场景收益及工程上线检查清单，帮助读者深入理解 LLM 推理加速的核心方法。

  2026/06/29 LLM / 推理优化 / Speculative Decoding / 大模型工程 / Inference

• Speculative Decoding 实战：让大模型少跑几次前向也能保持输出一致

  系统拆解 Speculative Decoding 的 draft、verify、accept/reject 流程，覆盖 LLM 推理加速的适用场景、关键工程指标、draft model 选型策略与常见误区，帮助工程团队在生产环境中落地推理加速。

  2026/06/27 LLM / 推理优化 / Speculative Decoding / 大模型工程 / Inference / Assisted Decoding