标签：LLM Inference

共 16 篇文章

• Speculative Decoding 实战：用 EAGLE 与 Draft Model 降低 LLM 单用户延迟

  从推理服务视角深入拆解 Speculative Decoding 的草稿生成、并行校验、接受率与上线指标，系统对比 Draft Model、Medusa、EAGLE 等主流方案，结合灰度验证与回滚清单，帮助 LLM 工程团队将投机解码从论文技巧落地为稳定的生产优化手段。

  2026/06/30 LLM Inference / Speculative Decoding / vLLM / EAGLE

• KV Cache 复用实战：Prefix Caching、Offloading 与长上下文成本治理

  KV Cache 复用正在成为长上下文大模型服务的核心优化点。本文从 Prefix Caching、RadixAttention 到多级 Offloading，系统梳理命中率、延迟、成本与上线检查方法，帮助团队在同样 GPU 预算下承载更多请求。

  2026/06/29 LLM Inference / KV Cache / Prefix Caching / vLLM / SGLang

• Speculative Decoding 生产落地：为什么低 QPS 加速，高负载反而变慢

  从生产推理角度拆解推测解码的收益边界，解释草稿模型、验证模型、接受率、请求负载与批处理之间的关系，并给出上线前的压测、回退和监控清单。

  2026/06/29 LLM Inference / Speculative Decoding / vLLM / TensorRT-LLM / 性能优化

• 大模型量化实战：FP8、INT4、AWQ 与生产推理的取舍

  从FP8、INT4、AWQ、GPTQ到KV Cache量化，系统讲清大模型推理量化的收益、风险、选型方法和上线检查清单，帮助LLM推理工程师做出可落地的量化决策。

  2026/06/29 LLM Inference / Quantization / vLLM / TensorRT-LLM / Model Serving

• PagedAttention 实战：为什么大模型服务的瓶颈不是算力，而是 KV Cache 调度

  从 KV Cache 内存碎片、PagedAttention、连续批处理到前缀缓存，系统讲清大模型推理服务如何提升吞吐、降低延迟，并给出工程落地检查清单。

  2026/06/29 LLM Inference / PagedAttention / KV Cache / vLLM / 大模型工程

• KV Cache 优化实战：LLM 推理成本真正卡在显存里

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/28 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• KV Cache 优化实战：LLM 推理成本真正卡在显存里

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/28 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• KV Cache 优化实战：让大模型推理更快、更省显存

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、PagedAttention、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/26 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• Prefix-Aware KV Cache Routing：LLM 推理别再重复算相同前缀

  本文系统拆解 Prefix-Aware KV Cache Routing 的生产工程价值，从 prefix caching、KV cache block hash、worker 路由、跨节点缓存复用、租户隔离到 SLO 监控，帮助团队减少重复 prefill、降低 TTFT，并避免缓存热点与安全风险。

  2026/06/26 LLM Inference / KV Cache / Prefix Caching / AI Infrastructure / Model Serving

• LLM Quantization Engineering：生产推理不能只看位宽

  本文系统拆解 LLM 量化的生产工程逻辑，从 AWQ、GPTQ、SmoothQuant、FP8、INT4、KV cache 量化、校准数据、硬件 kernel 到质量回归测试，帮助团队判断大模型推理降本时如何在显存、延迟、吞吐和准确率之间做可靠取舍。

  2026/06/26 LLM Inference / Quantization / AWQ / GPTQ / AI Infrastructure

• Multi-LoRA Serving：一套 Base Model 如何服务上千个定制模型

  本文系统拆解 Multi-LoRA Serving 的生产工程价值，从 LoRA adapter、共享 base model、动态加载、GPU 缓存、异构 rank、请求路由、租户隔离到 SLO 监控，帮助团队用更低成本部署大规模定制化 LLM 服务。

  2026/06/26 LLM Inference / LoRA / Multi-Tenant Serving / AI Infrastructure / Model Customization

• Prompt Caching Engineering：长任务 Agent 的成本与延迟优化不能只靠自动缓存

  本文系统拆解 Prompt Caching 在生产级 LLM Agent 中的工程价值，从稳定前缀、cache breakpoint、工具 schema、动态上下文、TTFT、缓存命中指标到质量回归测试，帮助团队把提示词缓存从 API 功能做成可观测、可版本化的成本与延迟优化体系。

  2026/06/26 Prompt Caching / LLM Engineering / AI Agent / Cost Optimization / LLM Inference / Cache Engineering / TTFT

• Chunked Prefill Scheduling：LLM 推理调度为什么不能只靠 Continuous Batching

  本文系统拆解 Chunked Prefill Scheduling 的工程原理、continuous batching 的局限、TTFT 与 ITL 的指标取舍、token budget 调优、公平性控制和生产上线 Checklist，帮助判断 LLM 推理系统如何降低长 prompt 对流式输出的干扰。

  2026/06/26 LLM Inference / Chunked Prefill / Continuous Batching / vLLM / AI Infrastructure

• Prefill-Decode Disaggregation：LLM 推理为什么要把 Prefill 和 Decode 拆开

  本文系统拆解 Prefill-Decode Disaggregation 的工程原理、TTFT 与 ITL/TPOT 的指标边界、KV cache 传输成本、调度策略和上线 Checklist，帮助判断 LLM 推理服务何时应该从统一实例走向分离式架构。

  2026/06/25 LLM Inference / Prefill Decode / vLLM / SGLang / AI Infrastructure / KV Cache / TTFT / ITL / Goodput

• KV Cache Engineering：LLM 推理真正的内存瓶颈，不只是模型权重

  本文系统拆解 KV cache 在 LLM 推理中的作用、显存瓶颈、PagedAttention、Prefix Caching、RadixAttention 与 KV cache quantization，帮助工程团队从内存账本角度优化长上下文、batch size、TTFT 和吞吐量。

  2026/06/25 LLM Inference / KV Cache / PagedAttention / vLLM / AI Infrastructure

• Batch Speculative Decoding：生产级 LLM 推理加速不能只看吞吐量

  系统拆解 Batch Speculative Decoding 的工程原理、ragged tensor 风险、KV-cache 同步要求与生产落地指标，帮助理解 LLM 推理加速从单请求优化走向批量服务时必须解决的正确性问题。

  2026/06/25 LLM Inference / Speculative Decoding / KV Cache / vLLM / AI Infrastructure