标签：kv cache

共 23 篇文章

• PagedAttention 生产实战：用分页式 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 的原理、KV Cache 分页管理、连续批处理协同、监控指标和上线检查，帮助你在大模型推理服务中降低显存碎片并提升吞吐。

  2026/07/01 大模型 / LLM Serving / PagedAttention / KV Cache / 推理优化

• Prefix Caching 生产实战：用 KV Cache 复用降低长上下文 TTFT

  系统讲解 Prefix Caching 在大模型推理服务中的原理、适用场景、工程接入、指标监控、安全边界与常见误区，帮助 RAG、Agent 和多轮对话应用降低 TTFT、减少重复预填充计算并提升资源利用率。

  2026/07/01 大模型 / 推理优化 / KV Cache / Prefix Caching / 工程实践

• KV Cache 量化生产实战：用 FP8/INT8 降低长上下文推理显存压力

  系统梳理 KV Cache 量化在长上下文 LLM 推理中的价值、原理、vLLM/TensorRT-LLM 落地方式、评估指标与上线风险，帮助团队稳妥降低显存与延迟成本。

  2026/07/01 大模型 / 推理优化 / KV Cache / 量化 / LLMOps / vLLM / TensorRT-LLM

• Prefill-Decode Disaggregation 生产实战：分离预填充与解码，降低 TTFT/TPOT 冲突

  系统梳理大模型预填充与解码分离架构，深入解释长上下文场景下首 token 延迟与逐 token 延迟的冲突根源，覆盖 KV Cache 传输、动态路由、资源配比、监控指标与上线检查清单，助你平稳落地生产环境。

  2026/07/01 大模型 / 推理加速 / LLM Serving / KV Cache / 工程实践

• Continuous Batching 生产实战：让 LLM 服务在高并发下稳定吃满 GPU

  本文系统梳理大模型服务中连续批处理的核心原理、调度策略、KV Cache 约束、工程落地步骤与监控指标，帮助团队在高并发场景下提升吞吐并控制尾延迟，覆盖从原理验证到生产上线的完整实践路径。

  2026/07/01 LLM Serving / Continuous Batching / vLLM / KV Cache / 性能工程 / 推理优化 / GPU 调度

• Prefix Caching 生产实战：用 KV Cache 复用降低 TTFT 与输入成本

  系统讲解 Prefix Caching 与 KV Cache 复用在大模型推理中的核心原理、工程落地五步流程、关键监控指标、五大适用场景及常见误区，并附上线检查清单，帮助团队降低首 token 延迟与重复计算成本。

  2026/06/30 大模型 / LLM Serving / KV Cache / Prefix Caching / 推理优化 / TTFT / vLLM / Prompt Caching

• KV Cache Quantization 生产实战：用低精度缓存降低长上下文推理显存

  系统讲解 KV Cache Quantization 的原理、工程落地、评估指标与上线风险，覆盖 FP8/INT8/INT4 选型策略、vLLM 与 Transformers 实战代码、安全对齐风险及灰度发布路径，帮助团队在长上下文推理中有效降低显存压力并保障服务质量。

  2026/06/30 LLM / KV Cache / Inference / Quantization / LLMOps

• PagedAttention 生产实战：用分页 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 如何通过分页 KV Cache 管理缓解大模型推理中的显存碎片与过度预留问题，帮助工程团队提升吞吐、降低延迟波动，并给出生产上线检查清单与监控策略。

  2026/06/30 llm-serving / pagedattention / kv-cache / inference

• Prefix Caching 生产实战：让 RAG 与 Agent 服务复用 KV Cache 的完整指南

  本文系统讲解 Prefix Caching 如何复用共享提示词与上下文的 KV Cache，降低 RAG、Agent 和长文档问答场景的 TTFT、推理成本与重复预填充开销，并给出 vLLM、OpenAI API、SGLang 的工程落地清单与常见误区。

  2026/06/30 LLM Serving / KV Cache / RAG / Agent Infrastructure / Prefix Caching / 推理优化

• Attention Sinks 实战：用 StreamingLLM 做长会话持续生成

  本文从注意力沉降现象出发，解释 StreamingLLM 如何保留初始 Sink Token 与最近窗口，在不微调模型的前提下降低长会话显存压力，并给出生产落地边界、监控指标与上线检查清单。

  2026/06/30 LLM Serving / StreamingLLM / KV Cache / Long Context

• KV Cache Quantization 实战：长上下文推理的显存与吞吐治理

  KV Cache 量化不是简单把缓存改成低精度，而是围绕显存容量、注意力带宽、模型精度、校准数据和线上回退策略的一整套推理服务治理方案。

  2026/06/30 LLM Serving / KV Cache / Quantization / Long Context

• KV Cache 复用实战：Prefix Caching、Offloading 与长上下文成本治理

  KV Cache 复用正在成为长上下文大模型服务的核心优化点。本文从 Prefix Caching、RadixAttention 到多级 Offloading，系统梳理命中率、延迟、成本与上线检查方法，帮助团队在同样 GPU 预算下承载更多请求。

  2026/06/29 LLM Inference / KV Cache / Prefix Caching / vLLM / SGLang

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、适用边界、KV Cache 传输、资源规划与上线检查清单。

  2026/06/29 LLM Serving / Prefill-Decode / KV Cache / 推理优化 / 长上下文 / 延迟治理

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、KV Cache 传输、资源规划与上线检查清单，帮助 LLM 服务从“能跑”迈向稳定可扩展。

  2026/06/29 LLM Serving / Prefill Decode / KV Cache / Inference Optimization / 长上下文 / 尾延迟 / RAG / Agent

• PagedAttention 实战：为什么大模型服务的瓶颈不是算力，而是 KV Cache 调度

  从 KV Cache 内存碎片、PagedAttention、连续批处理到前缀缓存，系统讲清大模型推理服务如何提升吞吐、降低延迟，并给出工程落地检查清单。

  2026/06/29 LLM Inference / PagedAttention / KV Cache / vLLM / 大模型工程

• KV Cache 优化实战：LLM 推理成本真正卡在显存里

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/28 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• KV Cache 优化实战：LLM 推理成本真正卡在显存里

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/28 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• KV Cache 优化实战：让大模型推理更快、更省显存

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、PagedAttention、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/26 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• LLM 推理加速：KV Cache 优化的原理、工程实践与避坑指南

  系统讲解大模型推理中 KV Cache 的原理与工程实践：涵盖 PagedAttention、Prefix Caching、KV Cache 量化、Offloading 及线上监控，助你掌握推理优化核心方法。

  2026/06/26 LLM / Inference / KV Cache / vLLM / PagedAttention / 大模型推理优化

• Prefix-Aware KV Cache Routing：LLM 推理别再重复算相同前缀

  本文系统拆解 Prefix-Aware KV Cache Routing 的生产工程价值，从 prefix caching、KV cache block hash、worker 路由、跨节点缓存复用、租户隔离到 SLO 监控，帮助团队减少重复 prefill、降低 TTFT，并避免缓存热点与安全风险。

  2026/06/26 LLM Inference / KV Cache / Prefix Caching / AI Infrastructure / Model Serving

• Prefill-Decode Disaggregation：LLM 推理为什么要把 Prefill 和 Decode 拆开

  本文系统拆解 Prefill-Decode Disaggregation 的工程原理、TTFT 与 ITL/TPOT 的指标边界、KV cache 传输成本、调度策略和上线 Checklist，帮助判断 LLM 推理服务何时应该从统一实例走向分离式架构。

  2026/06/25 LLM Inference / Prefill Decode / vLLM / SGLang / AI Infrastructure / KV Cache / TTFT / ITL / Goodput

• KV Cache Engineering：LLM 推理真正的内存瓶颈，不只是模型权重

  本文系统拆解 KV cache 在 LLM 推理中的作用、显存瓶颈、PagedAttention、Prefix Caching、RadixAttention 与 KV cache quantization，帮助工程团队从内存账本角度优化长上下文、batch size、TTFT 和吞吐量。

  2026/06/25 LLM Inference / KV Cache / PagedAttention / vLLM / AI Infrastructure

• Batch Speculative Decoding：生产级 LLM 推理加速不能只看吞吐量

  系统拆解 Batch Speculative Decoding 的工程原理、ragged tensor 风险、KV-cache 同步要求与生产落地指标，帮助理解 LLM 推理加速从单请求优化走向批量服务时必须解决的正确性问题。

  2026/06/25 LLM Inference / Speculative Decoding / KV Cache / vLLM / AI Infrastructure