文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 106 篇，第 9 / 11 页。

• KV Cache 优化实战：LLM 推理成本真正卡在显存里

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/28 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• KV Cache 优化实战：LLM 推理成本真正卡在显存里

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/28 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• Speculative Decoding 实战：让大模型少跑几次前向也能保持输出一致

  系统拆解 Speculative Decoding 的 draft、verify、accept/reject 流程，覆盖 LLM 推理加速的适用场景、关键工程指标、draft model 选型策略与常见误区，帮助工程团队在生产环境中落地推理加速。

  2026/06/27 LLM / 推理优化 / Speculative Decoding / 大模型工程 / Inference / Assisted Decoding

• KV Cache 优化实战：让大模型推理更快、更省显存

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、PagedAttention、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/26 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• LLM 推理加速：KV Cache 优化的原理、工程实践与避坑指南

  系统讲解大模型推理中 KV Cache 的原理与工程实践：涵盖 PagedAttention、Prefix Caching、KV Cache 量化、Offloading 及线上监控，助你掌握推理优化核心方法。

  2026/06/26 LLM / Inference / KV Cache / vLLM / PagedAttention / 大模型推理优化

• Prefix-Aware KV Cache Routing：LLM 推理别再重复算相同前缀

  本文系统拆解 Prefix-Aware KV Cache Routing 的生产工程价值，从 prefix caching、KV cache block hash、worker 路由、跨节点缓存复用、租户隔离到 SLO 监控，帮助团队减少重复 prefill、降低 TTFT，并避免缓存热点与安全风险。

  2026/06/26 LLM Inference / KV Cache / Prefix Caching / AI Infrastructure / Model Serving

• LLM Quantization Engineering：生产推理不能只看位宽

  本文系统拆解 LLM 量化的生产工程逻辑，从 AWQ、GPTQ、SmoothQuant、FP8、INT4、KV cache 量化、校准数据、硬件 kernel 到质量回归测试，帮助团队判断大模型推理降本时如何在显存、延迟、吞吐和准确率之间做可靠取舍。

  2026/06/26 LLM Inference / Quantization / AWQ / GPTQ / AI Infrastructure

• Agent Observability：生产级 AI Agent 不能只看日志和延迟

  系统拆解 AI Agent 可观测性工程，从 OpenTelemetry GenAI semantic conventions、LLM trace、tool call span、retrieval evidence、memory lineage 到 online evals 与 execution provenance，帮助团队定位 RAG、工具调用和长任务 Agent 的真实失败原因。

  2026/06/26 AI Agent / LLM Observability / OpenTelemetry / Agent Evaluation / AI Infrastructure

• Multi-LoRA Serving：一套 Base Model 如何服务上千个定制模型

  本文系统拆解 Multi-LoRA Serving 的生产工程价值，从 LoRA adapter、共享 base model、动态加载、GPU 缓存、异构 rank、请求路由、租户隔离到 SLO 监控，帮助团队用更低成本部署大规模定制化 LLM 服务。

  2026/06/26 LLM Inference / LoRA / Multi-Tenant Serving / AI Infrastructure / Model Customization

• Prompt Caching Engineering：长任务 Agent 的成本与延迟优化不能只靠自动缓存

  本文系统拆解 Prompt Caching 在生产级 LLM Agent 中的工程价值，从稳定前缀、cache breakpoint、工具 schema、动态上下文、TTFT、缓存命中指标到质量回归测试，帮助团队把提示词缓存从 API 功能做成可观测、可版本化的成本与延迟优化体系。

  2026/06/26 Prompt Caching / LLM Engineering / AI Agent / Cost Optimization / LLM Inference / Cache Engineering / TTFT