文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 106 篇，第 6 / 11 页。

• KV Cache Quantization 生产实战：用低精度缓存降低长上下文推理显存

  系统讲解 KV Cache Quantization 的原理、工程落地、评估指标与上线风险，覆盖 FP8/INT8/INT4 选型策略、vLLM 与 Transformers 实战代码、安全对齐风险及灰度发布路径，帮助团队在长上下文推理中有效降低显存压力并保障服务质量。

  2026/06/30 LLM / KV Cache / Inference / Quantization / LLMOps

• Context Engineering 生产实战：把 Agent 上下文窗口当成资源调度

  上下文工程不是把资料塞满窗口，而是围绕任务目标动态选择指令、记忆、工具结果和检索片段，让 Agent 在长任务中保持可靠、可控和低成本。

  2026/06/30 LLM Agent / Context Engineering / AI 工程实践 / Agent Memory

• PagedAttention 生产实战：用分页 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 如何通过分页 KV Cache 管理缓解大模型推理中的显存碎片与过度预留问题，帮助工程团队提升吞吐、降低延迟波动，并给出生产上线检查清单与监控策略。

  2026/06/30 llm-serving / pagedattention / kv-cache / inference

• LLM Observability 生产实战：用 OpenTelemetry GenAI 语义规范追踪 Agent 调用链

  本文系统讲解如何使用 OpenTelemetry GenAI 语义规范为 LLM 与 Agent 应用建立可观测性，从调用链、Token、工具调用、隐私治理到上线检查，帮助团队定位延迟、成本和质量问题。

  2026/06/30 llm / observability / opentelemetry / ai-agent / rag / genai / agent-tracing

• MCP Tool Poisoning 实战：为 LLM Agent 建立工具调用安全边界

  系统拆解 MCP 工具投毒与间接提示注入风险，从工具注册、最小权限、参数审计、内容隔离到运行时拦截，给出可落地的五层防御架构与上线检查清单，帮助接入外部 API、数据库和企业系统的团队建立可审计的 Agent 安全边界。

  2026/06/30 llm-agent / mcp / ai-security / prompt-injection / tool-poisoning

• Prefix Caching 生产实战：让 RAG 与 Agent 服务复用 KV Cache 的完整指南

  本文系统讲解 Prefix Caching 如何复用共享提示词与上下文的 KV Cache，降低 RAG、Agent 和长文档问答场景的 TTFT、推理成本与重复预填充开销，并给出 vLLM、OpenAI API、SGLang 的工程落地清单与常见误区。

  2026/06/30 LLM Serving / KV Cache / RAG / Agent Infrastructure / Prefix Caching / 推理优化

• Structured Outputs 生产实战：用 Constrained Decoding 稳定生成 JSON Schema

  本文系统讲解 Structured Outputs 与 Constrained Decoding 的核心原理、Schema 设计、服务端接入、性能成本、异常处理、上线检查与常见误区，帮助 LLM 应用稳定生成可解析 JSON。

  2026/06/30 LLM Engineering / Structured Outputs / Constrained Decoding / JSON Schema

• Agent Memory 工程实战：让 LLM Agent 可靠记住该记住的事

  从短期会话到长期记忆，系统拆解 LLM Agent 的写入、整理、读取、遗忘与评估机制，帮助团队避免把记忆层做成不可控的向量库堆料，打造可生产落地的 Agent 记忆系统。

  2026/06/30 LLM Agent / Agent Memory / RAG / LangGraph / LlamaIndex / LangMem / MemGPT / 向量数据库 / 记忆治理

• Contextual Retrieval 实战：让 RAG Chunk 带着上下文被检索

  系统讲解 Contextual Retrieval 的原理、索引改造、混合检索、重排与上线检查，帮助工程团队降低 RAG 漏召回并提升答案可追溯性。

  2026/06/30 RAG / Contextual Retrieval / Hybrid Search / Reranking / Vector Search

• Speculative Decoding 实战：用 EAGLE 与 Draft Model 降低 LLM 单用户延迟

  从推理服务视角深入拆解 Speculative Decoding 的草稿生成、并行校验、接受率与上线指标，系统对比 Draft Model、Medusa、EAGLE 等主流方案，结合灰度验证与回滚清单，帮助 LLM 工程团队将投机解码从论文技巧落地为稳定的生产优化手段。

  2026/06/30 LLM Inference / Speculative Decoding / vLLM / EAGLE