文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 172 篇，第 12 / 18 页。

• Structured Outputs 生产实战：用 Constrained Decoding 让 JSON Schema 真正可用

  本文系统梳理结构化输出在大模型工程中的落地方法，覆盖 JSON Schema、约束解码、校验重试、性能开销、监控指标与常见误区，帮助团队减少解析失败、线上重试和隐性业务风险。

  2026/07/01 大模型 / 结构化输出 / JSON Schema / Constrained Decoding / 工程实践

• Agent 工具调用安全实战：用权限边界防住 Prompt Injection 与 Tool Poisoning

  系统梳理 LLM Agent 工具调用中的 Prompt Injection、Tool Poisoning 与权限放大风险，从信任边界、权限边界、执行边界三层架构出发，给出策略网关、人工审批、沙箱隔离和全链路监控的完整落地方案。

  2026/07/01 LLM Agent / Prompt Injection / Tool Calling / AI 安全 / MCP

• LLM-as-a-Judge 生产实战：如何校准自动评估，避免把模型裁判当真理

  系统讲解 LLM-as-a-Judge 在大模型应用评估中的生产落地方法，涵盖数据集构建、评分规约设计、偏差校准、指标监控与人工复核闭环，帮助团队把模型裁判从自动真理机变成可审计的评估子系统。

  2026/07/01 大模型 / LLM评估 / LLM-as-a-Judge / 工程实践 / LLMOps

• Continuous Batching 生产实战：让 LLM 服务在高并发下稳定吃满 GPU

  本文系统梳理大模型服务中连续批处理的核心原理、调度策略、KV Cache 约束、工程落地步骤与监控指标，帮助团队在高并发场景下提升吞吐并控制尾延迟，覆盖从原理验证到生产上线的完整实践路径。

  2026/07/01 LLM Serving / Continuous Batching / vLLM / KV Cache / 性能工程 / 推理优化 / GPU 调度

• Speculative Decoding 生产实战：用草稿模型降低 LLM 生成延迟

  本文系统梳理 Speculative Decoding 在大模型推理服务中的原理、工程落地、选型方法、指标监控与常见误区，帮助团队判断何时值得上线草稿模型加速。

  2026/06/30 大模型 / 推理优化 / Speculative Decoding / LLMOps / 性能工程

• Prefix Caching 生产实战：用 KV Cache 复用降低 TTFT 与输入成本

  系统讲解 Prefix Caching 与 KV Cache 复用在大模型推理中的核心原理、工程落地五步流程、关键监控指标、五大适用场景及常见误区，并附上线检查清单，帮助团队降低首 token 延迟与重复计算成本。

  2026/06/30 大模型 / LLM Serving / KV Cache / Prefix Caching / 推理优化 / TTFT / vLLM / Prompt Caching

• KV Cache Quantization 生产实战：用低精度缓存降低长上下文推理显存

  系统讲解 KV Cache Quantization 的原理、工程落地、评估指标与上线风险，覆盖 FP8/INT8/INT4 选型策略、vLLM 与 Transformers 实战代码、安全对齐风险及灰度发布路径，帮助团队在长上下文推理中有效降低显存压力并保障服务质量。

  2026/06/30 LLM / KV Cache / Inference / Quantization / LLMOps

• Context Engineering 生产实战：把 Agent 上下文窗口当成资源调度

  上下文工程不是把资料塞满窗口，而是围绕任务目标动态选择指令、记忆、工具结果和检索片段，让 Agent 在长任务中保持可靠、可控和低成本。

  2026/06/30 LLM Agent / Context Engineering / AI 工程实践 / Agent Memory

• PagedAttention 生产实战：用分页 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 如何通过分页 KV Cache 管理缓解大模型推理中的显存碎片与过度预留问题，帮助工程团队提升吞吐、降低延迟波动，并给出生产上线检查清单与监控策略。

  2026/06/30 llm-serving / pagedattention / kv-cache / inference

• LLM Observability 生产实战：用 OpenTelemetry GenAI 语义规范追踪 Agent 调用链

  本文系统讲解如何使用 OpenTelemetry GenAI 语义规范为 LLM 与 Agent 应用建立可观测性，从调用链、Token、工具调用、隐私治理到上线检查，帮助团队定位延迟、成本和质量问题。

  2026/06/30 llm / observability / opentelemetry / ai-agent / rag / genai / agent-tracing