标签：工程实践

共 6 篇文章

• Structured Outputs 生产实战：用 Constrained Decoding 让大模型稳定输出 JSON

  系统解析结构化输出在大模型应用中的核心价值，讲清 JSON Schema、约束解码、业务验证、失败回退和监控指标，帮助工程团队降低解析失败率，提升接口稳定性与上线可控性。

  2026/07/01 大模型 / 结构化输出 / Constrained Decoding / JSON Schema / 工程实践

• Prefix Caching 生产实战：用 KV Cache 复用降低长上下文 TTFT

  系统讲解 Prefix Caching 在大模型推理服务中的原理、适用场景、工程接入、指标监控、安全边界与常见误区，帮助 RAG、Agent 和多轮对话应用降低 TTFT、减少重复预填充计算并提升资源利用率。

  2026/07/01 大模型 / 推理优化 / KV Cache / Prefix Caching / 工程实践

• Speculative Decoding 生产实战：用 Draft-Verify 机制降低大模型解码延迟

  系统讲解 Speculative Decoding 的 Draft-Verify 原理、vLLM 与 TensorRT-LLM 落地方式、指标调优、适用边界与上线检查，帮助在生产环境降低解码延迟，并避免低接受率带来的反向开销。

  2026/07/01 大模型 / 推理优化 / Speculative Decoding / LLM Serving / 工程实践

• Prefill-Decode Disaggregation 生产实战：分离预填充与解码，降低 TTFT/TPOT 冲突

  系统梳理大模型预填充与解码分离架构，深入解释长上下文场景下首 token 延迟与逐 token 延迟的冲突根源，覆盖 KV Cache 传输、动态路由、资源配比、监控指标与上线检查清单，助你平稳落地生产环境。

  2026/07/01 大模型 / 推理加速 / LLM Serving / KV Cache / 工程实践

• Structured Outputs 生产实战：用 Constrained Decoding 让 JSON Schema 真正可用

  本文系统梳理结构化输出在大模型工程中的落地方法，覆盖 JSON Schema、约束解码、校验重试、性能开销、监控指标与常见误区，帮助团队减少解析失败、线上重试和隐性业务风险。

  2026/07/01 大模型 / 结构化输出 / JSON Schema / Constrained Decoding / 工程实践

• LLM-as-a-Judge 生产实战：如何校准自动评估，避免把模型裁判当真理

  系统讲解 LLM-as-a-Judge 在大模型应用评估中的生产落地方法，涵盖数据集构建、评分规约设计、偏差校准、指标监控与人工复核闭环，帮助团队把模型裁判从自动真理机变成可审计的评估子系统。

  2026/07/01 大模型 / LLM评估 / LLM-as-a-Judge / 工程实践 / LLMOps