标签：Production Engineering

共 4 篇文章

• LLM 输出长度治理生产实战：用 Finish Reason、Token 预算与续写策略避免答案半截

  本文从大模型答案半截、续写失控和成本抖动入手，讲解如何用 Finish Reason、Token 预算、长度分级、续写账本和上线门禁治理输出完整性，减少用户看到不完整答案的风险。

  2026/07/10 LLM API / Token Budget / Finish Reason / Reliability / Production Engineering

• LLM API 客户端可靠性生产实战：用错误分级、重试预算与请求账本稳住调用链路

  本文讲解大模型 API 客户端在生产环境中的可靠性治理，覆盖错误分级、超时边界、随机退避、重试预算、请求账本、降级策略与上线检查，帮助团队减少调用链路抖动。

  2026/07/08 LLM API / Reliability / Retry Budget / Rate Limit / Production Engineering

• LLM 工具结果缓存生产实战：用幂等键、TTL 与失效策略降低 Agent 外部调用成本

  本文讲解如何为大模型 Agent 的外部工具调用建立结果缓存，覆盖幂等键设计、TTL 语义分层、事件驱动失效、状态隔离、审计回放和上线检查清单，帮助团队降低重复 API 调用成本与延迟，同时避免缓存污染和跨租户泄露。

  2026/07/07 LLM Agent / Tool Calling / Cache / Production Engineering / 幂等键 / 缓存失效 / RAG

• LLM 检索索引更新生产实战：用蓝绿索引与增量回灌避免 RAG 质量回退

  本文讲解如何治理 RAG 检索索引更新，覆盖蓝绿索引、双写、增量回灌、别名切换、质量抽检和回滚策略，帮助团队在文档、Embedding 模型或切块规则变化时降低检索质量回退风险。

  2026/07/04 LLM / RAG / Vector Search / Embedding / Production Engineering