LLM Observability 生产实战:用 OpenTelemetry GenAI 语义规范追踪 Agent 调用链
本文系统讲解如何使用 OpenTelemetry GenAI 语义规范为 LLM 与 Agent 应用建立可观测性,从调用链、Token、工具调用、隐私治理到上线检查,帮助团队定位延迟、成本和质量问题。
共 9 篇文章
本文系统讲解如何使用 OpenTelemetry GenAI 语义规范为 LLM 与 Agent 应用建立可观测性,从调用链、Token、工具调用、隐私治理到上线检查,帮助团队定位延迟、成本和质量问题。
深入解析 Prompt Caching 的核心原理与工程实践,从前缀稳定性、缓存边界到 Agent 场景落地,提供可复现的优化方案与生产检查清单,帮助团队在不改变模型语义的前提下显著降低输入成本与首字延迟。
系统拆解 AI Agent 可观测性工程,从 OpenTelemetry GenAI semantic conventions、LLM trace、tool call span、retrieval evidence、memory lineage 到 online evals 与 execution provenance,帮助团队定位 RAG、工具调用和长任务 Agent 的真实失败原因。
本文系统拆解 Prompt Caching 在生产级 LLM Agent 中的工程价值,从稳定前缀、cache breakpoint、工具 schema、动态上下文、TTFT、缓存命中指标到质量回归测试,帮助团队把提示词缓存从 API 功能做成可观测、可版本化的成本与延迟优化体系。
从 MCP 官方规范、OWASP、OpenAI、NSA 与安全研究出发,系统拆解 AI Agent 工具接入中的 tool poisoning、间接 prompt injection、权限控制、动作审查、沙箱执行与审计回归,帮助团队构建可上线的 MCP Agent 安全架构。
本文系统拆解 LLM-as-a-Judge 的工程价值、G-Eval、pointwise 与 pairwise 评测、position bias、verbosity bias、self-preference、人工校准和 CI 回归测试,帮助团队建立可追踪、可校准、可上线的 LLM 自动评测体系。
从 OpenAI、Anthropic、vLLM 与最新研究出发,拆解结构化输出、工具调用和约束解码的工程边界,说明为什么生产级 Agent 应采用两阶段约束设计,避免 JSON Schema 抑制工具调用。
本文结合 Anthropic、OpenAI 与 GitHub 工程实践,拆解 AI Agent 上下文工程理念:为什么生产级 Agent 的关键不是更聪明的提示词,而是把上下文窗口当成稀缺资源来管理,涵盖工具设计、记忆压缩、子 Agent 分工与离线评测。
分析 AI Agent 的核心要素(规划、记忆、工具使用),解析 LangChain、CrewAI 与 AutoGPT 等主流智能体框架,展望自主工作流的未来。