标签：LLM Engineering

共 5 篇文章

• Voice Agent 生产实战：用流式 ASR、VAD 与分段上下文稳定语音大模型体验

  从工程视角拆解语音大模型应用的实时链路，详解如何用流式 ASR、语音活动检测、分段上下文、LLM 推理和 TTS 协调来降低端到端体感延迟，稳定长对话中的语义边界与用户体验。

  2026/07/02 Voice Agent / 流式 ASR / VAD / LLM Engineering / Realtime AI / 语音大模型

• Structured Outputs 生产实战：用 Constrained Decoding 稳定生成 JSON Schema

  本文系统讲解 Structured Outputs 与 Constrained Decoding 的核心原理、Schema 设计、服务端接入、性能成本、异常处理、上线检查与常见误区，帮助 LLM 应用稳定生成可解析 JSON。

  2026/06/30 LLM Engineering / Structured Outputs / Constrained Decoding / JSON Schema

• Prompt Caching Engineering：长任务 Agent 的成本与延迟优化不能只靠自动缓存

  本文系统拆解 Prompt Caching 在生产级 LLM Agent 中的工程价值，从稳定前缀、cache breakpoint、工具 schema、动态上下文、TTFT、缓存命中指标到质量回归测试，帮助团队把提示词缓存从 API 功能做成可观测、可版本化的成本与延迟优化体系。

  2026/06/26 Prompt Caching / LLM Engineering / AI Agent / Cost Optimization / LLM Inference / Cache Engineering / TTFT

• Structured Outputs + Tool Calling：生产 Agent 为什么需要两阶段约束设计

  从 OpenAI、Anthropic、vLLM 与最新研究出发，拆解结构化输出、工具调用和约束解码的工程边界，说明为什么生产级 Agent 应采用两阶段约束设计，避免 JSON Schema 抑制工具调用。

  2026/06/25 LLM Engineering / Structured Outputs / Function Calling / AI Agent / Constrained Decoding

• Context Engineering：AI Agent 生产化的核心不是提示词，而是上下文预算

  本文结合 Anthropic、OpenAI 与 GitHub 工程实践，拆解 AI Agent 上下文工程理念：为什么生产级 Agent 的关键不是更聪明的提示词，而是把上下文窗口当成稀缺资源来管理，涵盖工具设计、记忆压缩、子 Agent 分工与离线评测。

  2026/06/25 AI Agent / Context Engineering / MCP / Function Calling / LLM Engineering