标签：大模型

共 12 篇文章

• Structured Outputs 生产实战：用 Constrained Decoding 让大模型稳定输出 JSON

  系统解析结构化输出在大模型应用中的核心价值，讲清 JSON Schema、约束解码、业务验证、失败回退和监控指标，帮助工程团队降低解析失败率，提升接口稳定性与上线可控性。

  2026/07/01 大模型 / 结构化输出 / Constrained Decoding / JSON Schema / 工程实践

• PagedAttention 生产实战：用分页式 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 的原理、KV Cache 分页管理、连续批处理协同、监控指标和上线检查，帮助你在大模型推理服务中降低显存碎片并提升吞吐。

  2026/07/01 大模型 / LLM Serving / PagedAttention / KV Cache / 推理优化

• Prefix Caching 生产实战：用 KV Cache 复用降低长上下文 TTFT

  系统讲解 Prefix Caching 在大模型推理服务中的原理、适用场景、工程接入、指标监控、安全边界与常见误区，帮助 RAG、Agent 和多轮对话应用降低 TTFT、减少重复预填充计算并提升资源利用率。

  2026/07/01 大模型 / 推理优化 / KV Cache / Prefix Caching / 工程实践

• Speculative Decoding 生产实战：用 Draft-Verify 机制降低大模型解码延迟

  系统讲解 Speculative Decoding 的 Draft-Verify 原理、vLLM 与 TensorRT-LLM 落地方式、指标调优、适用边界与上线检查，帮助在生产环境降低解码延迟，并避免低接受率带来的反向开销。

  2026/07/01 大模型 / 推理优化 / Speculative Decoding / LLM Serving / 工程实践

• KV Cache 量化生产实战：用 FP8/INT8 降低长上下文推理显存压力

  系统梳理 KV Cache 量化在长上下文 LLM 推理中的价值、原理、vLLM/TensorRT-LLM 落地方式、评估指标与上线风险，帮助团队稳妥降低显存与延迟成本。

  2026/07/01 大模型 / 推理优化 / KV Cache / 量化 / LLMOps / vLLM / TensorRT-LLM

• Prefill-Decode Disaggregation 生产实战：分离预填充与解码，降低 TTFT/TPOT 冲突

  系统梳理大模型预填充与解码分离架构，深入解释长上下文场景下首 token 延迟与逐 token 延迟的冲突根源，覆盖 KV Cache 传输、动态路由、资源配比、监控指标与上线检查清单，助你平稳落地生产环境。

  2026/07/01 大模型 / 推理加速 / LLM Serving / KV Cache / 工程实践

• Structured Outputs 生产实战：用 Constrained Decoding 让 JSON Schema 真正可用

  本文系统梳理结构化输出在大模型工程中的落地方法，覆盖 JSON Schema、约束解码、校验重试、性能开销、监控指标与常见误区，帮助团队减少解析失败、线上重试和隐性业务风险。

  2026/07/01 大模型 / 结构化输出 / JSON Schema / Constrained Decoding / 工程实践

• LLM-as-a-Judge 生产实战：如何校准自动评估，避免把模型裁判当真理

  系统讲解 LLM-as-a-Judge 在大模型应用评估中的生产落地方法，涵盖数据集构建、评分规约设计、偏差校准、指标监控与人工复核闭环，帮助团队把模型裁判从自动真理机变成可审计的评估子系统。

  2026/07/01 大模型 / LLM评估 / LLM-as-a-Judge / 工程实践 / LLMOps

• Speculative Decoding 生产实战：用草稿模型降低 LLM 生成延迟

  本文系统梳理 Speculative Decoding 在大模型推理服务中的原理、工程落地、选型方法、指标监控与常见误区，帮助团队判断何时值得上线草稿模型加速。

  2026/06/30 大模型 / 推理优化 / Speculative Decoding / LLMOps / 性能工程

• Prefix Caching 生产实战：用 KV Cache 复用降低 TTFT 与输入成本

  系统讲解 Prefix Caching 与 KV Cache 复用在大模型推理中的核心原理、工程落地五步流程、关键监控指标、五大适用场景及常见误区，并附上线检查清单，帮助团队降低首 token 延迟与重复计算成本。

  2026/06/30 大模型 / LLM Serving / KV Cache / Prefix Caching / 推理优化 / TTFT / vLLM / Prompt Caching

• 检索增强生成 (RAG) 架构深度解析与落地挑战

  解析 RAG 的技术架构与优化路径，从文档分块、向量化检索、重排(Rerank)到模型生成，探讨如何解决企业私有知识库的问答准确率瓶颈。

  2026/06/25 RAG / 知识库 / 大模型

• Prompt Engineering 核心原则与高阶技巧指南

  深入探讨大语言模型(LLM)提示词设计的核心原则，包含零样本、少样本提示、思维链(CoT)及结构化Prompt设计，助你掌握大模型交互的艺术。

  2026/06/25 提示词工程 / 大模型 / 应用实践