大模型、RAG 与 AI 智能体的工程实践https://oh-bug.com/https://oh-bug.com/zh/posts/llm-tool-result-cache-production/https://oh-bug.com/zh/posts/llm-tool-result-cache-production/本文讲解如何为大模型 Agent 的外部工具调用建立结果缓存，覆盖幂等键设计、TTL 语义分层、事件驱动失效、状态隔离、审计回放和上线检查清单，帮助团队降低重复 API 调用成本与延迟，同时避免缓存污染和跨租户泄露。Tue, 07 Jul 2026 07:03:37 GMThttps://oh-bug.com/zh/posts/llm-batch-api-offline-inference-production/https://oh-bug.com/zh/posts/llm-batch-api-offline-inference-production/本文讲解如何把非实时大模型任务改造成可恢复的 Batch API 离线流水线，覆盖 JSONL 队列、custom_id、状态轮询、错误回灌、结果对账、成本预算与上线检查清单，帮助团队降低大规模 LLM 任务的成本并提升工程可靠性。Tue, 07 Jul 2026 03:04:25 GMThttps://oh-bug.com/zh/posts/llm-chat-template-production-governance/https://oh-bug.com/zh/posts/llm-chat-template-production-governance/深入讲解大模型 Chat Template 的生产级治理方法，覆盖模板版本管理、特殊 token 处理、Token 精确计数、工具调用渲染及回放测试，帮助团队在模型切换时避免质量回退与成本失控。Mon, 06 Jul 2026 23:03:07 GMThttps://oh-bug.com/zh/posts/llm-reranker-evaluation-production-guide/https://oh-bug.com/zh/posts/llm-reranker-evaluation-production-guide/本文深入讲解RAG系统中LLM Reranker的生产评估方法论，覆盖黄金查询集构建、nDCG与MRR排序指标、候选集预算优化、延迟成本治理、灰度上线门禁与回滚策略，帮助团队建立独立的重排序评估体系，避免只看最终答案质量而忽视召回排序退化。Mon, 06 Jul 2026 19:05:36 GMThttps://oh-bug.com/zh/posts/edge-llm-inference-gguf-mmap/https://oh-bug.com/zh/posts/edge-llm-inference-gguf-mmap/系统讲解如何将开放权重大模型部署到本地工作站、边缘节点与内网服务器，涵盖 GGUF 量化选型、mmap 内存映射加载、CPU/GPU 分层卸载调参、服务化治理与上线检查清单，帮助团队把边缘推理从“能跑”提升到“生产可运维”。Mon, 06 Jul 2026 15:06:35 GMThttps://oh-bug.com/zh/posts/llm-gpu-fault-self-healing-production/https://oh-bug.com/zh/posts/llm-gpu-fault-self-healing-production/LLM 推理服务如何应对 GPU 异常？本文讲解 DCGM 健康检查、Kubernetes 四层探针设计、节点隔离、请求排空、CUDA OOM 分级恢复与灰度验证，帮助团队构建 GPU 故障自愈闭环，降低推理中断与重试风暴。Mon, 06 Jul 2026 11:02:54 GMThttps://oh-bug.com/zh/posts/llm-realtime-voice-agent-production/https://oh-bug.com/zh/posts/llm-realtime-voice-agent-production/本文讲解实时语音大模型 Agent 的生产架构，覆盖 WebRTC 音频传输、VAD 端点检测、打断恢复、转写缓冲、工具调用确认、人工接管和上线检查清单，帮助团队从 demo 走向可治理的语音 Agent 系统。Mon, 06 Jul 2026 07:07:00 GMThttps://oh-bug.com/zh/posts/llm-content-provenance-synthid-c2pa/https://oh-bug.com/zh/posts/llm-content-provenance-synthid-c2pa/本文讲解如何把大模型生成内容纳入可追溯治理体系，覆盖 SynthID 文本水印、C2PA 元数据、检测阈值、平台标签、篡改风险与上线检查清单，适合需要对外发布 AI 内容的工程与安全团队。Mon, 06 Jul 2026 03:01:53 GMThttps://oh-bug.com/zh/posts/computer-use-agent-browser-automation-production/https://oh-bug.com/zh/posts/computer-use-agent-browser-automation-production/本文深入探讨如何将 Computer-use Agent 应用于生产级网页任务，涵盖截图循环、动作回放、DOM 断言、失败恢复、人工接管与安全审计，帮助团队降低误点击和不可复现问题，构建可观测、可恢复的浏览器自动化系统。Sun, 05 Jul 2026 23:06:20 GMThttps://oh-bug.com/zh/posts/llm-model-artifact-supply-chain-production/https://oh-bug.com/zh/posts/llm-model-artifact-supply-chain-production/本文讲解大模型模型制品从下载、签名、扫描到上线准入的供应链治理方法，覆盖 safetensors、来源校验、SBOM、灰度放行和事故回滚，帮助团队降低权重污染风险，适合开源模型与内部模型仓库落地。Sun, 05 Jul 2026 19:02:51 GMThttps://oh-bug.com/zh/posts/coding-agent-sandbox-runtime-production/https://oh-bug.com/zh/posts/coding-agent-sandbox-runtime-production/本文深入讲解编码 Agent 在生产环境中如何通过沙盒运行时保护代码仓库，覆盖文件系统边界、网络白名单、敏感文件隔离、审批升级、容器执行平面、审计恢复与上线检查清单，为 LLM Agent 安全落地提供可执行方案。Sun, 05 Jul 2026 15:02:35 GMThttps://oh-bug.com/zh/posts/llm-inference-capacity-planning/https://oh-bug.com/zh/posts/llm-inference-capacity-planning/本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。Sun, 05 Jul 2026 11:03:52 GMThttps://oh-bug.com/zh/posts/llm-agent-durable-workflow-production/https://oh-bug.com/zh/posts/llm-agent-durable-workflow-production/本文讲解如何把长任务型大模型 Agent 从一次性脚本改造成可恢复工作流，覆盖检查点、状态机、人审中断、重试超时、幂等副作用和上线检查清单，适合需要稳定运行的生产场景。Sun, 05 Jul 2026 07:05:41 GMThttps://oh-bug.com/zh/posts/llm-lora-adapter-cache-cold-hot-tiering-eviction/https://oh-bug.com/zh/posts/llm-lora-adapter-cache-cold-hot-tiering-eviction/本文讲解多租户大模型服务中 LoRA 适配器缓存的生产治理，覆盖动态加载、冷热分层、驱逐策略、租户配额、版本发布与上线检查，帮助团队降低首次延迟和显存抖动风险。Sun, 05 Jul 2026 03:01:23 GMThttps://oh-bug.com/zh/posts/llm-hybrid-retrieval-routing/https://oh-bug.com/zh/posts/llm-hybrid-retrieval-routing/本文深入讲解大模型RAG系统中混合检索路由的生产实践，覆盖查询分类、BM25与向量检索融合、RRF排序算法、权重调节策略、回退治理与上线检查清单，帮助团队减少漏召回与检索策略失控。Sat, 04 Jul 2026 23:04:45 GMThttps://oh-bug.com/zh/posts/llm-long-video-understanding-production/https://oh-bug.com/zh/posts/llm-long-video-understanding-production/本文讲解长视频问答进入生产前的工程治理方法，覆盖帧采样、镜头切分、字幕融合、时间戳索引、片段回放、证据校验与上线检查，帮助团队降低漏看关键帧和时间顺序错误。Sat, 04 Jul 2026 19:02:04 GMThttps://oh-bug.com/zh/posts/llm-rag-index-update-blue-green-backfill/https://oh-bug.com/zh/posts/llm-rag-index-update-blue-green-backfill/本文讲解如何治理 RAG 检索索引更新，覆盖蓝绿索引、双写、增量回灌、别名切换、质量抽检和回滚策略，帮助团队在文档、Embedding 模型或切块规则变化时降低检索质量回退风险。Sat, 04 Jul 2026 11:01:27 GMThttps://oh-bug.com/zh/posts/llm-red-team-regression-testing-production/https://oh-bug.com/zh/posts/llm-red-team-regression-testing-production/本文讲解如何把大模型红队从一次性安全测试改造成持续回归门禁，覆盖攻击集版本、自动化扫描、风险分级、误报复核、灰度发布和上线检查，帮助团队在模型与提示词更新时及时发现安全倒退。Sat, 04 Jul 2026 07:02:25 GMThttps://oh-bug.com/zh/posts/llm-reasoning-budget-production/https://oh-bug.com/zh/posts/llm-reasoning-budget-production/深入讲解推理模型的 thinking 成本治理方法论：从任务分级、推理开关、effort 策略到 Token 上限、超时回退与上线检查，帮助团队在复杂任务上保留推理质量，同时避免隐藏推理 Token 拉高延迟与账单。Sat, 04 Jul 2026 03:05:22 GMThttps://oh-bug.com/zh/posts/llm-document-visual-extraction-production-layout-chunking-confidence-audit/https://oh-bug.com/zh/posts/llm-document-visual-extraction-production-layout-chunking-confidence-audit/本文讲解如何把多模态大模型用于 PDF 与扫描件解析，覆盖版面切块、表格抽取、置信度审计、人工复核和上线检查，帮助团队降低幻觉、漏抽与错位解析风险，适合合同、财报、工单等复杂文档场景。Fri, 03 Jul 2026 23:03:54 GMThttps://oh-bug.com/zh/posts/llm-output-content-safety-tiered-review/https://oh-bug.com/zh/posts/llm-output-content-safety-tiered-review/本文系统讲解大模型内容安全在生产环境中的分级审核、阈值灰度、人工复核和误拦截治理，帮助团队在降低风险的同时保留正常用户体验。Fri, 03 Jul 2026 19:05:08 GMThttps://oh-bug.com/zh/posts/llm-streaming-backpressure-production/https://oh-bug.com/zh/posts/llm-streaming-backpressure-production/本文系统讲解大模型流式输出中的背压、取消与超时治理，覆盖 SSE 事件流、客户端慢读、服务端队列、连接中断、资源回收、降级策略和上线检查，帮助团队稳定长输出体验。Fri, 03 Jul 2026 15:05:32 GMThttps://oh-bug.com/zh/posts/llm-behavior-drift-governance/https://oh-bug.com/zh/posts/llm-behavior-drift-governance/本文从模型更新与提示词回归双维度切入，系统讲解如何建立行为契约、按风险分组回归套件、搭建兼容性门禁，并结合灰度发布与快速回滚机制，降低大模型应用上线后的行为漂移与质量退化风险。Fri, 03 Jul 2026 11:02:05 GMThttps://oh-bug.com/zh/posts/llm-prompt-data-privacy-production-guide/https://oh-bug.com/zh/posts/llm-prompt-data-privacy-production-guide/系统拆解大模型应用中的提示词数据隐私治理，覆盖 PII 脱敏、保留策略、审计日志、供应商边界与上线检查清单，帮助企业将隐私治理从一句“不会用于训练”落地为可运行的工程体系。Fri, 03 Jul 2026 07:08:03 GMThttps://oh-bug.com/zh/posts/llm-batch-inference-production-guide/https://oh-bug.com/zh/posts/llm-batch-inference-production-guide/本文系统讲解 LLM Batch Inference 如何用于离线摘要、分类、数据标注和批量评测任务，覆盖任务切分、幂等重试、结果归并、成本控制、失败恢复与上线检查清单。Fri, 03 Jul 2026 03:01:19 GMThttps://oh-bug.com/zh/posts/llm-finetuning-dataset-governance/https://oh-bug.com/zh/posts/llm-finetuning-dataset-governance/从工程实践角度深入讲解大语言模型微调数据集治理体系，涵盖数据版本追踪、多层次去重策略、训练/验证集污染检测、质量门禁设计与模型发布回滚，帮助团队将微调数据作为生产资产进行可信、可复现、可审计的管理。Thu, 02 Jul 2026 23:03:23 GMThttps://oh-bug.com/zh/posts/llm-cost-attribution-chargeback-production/https://oh-bug.com/zh/posts/llm-cost-attribution-chargeback-production/从 Token 台账、成本归因、账单校准、预算预警和 Chargeback 四个层面，系统讲解多团队 LLM 应用如何把不可解释的模型账单改造成可追踪、可分摊、可优化的工程指标体系。Thu, 02 Jul 2026 19:04:33 GMThttps://oh-bug.com/zh/posts/voice-agent-streaming-asr-vad-context/https://oh-bug.com/zh/posts/voice-agent-streaming-asr-vad-context/从工程视角拆解语音大模型应用的实时链路，详解如何用流式 ASR、语音活动检测、分段上下文、LLM 推理和 TTS 协调来降低端到端体感延迟，稳定长对话中的语义边界与用户体验。Thu, 02 Jul 2026 15:07:23 GMThttps://oh-bug.com/zh/posts/tool-contract-testing-production-practice/https://oh-bug.com/zh/posts/tool-contract-testing-production-practice/系统讲解大模型 Agent 工具调用中的契约测试方法，覆盖函数 Schema 版本化、兼容性规则、契约用例设计、灰度回放、CI 阻断与上线检查清单，帮助工程团队提前暴露 Schema 演进风险。Thu, 02 Jul 2026 11:05:28 GMThttps://oh-bug.com/zh/posts/tool-result-caching-production-practice/https://oh-bug.com/zh/posts/tool-result-caching-production-practice/本文系统拆解大模型工具调用中的结果缓存设计，覆盖缓存键、TTL、幂等、失效、观测指标与上线检查，帮助 Agent 在保证准确性的前提下降低外部 API 成本与尾延迟。Thu, 02 Jul 2026 07:04:48 GMThttps://oh-bug.com/zh/posts/embedding-reranker-production-evaluation-offline-replay-shadow-traffic/https://oh-bug.com/zh/posts/embedding-reranker-production-evaluation-offline-replay-shadow-traffic/本文系统讲解 Embedding 与 Reranker 上线后的检索质量评估方法，覆盖离线回放、影子流量、混合检索、指标设计和回归处置，帮助团队避免模型升级后召回质量悄然下降。Thu, 02 Jul 2026 03:04:49 GMThttps://oh-bug.com/zh/posts/vlm-serving-visual-token-budget/https://oh-bug.com/zh/posts/vlm-serving-visual-token-budget/本文系统讲解多模态大模型服务中图片与视频输入治理、视觉 Token 预算、预处理队列、成本控制和上线检查清单，帮助团队在生产环境中稳定落地 VLM 推理服务。Wed, 01 Jul 2026 23:05:19 GMThttps://oh-bug.com/zh/posts/llm-gateway-policy-engine-multi-tenant-budget/https://oh-bug.com/zh/posts/llm-gateway-policy-engine-multi-tenant-budget/从 LLM Gateway 策略引擎切入，系统梳理多租户模型访问控制、预算限额、速率限制、审计日志和灰度发布的落地方法，帮助团队把分散的大模型调用治理成可控、可观测、可审计的统一入口。Wed, 01 Jul 2026 19:04:05 GMThttps://oh-bug.com/zh/posts/serverless-gpu-inference-cold-start-warm-pool/https://oh-bug.com/zh/posts/serverless-gpu-inference-cold-start-warm-pool/深入剖析 Serverless GPU 场景下大模型冷启动的六阶段瓶颈，从 Warm Pool 分层策略、分阶段预热机制到工程落地架构与指标体系，帮助团队在 GPU 成本与首 Token 延迟之间找到可验证的平衡方案。Wed, 01 Jul 2026 15:10:44 GMThttps://oh-bug.com/zh/posts/multi-lora-production-adapter-cache-hot-cold-tiering/https://oh-bug.com/zh/posts/multi-lora-production-adapter-cache-hot-cold-tiering/从多租户推理场景出发，系统讲解 Multi-LoRA 服务中的适配器缓存、冷热分层、Rank 感知调度、驱逐策略和上线检查方法，帮助团队在 GPU 显存约束下稳定服务海量定制化 LoRA 适配器。Wed, 01 Jul 2026 11:08:10 GMThttps://oh-bug.com/zh/posts/llm-serving-overload-protection-slo-autoscaling-admission-control/https://oh-bug.com/zh/posts/llm-serving-overload-protection-slo-autoscaling-admission-control/大模型推理服务上线后，真正棘手的问题往往不是单次请求慢，而是流量突增时系统陷入不可恢复的排队状态。本文围绕 SLO 驱动的自动伸缩与准入控制，给出基于队列长度、Token 压力、TTFT/TPOT 和租户配额的过载保护工程落地清单。Wed, 01 Jul 2026 07:06:56 GMThttps://oh-bug.com/zh/posts/continuous-batching-production-guide/https://oh-bug.com/zh/posts/continuous-batching-production-guide/本文系统讲解 Continuous Batching 如何通过迭代级调度提升 LLM 推理吞吐，覆盖静态批处理痛点、调度机制、KV Cache 约束、关键参数配置、监控指标与上线误区，适合推理服务优化与容量规划参考。Wed, 01 Jul 2026 03:10:29 GMThttps://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-production-guide/https://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-production-guide/系统解析结构化输出在大模型应用中的核心价值，讲清 JSON Schema、约束解码、业务验证、失败回退和监控指标，帮助工程团队降低解析失败率，提升接口稳定性与上线可控性。Wed, 01 Jul 2026 01:05:16 GMThttps://oh-bug.com/zh/posts/pagedattention-production-kv-cache-llm-serving/https://oh-bug.com/zh/posts/pagedattention-production-kv-cache-llm-serving/系统讲解 PagedAttention 的原理、KV Cache 分页管理、连续批处理协同、监控指标和上线检查，帮助你在大模型推理服务中降低显存碎片并提升吞吐。Wed, 01 Jul 2026 00:06:51 GMThttps://oh-bug.com/zh/posts/prefix-caching-production-kv-cache-ttft/https://oh-bug.com/zh/posts/prefix-caching-production-kv-cache-ttft/系统讲解 Prefix Caching 在大模型推理服务中的原理、适用场景、工程接入、指标监控、安全边界与常见误区，帮助 RAG、Agent 和多轮对话应用降低 TTFT、减少重复预填充计算并提升资源利用率。Tue, 30 Jun 2026 23:05:15 GMThttps://oh-bug.com/zh/posts/speculative-decoding-production-practice/https://oh-bug.com/zh/posts/speculative-decoding-production-practice/系统讲解 Speculative Decoding 的 Draft-Verify 原理、vLLM 与 TensorRT-LLM 落地方式、指标调优、适用边界与上线检查，帮助在生产环境降低解码延迟，并避免低接受率带来的反向开销。Tue, 30 Jun 2026 22:08:33 GMThttps://oh-bug.com/zh/posts/kv-cache-quantization-production-fp8-int8/https://oh-bug.com/zh/posts/kv-cache-quantization-production-fp8-int8/系统梳理 KV Cache 量化在长上下文 LLM 推理中的价值、原理、vLLM/TensorRT-LLM 落地方式、评估指标与上线风险，帮助团队稳妥降低显存与延迟成本。Tue, 30 Jun 2026 21:06:55 GMThttps://oh-bug.com/zh/posts/prefill-decode-disaggregation-production/https://oh-bug.com/zh/posts/prefill-decode-disaggregation-production/系统梳理大模型预填充与解码分离架构，深入解释长上下文场景下首 token 延迟与逐 token 延迟的冲突根源，覆盖 KV Cache 传输、动态路由、资源配比、监控指标与上线检查清单，助你平稳落地生产环境。Tue, 30 Jun 2026 20:06:01 GMThttps://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-production/https://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-production/本文系统梳理结构化输出在大模型工程中的落地方法，覆盖 JSON Schema、约束解码、校验重试、性能开销、监控指标与常见误区，帮助团队减少解析失败、线上重试和隐性业务风险。Tue, 30 Jun 2026 19:06:36 GMThttps://oh-bug.com/zh/posts/agent-tool-calling-security/https://oh-bug.com/zh/posts/agent-tool-calling-security/系统梳理 LLM Agent 工具调用中的 Prompt Injection、Tool Poisoning 与权限放大风险，从信任边界、权限边界、执行边界三层架构出发，给出策略网关、人工审批、沙箱隔离和全链路监控的完整落地方案。Tue, 30 Jun 2026 18:14:32 GMThttps://oh-bug.com/zh/posts/llm-as-a-judge-production-calibration/https://oh-bug.com/zh/posts/llm-as-a-judge-production-calibration/系统讲解 LLM-as-a-Judge 在大模型应用评估中的生产落地方法，涵盖数据集构建、评分规约设计、偏差校准、指标监控与人工复核闭环，帮助团队把模型裁判从自动真理机变成可审计的评估子系统。Tue, 30 Jun 2026 17:07:31 GMThttps://oh-bug.com/zh/posts/continuous-batching-llm-production-guide/https://oh-bug.com/zh/posts/continuous-batching-llm-production-guide/本文系统梳理大模型服务中连续批处理的核心原理、调度策略、KV Cache 约束、工程落地步骤与监控指标，帮助团队在高并发场景下提升吞吐并控制尾延迟，覆盖从原理验证到生产上线的完整实践路径。Tue, 30 Jun 2026 16:08:31 GMThttps://oh-bug.com/zh/posts/speculative-decoding-production-guide/https://oh-bug.com/zh/posts/speculative-decoding-production-guide/本文系统梳理 Speculative Decoding 在大模型推理服务中的原理、工程落地、选型方法、指标监控与常见误区，帮助团队判断何时值得上线草稿模型加速。Tue, 30 Jun 2026 15:06:06 GMThttps://oh-bug.com/zh/posts/prefix-caching-production-kv-cache-reuse-ttft/https://oh-bug.com/zh/posts/prefix-caching-production-kv-cache-reuse-ttft/系统讲解 Prefix Caching 与 KV Cache 复用在大模型推理中的核心原理、工程落地五步流程、关键监控指标、五大适用场景及常见误区，并附上线检查清单，帮助团队降低首 token 延迟与重复计算成本。Tue, 30 Jun 2026 14:05:07 GMThttps://oh-bug.com/zh/posts/kv-cache-quantization-production-guide/https://oh-bug.com/zh/posts/kv-cache-quantization-production-guide/系统讲解 KV Cache Quantization 的原理、工程落地、评估指标与上线风险，覆盖 FP8/INT8/INT4 选型策略、vLLM 与 Transformers 实战代码、安全对齐风险及灰度发布路径，帮助团队在长上下文推理中有效降低显存压力并保障服务质量。Tue, 30 Jun 2026 13:06:00 GMThttps://oh-bug.com/zh/posts/context-engineering-production-practice/https://oh-bug.com/zh/posts/context-engineering-production-practice/上下文工程不是把资料塞满窗口，而是围绕任务目标动态选择指令、记忆、工具结果和检索片段，让 Agent 在长任务中保持可靠、可控和低成本。Tue, 30 Jun 2026 11:05:43 GMThttps://oh-bug.com/zh/posts/llm-serving-pagedattention-kv-cache/https://oh-bug.com/zh/posts/llm-serving-pagedattention-kv-cache/系统讲解 PagedAttention 如何通过分页 KV Cache 管理缓解大模型推理中的显存碎片与过度预留问题，帮助工程团队提升吞吐、降低延迟波动，并给出生产上线检查清单与监控策略。Tue, 30 Jun 2026 10:05:50 GMThttps://oh-bug.com/zh/posts/llm-observability-opentelemetry-genai-production/https://oh-bug.com/zh/posts/llm-observability-opentelemetry-genai-production/本文系统讲解如何使用 OpenTelemetry GenAI 语义规范为 LLM 与 Agent 应用建立可观测性，从调用链、Token、工具调用、隐私治理到上线检查，帮助团队定位延迟、成本和质量问题。Tue, 30 Jun 2026 08:02:45 GMThttps://oh-bug.com/zh/posts/mcp-tool-poisoning-agent-security/https://oh-bug.com/zh/posts/mcp-tool-poisoning-agent-security/系统拆解 MCP 工具投毒与间接提示注入风险，从工具注册、最小权限、参数审计、内容隔离到运行时拦截，给出可落地的五层防御架构与上线检查清单，帮助接入外部 API、数据库和企业系统的团队建立可审计的 Agent 安全边界。Tue, 30 Jun 2026 07:07:31 GMThttps://oh-bug.com/zh/posts/prefix-caching-production-rag-agent-kv-cache/https://oh-bug.com/zh/posts/prefix-caching-production-rag-agent-kv-cache/本文系统讲解 Prefix Caching 如何复用共享提示词与上下文的 KV Cache，降低 RAG、Agent 和长文档问答场景的 TTFT、推理成本与重复预填充开销，并给出 vLLM、OpenAI API、SGLang 的工程落地清单与常见误区。Tue, 30 Jun 2026 06:02:54 GMThttps://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-json-schema/https://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-json-schema/本文系统讲解 Structured Outputs 与 Constrained Decoding 的核心原理、Schema 设计、服务端接入、性能成本、异常处理、上线检查与常见误区，帮助 LLM 应用稳定生成可解析 JSON。Tue, 30 Jun 2026 05:03:47 GMThttps://oh-bug.com/zh/posts/agent-memory-engineering-llm-agent-reliable-memory/https://oh-bug.com/zh/posts/agent-memory-engineering-llm-agent-reliable-memory/从短期会话到长期记忆，系统拆解 LLM Agent 的写入、整理、读取、遗忘与评估机制，帮助团队避免把记忆层做成不可控的向量库堆料，打造可生产落地的 Agent 记忆系统。Tue, 30 Jun 2026 04:01:02 GMThttps://oh-bug.com/zh/posts/contextual-retrieval-practice/https://oh-bug.com/zh/posts/contextual-retrieval-practice/系统讲解 Contextual Retrieval 的原理、索引改造、混合检索、重排与上线检查，帮助工程团队降低 RAG 漏召回并提升答案可追溯性。Tue, 30 Jun 2026 03:00:39 GMThttps://oh-bug.com/zh/posts/speculative-decoding-eagle-draft-model-llm-latency/https://oh-bug.com/zh/posts/speculative-decoding-eagle-draft-model-llm-latency/从推理服务视角深入拆解 Speculative Decoding 的草稿生成、并行校验、接受率与上线指标，系统对比 Draft Model、Medusa、EAGLE 等主流方案，结合灰度验证与回滚清单，帮助 LLM 工程团队将投机解码从论文技巧落地为稳定的生产优化手段。Tue, 30 Jun 2026 02:05:32 GMThttps://oh-bug.com/zh/posts/llm-model-routing-evaluation-driven/https://oh-bug.com/zh/posts/llm-model-routing-evaluation-driven/本文围绕多模型路由的生产落地展开，解释路由信号、评估闭环、成本预算、回退策略与上线检查，帮助团队在质量、延迟和费用之间建立可验证、可回滚、可观测的动态模型选择机制。Tue, 30 Jun 2026 00:04:19 GMThttps://oh-bug.com/zh/posts/attention-sinks-streamingllm-long-session-generation/https://oh-bug.com/zh/posts/attention-sinks-streamingllm-long-session-generation/本文从注意力沉降现象出发，解释 StreamingLLM 如何保留初始 Sink Token 与最近窗口，在不微调模型的前提下降低长会话显存压力，并给出生产落地边界、监控指标与上线检查清单。Mon, 29 Jun 2026 23:01:13 GMThttps://oh-bug.com/zh/posts/llm-as-a-judge-production-rubric-bias-regression-testing/https://oh-bug.com/zh/posts/llm-as-a-judge-production-rubric-bias-regression-testing/本文从 LLM-as-a-Judge 的评分模式、Rubric 设计、偏差来源、线上回归、人工复核与阈值治理出发，整理一套适合 RAG、Agent 和内容生成系统的生产级评测闭环。Mon, 29 Jun 2026 22:05:45 GMThttps://oh-bug.com/zh/posts/agent-observability-trace-eval-production-loop/https://oh-bug.com/zh/posts/agent-observability-trace-eval-production-loop/围绕大模型 Agent 线上治理，拆解 Trace、Span、评估器、采样、脱敏、回放与告警如何协同，帮助团队从日志排障升级为可复现、可审计、可持续改进的质量工程。Mon, 29 Jun 2026 21:05:42 GMThttps://oh-bug.com/zh/posts/kv-cache-quantization-practice-long-context-inference/https://oh-bug.com/zh/posts/kv-cache-quantization-practice-long-context-inference/KV Cache 量化不是简单把缓存改成低精度，而是围绕显存容量、注意力带宽、模型精度、校准数据和线上回退策略的一整套推理服务治理方案。Mon, 29 Jun 2026 20:04:23 GMThttps://oh-bug.com/zh/posts/continuous-batching-llm-serving-practice/https://oh-bug.com/zh/posts/continuous-batching-llm-serving-practice/从固定批处理、迭代级调度到 PagedAttention，系统梳理 Continuous Batching 在大模型推理服务中的原理、收益、边界与上线检查方法。Mon, 29 Jun 2026 19:01:23 GMThttps://oh-bug.com/zh/posts/mcp-tool-server-security-governance/https://oh-bug.com/zh/posts/mcp-tool-server-security-governance/MCP 让大模型连接工具变得统一，但也放大了权限、身份、审计与提示注入风险。本文从协议边界、授权模型、执行隔离和上线检查出发，整理一套可落地的 MCP Tool Server 安全治理方案。Mon, 29 Jun 2026 18:04:37 GMThttps://oh-bug.com/zh/posts/moe-expert-parallelism-inference-guide/https://oh-bug.com/zh/posts/moe-expert-parallelism-inference-guide/MoE模型推理服务中，Expert Parallelism如何影响通信开销与负载均衡？本文从真实瓶颈出发，系统梳理EP工作机制、All-to-All通信、并行策略组合、跨节点部署与上线检查清单，帮助工程师在生产环境中高效部署稀疏大模型。Mon, 29 Jun 2026 17:03:38 GMThttps://oh-bug.com/zh/posts/multi-lora-serving-guide/https://oh-bug.com/zh/posts/multi-lora-serving-guide/从 LoRA 原理、动态适配器加载、批处理调度和上线治理出发，解释 Multi-LoRA Serving 如何降低多业务大模型部署成本，并指出工程落地中的边界与常见误区。Mon, 29 Jun 2026 16:01:34 GMThttps://oh-bug.com/zh/posts/chunked-prefill-llm-inference-latency/https://oh-bug.com/zh/posts/chunked-prefill-llm-inference-latency/本文从连续批处理与预填充分块的协同机制出发，深入解析长上下文推理中如何通过 Chunked Prefill 治理延迟，涵盖核心调度原理、chunk size 调参策略、工程落地指标与生产上线检查清单。Mon, 29 Jun 2026 15:03:33 GMThttps://oh-bug.com/zh/posts/prompt-caching-engineering-practice/https://oh-bug.com/zh/posts/prompt-caching-engineering-practice/深入解析 Prompt Caching 的核心原理与工程实践，从前缀稳定性、缓存边界到 Agent 场景落地，提供可复现的优化方案与生产检查清单，帮助团队在不改变模型语义的前提下显著降低输入成本与首字延迟。Mon, 29 Jun 2026 14:03:24 GMThttps://oh-bug.com/zh/posts/structured-output-constrained-decoding/https://oh-bug.com/zh/posts/structured-output-constrained-decoding/本文从 JSON Schema、约束解码、vLLM 与 Outlines 等工程实现出发，解释结构化输出如何提升可靠性，以及上线时需要关注的延迟、Schema 设计与异常兜底。Mon, 29 Jun 2026 13:06:35 GMThttps://oh-bug.com/zh/posts/kv-cache-reuse-prefix-caching-offloading-cost/https://oh-bug.com/zh/posts/kv-cache-reuse-prefix-caching-offloading-cost/KV Cache 复用正在成为长上下文大模型服务的核心优化点。本文从 Prefix Caching、RadixAttention 到多级 Offloading，系统梳理命中率、延迟、成本与上线检查方法，帮助团队在同样 GPU 预算下承载更多请求。Mon, 29 Jun 2026 12:05:04 GMThttps://oh-bug.com/zh/posts/speculative-decoding-production-low-qps-high-load/https://oh-bug.com/zh/posts/speculative-decoding-production-low-qps-high-load/从生产推理角度拆解推测解码的收益边界，解释草稿模型、验证模型、接受率、请求负载与批处理之间的关系，并给出上线前的压测、回退和监控清单。Mon, 29 Jun 2026 11:05:32 GMThttps://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-serving/https://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-serving/长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、适用边界、KV Cache 传输、资源规划与上线检查清单。Mon, 29 Jun 2026 10:06:59 GMThttps://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-serving-latency/https://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-serving-latency/长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、KV Cache 传输、资源规划与上线检查清单，帮助 LLM 服务从“能跑”迈向稳定可扩展。Mon, 29 Jun 2026 10:06:59 GMThttps://oh-bug.com/zh/posts/llm-quantization-fp8-int4-awq-production/https://oh-bug.com/zh/posts/llm-quantization-fp8-int4-awq-production/从FP8、INT4、AWQ、GPTQ到KV Cache量化，系统讲清大模型推理量化的收益、风险、选型方法和上线检查清单，帮助LLM推理工程师做出可落地的量化决策。Mon, 29 Jun 2026 09:04:25 GMThttps://oh-bug.com/zh/posts/pagedattention-practice-kv-cache-scheduling-bottleneck/https://oh-bug.com/zh/posts/pagedattention-practice-kv-cache-scheduling-bottleneck/从 KV Cache 内存碎片、PagedAttention、连续批处理到前缀缓存，系统讲清大模型推理服务如何提升吞吐、降低延迟，并给出工程落地检查清单。Mon, 29 Jun 2026 08:03:33 GMThttps://oh-bug.com/zh/posts/structured-outputs-practical-guide-stable-json-llm/https://oh-bug.com/zh/posts/structured-outputs-practical-guide-stable-json-llm/本文系统讲解大模型结构化输出的工程落地方法，覆盖 JSON Schema、约束解码、Schema 设计、评估指标、常见误区与上线检查，适合构建 Agent、工具调用和数据抽取流程。Mon, 29 Jun 2026 07:07:41 GMThttps://oh-bug.com/zh/posts/speculative-decoding-llm-inference-acceleration/https://oh-bug.com/zh/posts/speculative-decoding-llm-inference-acceleration/系统拆解 Speculative Decoding 的 draft model 与 target model 协作机制，涵盖候选 token 校验、接受率分析、低 batch 场景收益及工程上线检查清单，帮助读者深入理解 LLM 推理加速的核心方法。Mon, 29 Jun 2026 05:51:32 GMThttps://oh-bug.com/zh/posts/kv-cache-optimization-llm-inference-cost/https://oh-bug.com/zh/posts/kv-cache-optimization-llm-inference-cost/系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。Sun, 28 Jun 2026 08:07:55 GMThttps://oh-bug.com/zh/posts/kv-cache-optimization-llm-inference/https://oh-bug.com/zh/posts/kv-cache-optimization-llm-inference/系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。Sat, 27 Jun 2026 16:06:31 GMThttps://oh-bug.com/zh/posts/speculative-decoding-practice-llm-inference/https://oh-bug.com/zh/posts/speculative-decoding-practice-llm-inference/系统拆解 Speculative Decoding 的 draft、verify、accept/reject 流程，覆盖 LLM 推理加速的适用场景、关键工程指标、draft model 选型策略与常见误区，帮助工程团队在生产环境中落地推理加速。Sat, 27 Jun 2026 08:48:54 GMThttps://oh-bug.com/zh/posts/kv-cache-optimization-practice/https://oh-bug.com/zh/posts/kv-cache-optimization-practice/系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、PagedAttention、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。Fri, 26 Jun 2026 11:13:30 GMThttps://oh-bug.com/zh/posts/llm-inference-kv-cache-optimization-guide/https://oh-bug.com/zh/posts/llm-inference-kv-cache-optimization-guide/系统讲解大模型推理中 KV Cache 的原理与工程实践：涵盖 PagedAttention、Prefix Caching、KV Cache 量化、Offloading 及线上监控，助你掌握推理优化核心方法。Fri, 26 Jun 2026 09:30:54 GMThttps://oh-bug.com/zh/posts/prefix-aware-kv-cache-routing/https://oh-bug.com/zh/posts/prefix-aware-kv-cache-routing/本文系统拆解 Prefix-Aware KV Cache Routing 的生产工程价值，从 prefix caching、KV cache block hash、worker 路由、跨节点缓存复用、租户隔离到 SLO 监控，帮助团队减少重复 prefill、降低 TTFT，并避免缓存热点与安全风险。Fri, 26 Jun 2026 01:12:19 GMThttps://oh-bug.com/zh/posts/llm-quantization-engineering/https://oh-bug.com/zh/posts/llm-quantization-engineering/本文系统拆解 LLM 量化的生产工程逻辑，从 AWQ、GPTQ、SmoothQuant、FP8、INT4、KV cache 量化、校准数据、硬件 kernel 到质量回归测试，帮助团队判断大模型推理降本时如何在显存、延迟、吞吐和准确率之间做可靠取舍。Fri, 26 Jun 2026 00:03:00 GMThttps://oh-bug.com/zh/posts/agent-observability-production-ai-agents/https://oh-bug.com/zh/posts/agent-observability-production-ai-agents/系统拆解 AI Agent 可观测性工程，从 OpenTelemetry GenAI semantic conventions、LLM trace、tool call span、retrieval evidence、memory lineage 到 online evals 与 execution provenance，帮助团队定位 RAG、工具调用和长任务 Agent 的真实失败原因。Thu, 25 Jun 2026 22:59:50 GMThttps://oh-bug.com/zh/posts/multi-lora-serving-one-base-model-thousands-adapters/https://oh-bug.com/zh/posts/multi-lora-serving-one-base-model-thousands-adapters/本文系统拆解 Multi-LoRA Serving 的生产工程价值，从 LoRA adapter、共享 base model、动态加载、GPU 缓存、异构 rank、请求路由、租户隔离到 SLO 监控，帮助团队用更低成本部署大规模定制化 LLM 服务。Thu, 25 Jun 2026 22:03:36 GMThttps://oh-bug.com/zh/posts/prompt-caching-engineering-llm-agent-cost-latency-optimization/https://oh-bug.com/zh/posts/prompt-caching-engineering-llm-agent-cost-latency-optimization/本文系统拆解 Prompt Caching 在生产级 LLM Agent 中的工程价值，从稳定前缀、cache breakpoint、工具 schema、动态上下文、TTFT、缓存命中指标到质量回归测试，帮助团队把提示词缓存从 API 功能做成可观测、可版本化的成本与延迟优化体系。Thu, 25 Jun 2026 21:00:50 GMThttps://oh-bug.com/zh/posts/llm-model-routing-production-guide/https://oh-bug.com/zh/posts/llm-model-routing-production-guide/系统拆解 LLM Model Routing 的生产工程价值，覆盖强弱模型路由、级联调用、质量评估、成本预算、延迟 SLO、Provider 回退与对抗路由风险，帮助团队建立可观测、可回退、可评估的大模型调用中间层。Thu, 25 Jun 2026 20:01:52 GMThttps://oh-bug.com/zh/posts/mcp-agent-security-tool-access-llm-security-boundary/https://oh-bug.com/zh/posts/mcp-agent-security-tool-access-llm-security-boundary/从 MCP 官方规范、OWASP、OpenAI、NSA 与安全研究出发，系统拆解 AI Agent 工具接入中的 tool poisoning、间接 prompt injection、权限控制、动作审查、沙箱执行与审计回归，帮助团队构建可上线的 MCP Agent 安全架构。Thu, 25 Jun 2026 19:00:38 GMThttps://oh-bug.com/zh/posts/rag-retrieval-quality-engineering/https://oh-bug.com/zh/posts/rag-retrieval-quality-engineering/本文系统拆解生产级 RAG 的检索质量工程，从文档解析、结构化分块、BM25 与向量混合检索、重排、证据压缩到 RAG 评估指标，帮助团队减少幻觉、提升答案可追溯性与系统稳定性。Thu, 25 Jun 2026 18:02:59 GMThttps://oh-bug.com/zh/posts/llm-as-a-judge-production-evaluation/https://oh-bug.com/zh/posts/llm-as-a-judge-production-evaluation/本文系统拆解 LLM-as-a-Judge 的工程价值、G-Eval、pointwise 与 pairwise 评测、position bias、verbosity bias、self-preference、人工校准和 CI 回归测试，帮助团队建立可追踪、可校准、可上线的 LLM 自动评测体系。Thu, 25 Jun 2026 17:02:44 GMThttps://oh-bug.com/zh/posts/chunked-prefill-scheduling-llm-inference/https://oh-bug.com/zh/posts/chunked-prefill-scheduling-llm-inference/本文系统拆解 Chunked Prefill Scheduling 的工程原理、continuous batching 的局限、TTFT 与 ITL 的指标取舍、token budget 调优、公平性控制和生产上线 Checklist，帮助判断 LLM 推理系统如何降低长 prompt 对流式输出的干扰。Thu, 25 Jun 2026 16:01:03 GMThttps://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-inference/https://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-inference/本文系统拆解 Prefill-Decode Disaggregation 的工程原理、TTFT 与 ITL/TPOT 的指标边界、KV cache 传输成本、调度策略和上线 Checklist，帮助判断 LLM 推理服务何时应该从统一实例走向分离式架构。Thu, 25 Jun 2026 15:04:12 GMThttps://oh-bug.com/zh/posts/structured-outputs-tool-calling-two-pass-execution/https://oh-bug.com/zh/posts/structured-outputs-tool-calling-two-pass-execution/从 OpenAI、Anthropic、vLLM 与最新研究出发，拆解结构化输出、工具调用和约束解码的工程边界，说明为什么生产级 Agent 应采用两阶段约束设计，避免 JSON Schema 抑制工具调用。Thu, 25 Jun 2026 14:02:39 GMThttps://oh-bug.com/zh/posts/speculative-decoding-llm-inference-interview-engineering/https://oh-bug.com/zh/posts/speculative-decoding-llm-inference-interview-engineering/本文系统讲解 Speculative Decoding 的原理、面试答法与工程落地方法，覆盖 draft model、target model、接受率、参数调优、适用场景和常见误区，适合复习 LLM 推理优化。Thu, 25 Jun 2026 13:25:51 GMThttps://oh-bug.com/zh/posts/kv-cache-engineering-llm-inference-memory-bottleneck/https://oh-bug.com/zh/posts/kv-cache-engineering-llm-inference-memory-bottleneck/本文系统拆解 KV cache 在 LLM 推理中的作用、显存瓶颈、PagedAttention、Prefix Caching、RadixAttention 与 KV cache quantization，帮助工程团队从内存账本角度优化长上下文、batch size、TTFT 和吞吐量。Thu, 25 Jun 2026 13:00:33 GMThttps://oh-bug.com/zh/posts/llm-selection-guide/https://oh-bug.com/zh/posts/llm-selection-guide/从成本、隐私安全、定制化能力和推理性能等多维度对比开源模型（如 LLaMA、Qwen）与商业闭源模型（如 OpenAI、Claude），为企业智能化转型提供决策依据。Thu, 25 Jun 2026 13:00:00 GMThttps://oh-bug.com/zh/posts/context-engineering-ai-agent-context-budget/https://oh-bug.com/zh/posts/context-engineering-ai-agent-context-budget/本文结合 Anthropic、OpenAI 与 GitHub 工程实践，拆解 AI Agent 上下文工程理念：为什么生产级 Agent 的关键不是更聪明的提示词，而是把上下文窗口当成稀缺资源来管理，涵盖工具设计、记忆压缩、子 Agent 分工与离线评测。Thu, 25 Jun 2026 12:03:18 GMThttps://oh-bug.com/zh/posts/ai-agents-future/https://oh-bug.com/zh/posts/ai-agents-future/分析 AI Agent 的核心要素（规划、记忆、工具使用），解析 LangChain、CrewAI 与 AutoGPT 等主流智能体框架，展望自主工作流的未来。Thu, 25 Jun 2026 12:00:00 GMThttps://oh-bug.com/zh/posts/batch-speculative-decoding-production-llm-inference/https://oh-bug.com/zh/posts/batch-speculative-decoding-production-llm-inference/系统拆解 Batch Speculative Decoding 的工程原理、ragged tensor 风险、KV-cache 同步要求与生产落地指标，帮助理解 LLM 推理加速从单请求优化走向批量服务时必须解决的正确性问题。Thu, 25 Jun 2026 11:01:19 GMThttps://oh-bug.com/zh/posts/rag-architecture-deep-dive/https://oh-bug.com/zh/posts/rag-architecture-deep-dive/解析 RAG 的技术架构与优化路径，从文档分块、向量化检索、重排(Rerank)到模型生成，探讨如何解决企业私有知识库的问答准确率瓶颈。Thu, 25 Jun 2026 11:00:00 GMThttps://oh-bug.com/zh/posts/llm-production-evaluation-regression-testing-guide/https://oh-bug.com/zh/posts/llm-production-evaluation-regression-testing-guide/深入探讨大模型进入生产环境面临的静默失败痛点，系统解析如何构建包含黄金数据集、LLM-as-a-judge 机制以及 CI/CD 回归测试的工业级评估流水线，助你攻克 AI 系统设计面试。Thu, 25 Jun 2026 10:06:32 GMThttps://oh-bug.com/zh/posts/prompt-engineering-guide/https://oh-bug.com/zh/posts/prompt-engineering-guide/深入探讨大语言模型(LLM)提示词设计的核心原则，包含零样本、少样本提示、思维链(CoT)及结构化Prompt设计，助你掌握大模型交互的艺术。Thu, 25 Jun 2026 10:00:00 GMT