文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 106 篇，第 4 / 11 页。

• Tool Result Caching 生产实战：用缓存命中率降低 Agent 外部调用成本

  本文系统拆解大模型工具调用中的结果缓存设计，覆盖缓存键、TTL、幂等、失效、观测指标与上线检查，帮助 Agent 在保证准确性的前提下降低外部 API 成本与尾延迟。

  2026/07/02 LLM Agent / Tool Calling / Caching / Cost Optimization / Production / 工具调用 / 缓存

• Embedding 与 Reranker 生产评估：用离线回放和影子流量治理检索质量回归

  本文系统讲解 Embedding 与 Reranker 上线后的检索质量评估方法，覆盖离线回放、影子流量、混合检索、指标设计和回归处置，帮助团队避免模型升级后召回质量悄然下降。

  2026/07/02 Embedding / Reranker / RAG / Hybrid Search / Retrieval Evaluation / 影子流量 / 离线回放

• VLM Serving 生产实战：用视觉 Token 预算稳定图片与视频推理

  本文系统讲解多模态大模型服务中图片与视频输入治理、视觉 Token 预算、预处理队列、成本控制和上线检查清单，帮助团队在生产环境中稳定落地 VLM 推理服务。

  2026/07/02 VLM / LLM Serving / Multimodal AI / 视觉Token预算 / 多模态推理 / Inference / Vision Token / vLLM / SGLang

• LLM Gateway 生产实战：用策略引擎治理多租户、预算与模型访问边界

  从 LLM Gateway 策略引擎切入，系统梳理多租户模型访问控制、预算限额、速率限制、审计日志和灰度发布的落地方法，帮助团队把分散的大模型调用治理成可控、可观测、可审计的统一入口。

  2026/07/02 LLM Gateway / 策略引擎 / 多租户 / 速率限制 / 预算治理 / 模型访问控制 / AI Infrastructure

• Serverless GPU 推理冷启动治理：用 Warm Pool 与分阶段预热降低首次延迟

  深入剖析 Serverless GPU 场景下大模型冷启动的六阶段瓶颈，从 Warm Pool 分层策略、分阶段预热机制到工程落地架构与指标体系，帮助团队在 GPU 成本与首 Token 延迟之间找到可验证的平衡方案。

  2026/07/01 LLM Serving / Serverless GPU / Cold Start / Warm Pool / Inference Optimization / GPU 推理 / 冷启动优化

• Multi-LoRA 生产实战：用适配器缓存与冷热分层稳定多租户推理

  从多租户推理场景出发，系统讲解 Multi-LoRA 服务中的适配器缓存、冷热分层、Rank 感知调度、驱逐策略和上线检查方法，帮助团队在 GPU 显存约束下稳定服务海量定制化 LoRA 适配器。

  2026/07/01 LLM Serving / LoRA / Inference / GPU / Multi Tenant / Adapter Cache / vLLM

• LLM Serving 过载保护实战：用 SLO 驱动自动伸缩与准入控制

  大模型推理服务上线后，真正棘手的问题往往不是单次请求慢，而是流量突增时系统陷入不可恢复的排队状态。本文围绕 SLO 驱动的自动伸缩与准入控制，给出基于队列长度、Token 压力、TTFT/TPOT 和租户配额的过载保护工程落地清单。

  2026/07/01 LLM Serving / Autoscaling / SLO / Admission Control / 过载保护 / 推理基础设施

• Continuous Batching 生产实战：用动态批处理提升 LLM Serving 吞吐

  本文系统讲解 Continuous Batching 如何通过迭代级调度提升 LLM 推理吞吐，覆盖静态批处理痛点、调度机制、KV Cache 约束、关键参数配置、监控指标与上线误区，适合推理服务优化与容量规划参考。

  2026/07/01 LLM Serving / Continuous Batching / Inference Optimization / GPU / vLLM

• Structured Outputs 生产实战：用 Constrained Decoding 让大模型稳定输出 JSON

  系统解析结构化输出在大模型应用中的核心价值，讲清 JSON Schema、约束解码、业务验证、失败回退和监控指标，帮助工程团队降低解析失败率，提升接口稳定性与上线可控性。

  2026/07/01 大模型 / 结构化输出 / Constrained Decoding / JSON Schema / 工程实践

• PagedAttention 生产实战：用分页式 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 的原理、KV Cache 分页管理、连续批处理协同、监控指标和上线检查，帮助你在大模型推理服务中降低显存碎片并提升吞吐。

  2026/07/01 大模型 / LLM Serving / PagedAttention / KV Cache / 推理优化