文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 172 篇，第 9 / 18 页。

• LLM 推理容量规划生产实战：用 Token 吞吐压测与队列水位估算 GPU 余量

  本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。

  2026/07/05 LLM Serving / Capacity Planning / GPU Inference / SLO / vLLM / Token Throughput

• LLM Agent 持久化工作流生产实战：用检查点、状态机与人审恢复跑稳长任务

  本文讲解如何把长任务型大模型 Agent 从一次性脚本改造成可恢复工作流，覆盖检查点、状态机、人审中断、重试超时、幂等副作用和上线检查清单，适合需要稳定运行的生产场景。

  2026/07/05 LLM Agent / Durable Workflow / LangGraph / Temporal / Production AI

• LLM LoRA 适配器缓存生产实战：用冷热分层与驱逐策略降低动态加载抖动

  本文讲解多租户大模型服务中 LoRA 适配器缓存的生产治理，覆盖动态加载、冷热分层、驱逐策略、租户配额、版本发布与上线检查，帮助团队降低首次延迟和显存抖动风险。

  2026/07/05 LLM Serving / LoRA / Adapter Cache / Inference Infrastructure / 冷热分层 / 多租户 / 动态加载 / 驱逐策略

• LLM 混合检索路由生产实战：用查询分类、RRF 与回退策略稳住 RAG 召回

  本文深入讲解大模型RAG系统中混合检索路由的生产实践，覆盖查询分类、BM25与向量检索融合、RRF排序算法、权重调节策略、回退治理与上线检查清单，帮助团队减少漏召回与检索策略失控。

  2026/07/05 LLM / RAG / 混合检索 / RRF / 查询路由 / 召回策略

• LLM 长视频理解生产实战：用帧采样、时间戳索引与片段回放稳定问答质量

  本文讲解长视频问答进入生产前的工程治理方法，覆盖帧采样、镜头切分、字幕融合、时间戳索引、片段回放、证据校验与上线检查，帮助团队降低漏看关键帧和时间顺序错误。

  2026/07/05 LLM / 视频理解 / 多模态AI / 生产工程 / RAG / 帧采样 / 时间戳索引

• LLM 检索索引更新生产实战：用蓝绿索引与增量回灌避免 RAG 质量回退

  本文讲解如何治理 RAG 检索索引更新，覆盖蓝绿索引、双写、增量回灌、别名切换、质量抽检和回滚策略，帮助团队在文档、Embedding 模型或切块规则变化时降低检索质量回退风险。

  2026/07/04 LLM / RAG / Vector Search / Embedding / Production Engineering

• LLM Reasoning Budget 生产实战：用推理开关、Token 上限与超时策略管住成本

  深入讲解推理模型的 thinking 成本治理方法论：从任务分级、推理开关、effort 策略到 Token 上限、超时回退与上线检查，帮助团队在复杂任务上保留推理质量，同时避免隐藏推理 Token 拉高延迟与账单。

  2026/07/04 LLM / Reasoning Models / Cost Optimization / Inference Engineering

• LLM 文档视觉抽取生产实战：用版面切块与置信度审计稳住 PDF 解析质量

  本文讲解如何把多模态大模型用于 PDF 与扫描件解析，覆盖版面切块、表格抽取、置信度审计、人工复核和上线检查，帮助团队降低幻觉、漏抽与错位解析风险，适合合同、财报、工单等复杂文档场景。

  2026/07/04 llm / multimodal / document-ai / pdf-parsing / production / rag / layout-analysis / vision-language-model

• LLM 输出内容安全生产实战：用分级审核与灰度阈值降低误拦截

  本文系统讲解大模型内容安全在生产环境中的分级审核、阈值灰度、人工复核和误拦截治理，帮助团队在降低风险的同时保留正常用户体验。

  2026/07/04 llm-safety / content-moderation / production-ai / guardrails / tiered-review / gray-threshold

• LLM Streaming Backpressure 生产实战：用取消、超时与流控稳定长输出体验

  本文系统讲解大模型流式输出中的背压、取消与超时治理，覆盖 SSE 事件流、客户端慢读、服务端队列、连接中断、资源回收、降级策略和上线检查，帮助团队稳定长输出体验。

  2026/07/03 llm-serving / streaming / backpressure / production