标签：rag

共 20 篇文章

• LLM 实时语音输入生产实战：用 VAD 分段、Partial/Final 对账与音频契约稳住低延迟识别

  实时语音应用的难点不只是模型准确率。本文从音频格式契约、VAD 分段策略、Partial 与 Final 状态对账、时间戳回放到真实噪声评测，系统拆解如何构建可观测、可回滚的低延迟语音识别管线，适合 LLM、生成式 AI 与实时 Agent 技术读者。

  2026/07/13 LLM / 实时语音 / 语音识别 / VAD / 生产工程 / Agent / RAG

• LLM LoRA Adapter 缓存生产实战：用热度分层、冷启动预算与驱逐策略稳住多租户微调服务

  在多租户微调服务中，LoRA Adapter 数量、版本与租户数持续增长，单纯全量预加载已不可行。本文从 Adapter Registry、热度分层、冷启动预算、驱逐策略到上线检查，系统讲解如何构建生产级 Adapter 缓存治理体系，帮助团队在共享基础模型池中稳定服务大量定制模型。

  2026/07/09 LLM Serving / LoRA / Adapter Cache / Multi Tenant / Model Serving / GPU / Fine Tuning / RAG / vLLM

• LLM Embedding 索引迁移生产实战：用双写、别名切换与 Recall 门禁避免召回漂移

  Embedding 模型升级会改变向量维度、距离度量和召回结果。本文系统讲解如何用双写、别名切换、回填校验和 Recall 门禁完成零停机索引迁移，涵盖索引版本管理、增量双写、影子流量验证与快速回滚的完整生产方案。

  2026/07/08 LLM / Embedding / Vector Search / RAG / Production

• LLM 工具结果缓存生产实战：用幂等键、TTL 与失效策略降低 Agent 外部调用成本

  本文讲解如何为大模型 Agent 的外部工具调用建立结果缓存，覆盖幂等键设计、TTL 语义分层、事件驱动失效、状态隔离、审计回放和上线检查清单，帮助团队降低重复 API 调用成本与延迟，同时避免缓存污染和跨租户泄露。

  2026/07/07 LLM Agent / Tool Calling / Cache / Production Engineering / 幂等键 / 缓存失效 / RAG

• LLM Reranker 生产评估实战：用黄金查询集、nDCG 与延迟预算守住 RAG 召回质量

  本文深入讲解RAG系统中LLM Reranker的生产评估方法论，覆盖黄金查询集构建、nDCG与MRR排序指标、候选集预算优化、延迟成本治理、灰度上线门禁与回滚策略，帮助团队建立独立的重排序评估体系，避免只看最终答案质量而忽视召回排序退化。

  2026/07/07 LLM / RAG / Reranker / Retrieval Evaluation / Production AI

• LLM 混合检索路由生产实战：用查询分类、RRF 与回退策略稳住 RAG 召回

  本文深入讲解大模型RAG系统中混合检索路由的生产实践，覆盖查询分类、BM25与向量检索融合、RRF排序算法、权重调节策略、回退治理与上线检查清单，帮助团队减少漏召回与检索策略失控。

  2026/07/05 LLM / RAG / 混合检索 / RRF / 查询路由 / 召回策略

• LLM 长视频理解生产实战：用帧采样、时间戳索引与片段回放稳定问答质量

  本文讲解长视频问答进入生产前的工程治理方法，覆盖帧采样、镜头切分、字幕融合、时间戳索引、片段回放、证据校验与上线检查，帮助团队降低漏看关键帧和时间顺序错误。

  2026/07/05 LLM / 视频理解 / 多模态AI / 生产工程 / RAG / 帧采样 / 时间戳索引

• LLM 检索索引更新生产实战：用蓝绿索引与增量回灌避免 RAG 质量回退

  本文讲解如何治理 RAG 检索索引更新，覆盖蓝绿索引、双写、增量回灌、别名切换、质量抽检和回滚策略，帮助团队在文档、Embedding 模型或切块规则变化时降低检索质量回退风险。

  2026/07/04 LLM / RAG / Vector Search / Embedding / Production Engineering

• LLM 文档视觉抽取生产实战：用版面切块与置信度审计稳住 PDF 解析质量

  本文讲解如何把多模态大模型用于 PDF 与扫描件解析，覆盖版面切块、表格抽取、置信度审计、人工复核和上线检查，帮助团队降低幻觉、漏抽与错位解析风险，适合合同、财报、工单等复杂文档场景。

  2026/07/04 llm / multimodal / document-ai / pdf-parsing / production / rag / layout-analysis / vision-language-model

• Embedding 与 Reranker 生产评估：用离线回放和影子流量治理检索质量回归

  本文系统讲解 Embedding 与 Reranker 上线后的检索质量评估方法，覆盖离线回放、影子流量、混合检索、指标设计和回归处置，帮助团队避免模型升级后召回质量悄然下降。

  2026/07/02 Embedding / Reranker / RAG / Hybrid Search / Retrieval Evaluation / 影子流量 / 离线回放

• LLM Observability 生产实战：用 OpenTelemetry GenAI 语义规范追踪 Agent 调用链

  本文系统讲解如何使用 OpenTelemetry GenAI 语义规范为 LLM 与 Agent 应用建立可观测性，从调用链、Token、工具调用、隐私治理到上线检查，帮助团队定位延迟、成本和质量问题。

  2026/06/30 llm / observability / opentelemetry / ai-agent / rag / genai / agent-tracing

• Prefix Caching 生产实战：让 RAG 与 Agent 服务复用 KV Cache 的完整指南

  本文系统讲解 Prefix Caching 如何复用共享提示词与上下文的 KV Cache，降低 RAG、Agent 和长文档问答场景的 TTFT、推理成本与重复预填充开销，并给出 vLLM、OpenAI API、SGLang 的工程落地清单与常见误区。

  2026/06/30 LLM Serving / KV Cache / RAG / Agent Infrastructure / Prefix Caching / 推理优化

• Agent Memory 工程实战：让 LLM Agent 可靠记住该记住的事

  从短期会话到长期记忆，系统拆解 LLM Agent 的写入、整理、读取、遗忘与评估机制，帮助团队避免把记忆层做成不可控的向量库堆料，打造可生产落地的 Agent 记忆系统。

  2026/06/30 LLM Agent / Agent Memory / RAG / LangGraph / LlamaIndex / LangMem / MemGPT / 向量数据库 / 记忆治理

• Contextual Retrieval 实战：让 RAG Chunk 带着上下文被检索

  系统讲解 Contextual Retrieval 的原理、索引改造、混合检索、重排与上线检查，帮助工程团队降低 RAG 漏召回并提升答案可追溯性。

  2026/06/30 RAG / Contextual Retrieval / Hybrid Search / Reranking / Vector Search

• LLM-as-a-Judge 生产落地：Rubric、偏差与回归测试闭环

  本文从 LLM-as-a-Judge 的评分模式、Rubric 设计、偏差来源、线上回归、人工复核与阈值治理出发，整理一套适合 RAG、Agent 和内容生成系统的生产级评测闭环。

  2026/06/30 LLM Evaluation / LLM-as-a-Judge / RAG / Agent / AI Engineering

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、KV Cache 传输、资源规划与上线检查清单，帮助 LLM 服务从“能跑”迈向稳定可扩展。

  2026/06/29 LLM Serving / Prefill Decode / KV Cache / Inference Optimization / 长上下文 / 尾延迟 / RAG / Agent

• Structured Outputs 实战：让大模型稳定输出 JSON，不只是加一句"请返回 JSON"

  本文系统讲解大模型结构化输出的工程落地方法，覆盖 JSON Schema、约束解码、Schema 设计、评估指标、常见误区与上线检查，适合构建 Agent、工具调用和数据抽取流程。

  2026/06/29 LLM / Structured Outputs / Constrained Decoding / JSON Schema / Agent / RAG

• LLM Model Routing 生产落地实战：别把所有请求都交给最贵模型

  系统拆解 LLM Model Routing 的生产工程价值，覆盖强弱模型路由、级联调用、质量评估、成本预算、延迟 SLO、Provider 回退与对抗路由风险，帮助团队建立可观测、可回退、可评估的大模型调用中间层。

  2026/06/26 LLM Routing / AI Infrastructure / Model Gateway / LLM Evaluation / Cost Optimization / RAG / Agent

• RAG Retrieval Quality Engineering：别再只调 Prompt，先把证据找对

  本文系统拆解生产级 RAG 的检索质量工程，从文档解析、结构化分块、BM25 与向量混合检索、重排、证据压缩到 RAG 评估指标，帮助团队减少幻觉、提升答案可追溯性与系统稳定性。

  2026/06/26 RAG / Retrieval Engineering / Reranking / LLM Evaluation / AI Infrastructure

• 检索增强生成 (RAG) 架构深度解析与落地挑战

  解析 RAG 的技术架构与优化路径，从文档分块、向量化检索、重排(Rerank)到模型生成，探讨如何解决企业私有知识库的问答准确率瓶颈。

  2026/06/25 RAG / 知识库 / 大模型