标签：llm

共 19 篇文章

• LLM Reranker 生产评估实战：用黄金查询集、nDCG 与延迟预算守住 RAG 召回质量

  本文深入讲解RAG系统中LLM Reranker的生产评估方法论，覆盖黄金查询集构建、nDCG与MRR排序指标、候选集预算优化、延迟成本治理、灰度上线门禁与回滚策略，帮助团队建立独立的重排序评估体系，避免只看最终答案质量而忽视召回排序退化。

  2026/07/07 LLM / RAG / Reranker / Retrieval Evaluation / Production AI

• LLM 实时语音 Agent 生产实战：用 WebRTC、VAD 与打断恢复稳定对话体验

  本文讲解实时语音大模型 Agent 的生产架构，覆盖 WebRTC 音频传输、VAD 端点检测、打断恢复、转写缓冲、工具调用确认、人工接管和上线检查清单，帮助团队从 demo 走向可治理的语音 Agent 系统。

  2026/07/06 LLM / Voice Agent / WebRTC / Realtime API / VAD

• LLM 生成内容溯源生产实战：用 SynthID、水印检测与 C2PA 元数据治理 AI 标签

  本文讲解如何把大模型生成内容纳入可追溯治理体系，覆盖 SynthID 文本水印、C2PA 元数据、检测阈值、平台标签、篡改风险与上线检查清单，适合需要对外发布 AI 内容的工程与安全团队。

  2026/07/06 LLM / AI溯源 / SynthID / C2PA / 内容治理 / AI安全 / 水印检测

• LLM 模型制品供应链生产实战：用 safetensors、签名校验与准入扫描防住权重污染

  本文讲解大模型模型制品从下载、签名、扫描到上线准入的供应链治理方法，覆盖 safetensors、来源校验、SBOM、灰度放行和事故回滚，帮助团队降低权重污染风险，适合开源模型与内部模型仓库落地。

  2026/07/06 LLM / MLOps / Supply Chain Security / Model Registry / safetensors

• LLM 混合检索路由生产实战：用查询分类、RRF 与回退策略稳住 RAG 召回

  本文深入讲解大模型RAG系统中混合检索路由的生产实践，覆盖查询分类、BM25与向量检索融合、RRF排序算法、权重调节策略、回退治理与上线检查清单，帮助团队减少漏召回与检索策略失控。

  2026/07/05 LLM / RAG / 混合检索 / RRF / 查询路由 / 召回策略

• LLM 长视频理解生产实战：用帧采样、时间戳索引与片段回放稳定问答质量

  本文讲解长视频问答进入生产前的工程治理方法，覆盖帧采样、镜头切分、字幕融合、时间戳索引、片段回放、证据校验与上线检查，帮助团队降低漏看关键帧和时间顺序错误。

  2026/07/05 LLM / 视频理解 / 多模态AI / 生产工程 / RAG / 帧采样 / 时间戳索引

• LLM 检索索引更新生产实战：用蓝绿索引与增量回灌避免 RAG 质量回退

  本文讲解如何治理 RAG 检索索引更新，覆盖蓝绿索引、双写、增量回灌、别名切换、质量抽检和回滚策略，帮助团队在文档、Embedding 模型或切块规则变化时降低检索质量回退风险。

  2026/07/04 LLM / RAG / Vector Search / Embedding / Production Engineering

• LLM Reasoning Budget 生产实战：用推理开关、Token 上限与超时策略管住成本

  深入讲解推理模型的 thinking 成本治理方法论：从任务分级、推理开关、effort 策略到 Token 上限、超时回退与上线检查，帮助团队在复杂任务上保留推理质量，同时避免隐藏推理 Token 拉高延迟与账单。

  2026/07/04 LLM / Reasoning Models / Cost Optimization / Inference Engineering

• LLM 文档视觉抽取生产实战：用版面切块与置信度审计稳住 PDF 解析质量

  本文讲解如何把多模态大模型用于 PDF 与扫描件解析，覆盖版面切块、表格抽取、置信度审计、人工复核和上线检查，帮助团队降低幻觉、漏抽与错位解析风险，适合合同、财报、工单等复杂文档场景。

  2026/07/04 llm / multimodal / document-ai / pdf-parsing / production / rag / layout-analysis / vision-language-model

• KV Cache Quantization 生产实战：用低精度缓存降低长上下文推理显存

  系统讲解 KV Cache Quantization 的原理、工程落地、评估指标与上线风险，覆盖 FP8/INT8/INT4 选型策略、vLLM 与 Transformers 实战代码、安全对齐风险及灰度发布路径，帮助团队在长上下文推理中有效降低显存压力并保障服务质量。

  2026/06/30 LLM / KV Cache / Inference / Quantization / LLMOps

• LLM Observability 生产实战：用 OpenTelemetry GenAI 语义规范追踪 Agent 调用链

  本文系统讲解如何使用 OpenTelemetry GenAI 语义规范为 LLM 与 Agent 应用建立可观测性，从调用链、Token、工具调用、隐私治理到上线检查，帮助团队定位延迟、成本和质量问题。

  2026/06/30 llm / observability / opentelemetry / ai-agent / rag / genai / agent-tracing

• LLM Model Routing 实战：用评估驱动成本、延迟与质量的动态选择

  本文围绕多模型路由的生产落地展开，解释路由信号、评估闭环、成本预算、回退策略与上线检查，帮助团队在质量、延迟和费用之间建立可验证、可回滚、可观测的动态模型选择机制。

  2026/06/30 LLM / Model Routing / AI Gateway / Evaluation / Inference Cost

• Prompt Caching 实战：长上下文 Agent 的成本与延迟治理

  深入解析 Prompt Caching 的核心原理与工程实践，从前缀稳定性、缓存边界到 Agent 场景落地，提供可复现的优化方案与生产检查清单，帮助团队在不改变模型语义的前提下显著降低输入成本与首字延迟。

  2026/06/29 LLM / Prompt Caching / AI Agent / Cost Optimization / Context Engineering

• 结构化输出不是 JSON Prompt：Constrained Decoding 的工程边界

  本文从 JSON Schema、约束解码、vLLM 与 Outlines 等工程实现出发，解释结构化输出如何提升可靠性，以及上线时需要关注的延迟、Schema 设计与异常兜底。

  2026/06/29 LLM / Structured Outputs / Constrained Decoding / JSON Schema

• Structured Outputs 实战：让大模型稳定输出 JSON，不只是加一句"请返回 JSON"

  本文系统讲解大模型结构化输出的工程落地方法，覆盖 JSON Schema、约束解码、Schema 设计、评估指标、常见误区与上线检查，适合构建 Agent、工具调用和数据抽取流程。

  2026/06/29 LLM / Structured Outputs / Constrained Decoding / JSON Schema / Agent / RAG

• Speculative Decoding 实战：为什么小模型草稿 + 大模型校验能降低 LLM 解码延迟

  系统拆解 Speculative Decoding 的 draft model 与 target model 协作机制，涵盖候选 token 校验、接受率分析、低 batch 场景收益及工程上线检查清单，帮助读者深入理解 LLM 推理加速的核心方法。

  2026/06/29 LLM / 推理优化 / Speculative Decoding / 大模型工程 / Inference

• Speculative Decoding 实战：让大模型少跑几次前向也能保持输出一致

  系统拆解 Speculative Decoding 的 draft、verify、accept/reject 流程，覆盖 LLM 推理加速的适用场景、关键工程指标、draft model 选型策略与常见误区，帮助工程团队在生产环境中落地推理加速。

  2026/06/27 LLM / 推理优化 / Speculative Decoding / 大模型工程 / Inference / Assisted Decoding

• LLM 推理加速：KV Cache 优化的原理、工程实践与避坑指南

  系统讲解大模型推理中 KV Cache 的原理与工程实践：涵盖 PagedAttention、Prefix Caching、KV Cache 量化、Offloading 及线上监控，助你掌握推理优化核心方法。

  2026/06/26 LLM / Inference / KV Cache / vLLM / PagedAttention / 大模型推理优化

• Speculative Decoding 面试与工程实践：让大模型推理更快的关键机制

  本文系统讲解 Speculative Decoding 的原理、面试答法与工程落地方法，覆盖 draft model、target model、接受率、参数调优、适用场景和常见误区，适合复习 LLM 推理优化。

  2026/06/25 LLM / Speculative Decoding / Inference Optimization / vLLM / 面试复习