文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 172 篇，第 2 / 18 页。

• LLM 红队回归测试生产实战：用版本化攻击库、确定性评分与 CI 质量门禁阻断安全回退

  红队测试若只在上线前做一次，很快会失去价值。本文结合 PyRIT、garak 与 Promptfoo，给出攻击样本版本化、历史命中固化、扫描配置固定、评分器分层和 CI 安全门禁的完整方案，帮助 LLM 应用把每一次安全失败沉淀为可重复运行的回归资产，实现已知问题零回退。

  2026/08/30 LLM安全 / Red Teaming / PyRIT / garak / CI/CD / 红队测试 / RAG / Agent

• Reranker 上线评估生产实战：用 Hard Negatives、NDCG@10 与 Shadow Re-ranking 守住检索质量

  Reranker 往往能显著改善检索排序，但模型升级也可能引入领域回退、尾延迟和候选截断问题。本文给出一套从 Hard Negatives 数据构造、NDCG@10 离线门禁到 Shadow Re-ranking 灰度验证的生产评估与发布方法，帮助检索系统安全上线新排序模型。

  2026/08/30 reranker / information-retrieval / search-quality / ndcg / production-ml / shadow-re-ranking

• LLM Prompt 发布治理生产实战：用不可变版本、环境指针与灰度发布实现可回滚

  Prompt 会直接改变模型行为，却常被当作普通配置发布。本文结合主流平台实践，给出不可变版本、环境指针、灰度流量、变更校验、指标观察与快速回滚的完整生产发布治理方案，帮助团队安全上线并定位问题。

  2026/08/29 LLM / Prompt 工程 / 发布治理 / LLM Gateway / DevOps

• 多模态 LLM Serving 生产实战：用 Parallel Media Decode、Encoder Cache 与 Encoder Disaggregation 压住视觉请求尾延迟

  多模态大模型上线后，视觉请求的尾延迟往往被图片下载、解码、视觉编码与重复处理拖高。本文结合 Dynamo、vLLM 与 EPD 实践，给出媒体解码前移、Encoder Cache、独立 Encoder Worker、输入预算和阶段级观测指标的生产治理方法。

  2026/08/29 多模态 LLM Serving / 视觉语言模型 / Encoder Cache / 推理优化 / 尾延迟治理

• Embedding 模型升级生产实战：用双写、蓝绿向量索引与 Alias 原子切换实现零停机迁移

  Embedding 模型升级不只是替换模型名。本文从生产迁移角度拆解双写、后台重嵌入、蓝绿向量索引、Alias 原子切换、回滚窗口与增量更新，避免新旧向量混用导致召回漂移和服务中断。

  2026/08/28 LLM / Embedding / Vector Database / Model Migration / MLOps

• LLM 冷启动治理生产实战：用 Local NVMe Cache、Weight Streaming 与 Warm Pool 缩短模型拉起时间

  大模型服务扩容后迟迟不能 Ready，瓶颈常在模型权重下载、磁盘读取与 GPU 装载。本文从本地 NVMe 缓存、权重流式加载、Warm Pool 与模型本地性感知调度出发，给出一套可落地的 LLM 冷启动治理方案。

  2026/08/28 LLM Serving / Cold Start / KServe / vLLM / GPU Inference

• 多租户 LLM 推理公平调度生产实战：用 Token Cost Accounting、VTC 与 Priority Lanes 治理 Noisy Neighbor

  面向共享 GPU 的多租户大模型推理服务，系统说明为什么按请求数限流不足，并给出基于 Token 成本计量、VTC 公平调度、优先级通道与租户配额的落地方案，兼顾吞吐、隔离与尾延迟。

  2026/08/27 llm-serving / multi-tenancy / fair-scheduling / vtc / gpu-inference

• Multi-LoRA 适配器缓存生产实战：GPU/CPU 两级驻留、LRU 淘汰与 LoRA Affinity 降低冷加载尾延迟

  面向多租户大模型推理平台，系统讲解 Multi-LoRA 适配器在 GPU/CPU 两级缓存中的驻留、LRU 淘汰、冷加载延迟与亲和路由设计，并给出容量规划、监控指标、发布治理和上线检查方法。

  2026/08/27 LLM 推理服务 / Multi-LoRA / LoRA 缓存 / GPU 推理 / 亲和路由 / 适配器管理

• LLM Serving 过载保护生产实战：用 Queue SLO、Backpressure 与弹性扩容守住尾延迟

  面向生产级大模型推理服务，系统讲解如何用队列等待时间、TTFT SLO、Backpressure 与弹性扩容协同应对突发流量，避免扩容滞后、尾延迟失控和无限排队，并给出关键指标、参数配置、上线检查清单与常见误区。

  2026/08/26 llm-serving / autoscaling / backpressure / slo / vllm

• LLM 预训练数据配比生产实战：用 Mixture Manifest、Token Budget 与 Domain Loss Feedback 控制能力偏置

  系统讲解大模型预训练数据配比的工程化治理方法：以不可变 Mixture Manifest 固化域权重与语料版本，用 Token Budget 精确记账，结合代理模型搜索、域损失反馈、饥饿保护与回放门禁持续校准能力结构，让配比从概率参数升级为可审计可复现的训练契约。

  2026/07/29 LLM Pretraining / Data Mixture / DoReMi / RegMix / Data Governance / Token Budget / Mixture Manifest