标签：Batch Invariance

共 2 篇文章

• LLM 推理可复现性生产实战：用 Seed 契约、Batch Invariance 与确定性 Kernel 控制输出漂移

  同一模型、同一提示词和相同随机种子仍可能产生不同输出。本文从采样状态、动态批次、浮点归约、并行拓扑和版本指纹出发，给出可复现推理的分级目标、实现方案、回放门禁与上线检查清单。

  2026/07/15 LLM Serving / Reproducibility / vLLM / CUDA / MLOps / Batch Invariance / 确定性推理 / Seed 契约

• LLM 推理可复现性生产实战：用 Batch Invariance、固定 Seed 与配置指纹控制输出漂移

  本文拆解大模型推理在温度为零时仍可能出现输出漂移的原因，给出固定种子、Batch Invariance、环境指纹、回放矩阵与分级确定性门禁的生产落地方法，帮助团队稳定评测、审计、缓存和回归测试结果。

  2026/07/12 LLM Serving / Reproducibility / Batch Invariance / GPU Inference / MLOps