标签：CUDA

共 3 篇文章

• LLM 推理可复现性生产实战：用 Seed 契约、Batch Invariance 与确定性 Kernel 控制输出漂移

  同一模型、同一提示词和相同随机种子仍可能产生不同输出。本文从采样状态、动态批次、浮点归约、并行拓扑和版本指纹出发，给出可复现推理的分级目标、实现方案、回放门禁与上线检查清单。

  2026/07/15 LLM Serving / Reproducibility / vLLM / CUDA / MLOps / Batch Invariance / 确定性推理 / Seed 契约

• LLM CPU–GPU 数据通路生产实战：用 NUMA 亲和、Pinned Memory 与异步拷贝降低推理抖动

  本文从大模型推理中容易被忽视的 CPU 到 GPU 数据通路出发，系统讲解 NUMA 亲和、页锁定内存、异步拷贝、拓扑调度与容器对齐等关键环节，并结合性能回放与上线门禁，帮助团队有效减少主机侧传输抖动、尾延迟和跨节点资源错配。

  2026/07/12 LLM Serving / CUDA / NUMA / GPU Performance / PyTorch

• LLM GPU 显存碎片治理生产实战：用 Memory Snapshot、Allocator 调优与 OOM 门禁稳住推理服务

  大模型推理服务常在显存尚未耗尽时因碎片化触发 OOM。本文结合 Memory Snapshot、动态 Shape、分配器调优和 vLLM 显存预算，给出可观测、可验证、可回滚的生产治理方案。

  2026/07/11 LLM Serving / CUDA / GPU Memory / PyTorch / vLLM