LLM CPU–GPU 数据通路生产实战：用 NUMA 亲和、Pinned Memory 与异步拷贝降低推理抖动
本文从大模型推理中容易被忽视的 CPU 到 GPU 数据通路出发，系统讲解 NUMA 亲和、页锁定内存、异步拷贝、拓扑调度与容器对齐等关键环节，并结合性能回放与上线门禁，帮助团队有效减少主机侧传输抖动、尾延迟和跨节点资源错配。
标签：GPU Performance
共 1 篇文章
共 1 篇文章
本文从大模型推理中容易被忽视的 CPU 到 GPU 数据通路出发，系统讲解 NUMA 亲和、页锁定内存、异步拷贝、拓扑调度与容器对齐等关键环节，并结合性能回放与上线门禁，帮助团队有效减少主机侧传输抖动、尾延迟和跨节点资源错配。