LLM GPU 能效治理生产实战:用分阶段 Clock Lock、Joules/Token 与热降频门禁守住吞吐
只给 GPU 设置 Power Cap,往往忽略 Prefill 与 Decode 的负载差异。本文讲解如何用分阶段时钟、每 Token 能耗和热降频门禁,在不破坏延迟 SLO 的前提下治理推理能效。
共 1 篇文章
只给 GPU 设置 Power Cap,往往忽略 Prefill 与 Decode 的负载差异。本文讲解如何用分阶段时钟、每 Token 能耗和热降频门禁,在不破坏延迟 SLO 的前提下治理推理能效。