LLM GPU 能效治理生产实战：用分阶段 Clock Lock、Joules/Token 与热降频门禁守住吞吐
只给 GPU 设置 Power Cap，往往忽略 Prefill 与 Decode 的负载差异。本文讲解如何用分阶段时钟、每 Token 能耗和热降频门禁，在不破坏延迟 SLO 的前提下治理推理能效。
标签：Performance Engineering
共 1 篇文章
共 1 篇文章
只给 GPU 设置 Power Cap，往往忽略 Prefill 与 Decode 的负载差异。本文讲解如何用分阶段时钟、每 Token 能耗和热降频门禁，在不破坏延迟 SLO 的前提下治理推理能效。