LLM μP 超参数跨规模迁移生产实战:用 Base Shape 指纹、Coord Check 与 Proxy Sweep 降低大模型调参成本
本文系统拆解 μP 超参数跨规模迁移的原理与工程边界,说明如何固化 Base Shape、执行 Coord Check、组织代理模型扫参与回放门禁,并避免把宽度迁移误用于训练时长、批量大小或架构变化。
共 1 篇文章
本文系统拆解 μP 超参数跨规模迁移的原理与工程边界,说明如何固化 Base Shape、执行 Coord Check、组织代理模型扫参与回放门禁,并避免把宽度迁移误用于训练时长、批量大小或架构变化。