LLM 分布式微调断点恢复生产实战：用 Sharded Checkpoint、原子提交与 World Size 变更恢复避免训练重跑
分布式微调真正危险的不是保存慢，而是恢复后训练状态悄悄漂移。本文围绕分片检查点、原子提交、优化器与随机状态恢复、World Size 变更及故障演练，给出可验证的生产方案。
标签：Fault Tolerance
共 1 篇文章
共 1 篇文章
分布式微调真正危险的不是保存慢，而是恢复后训练状态悄悄漂移。本文围绕分片检查点、原子提交、优化器与随机状态恢复、World Size 变更及故障演练，给出可验证的生产方案。