LLM 梯度累积生产实战：用 Token-Normalized Loss、DDP no_sync 与 Scheduler 对齐避免等效批次失真
梯度累积看似只是把多个微批次相加，但变长样本、分布式同步、混合精度和学习率调度会悄悄改变等效批次。本文深入剖析 Token 归一化、DDP no_sync、AMP 更新边界与尾部窗口处理等生产级方案，帮助你在 LLM 微调中实现数学一致的梯度累积。
标签：PyTorch DDP
共 1 篇文章
共 1 篇文章
梯度累积看似只是把多个微批次相加，但变长样本、分布式同步、混合精度和学习率调度会悄悄改变等效批次。本文深入剖析 Token 归一化、DDP no_sync、AMP 更新边界与尾部窗口处理等生产级方案，帮助你在 LLM 微调中实现数学一致的梯度累积。