LLM SFT Sequence Packing 生产实战：用样本边界、Loss Mask 与 Length Bucket 提升吞吐并避免串样
本文详解 SFT 训练中如何通过 Sequence Packing 减少 Padding 浪费，结合样本边界隔离、Loss Mask、位置编号、长度分桶与回放门禁，避免跨样本注意力污染与训练标签串样，实现安全高效的变长训练。
标签：Data Collator
共 1 篇文章
共 1 篇文章
本文详解 SFT 训练中如何通过 Sequence Packing 减少 Padding 浪费，结合样本边界隔离、Loss Mask、位置编号、长度分桶与回放门禁，避免跨样本注意力污染与训练标签串样，实现安全高效的变长训练。