标签：SFT

共 2 篇文章

• LLM SFT Sequence Packing 生产实战：用样本边界、Loss Mask 与 Length Bucket 提升吞吐并避免串样

  本文详解 SFT 训练中如何通过 Sequence Packing 减少 Padding 浪费，结合样本边界隔离、Loss Mask、位置编号、长度分桶与回放门禁，避免跨样本注意力污染与训练标签串样，实现安全高效的变长训练。

  2026/07/14 LLM Training / SFT / Sequence Packing / FlashAttention / Data Collator

• LLM 微调数据集版本治理生产实战：用数据血缘、评测门禁与回滚策略避免 SFT 退化

  本文讲解如何把大模型微调数据集纳入版本治理，覆盖样本血缘、训练测试拆分、评测门禁、实验追踪、回滚与上线检查，避免 SFT 因脏数据、偏置样本或错误标注导致能力退化。

  2026/07/07 LLM Fine-tuning / SFT / Dataset Governance / MLOps / Evals