标签：FlashAttention

共 2 篇文章

• LLM SFT Sequence Packing 生产实战：用样本边界、Loss Mask 与 Length Bucket 提升吞吐并避免串样

  本文详解 SFT 训练中如何通过 Sequence Packing 减少 Padding 浪费，结合样本边界隔离、Loss Mask、位置编号、长度分桶与回放门禁，避免跨样本注意力污染与训练标签串样，实现安全高效的变长训练。

  2026/07/14 LLM Training / SFT / Sequence Packing / FlashAttention / Data Collator

• LLM Attention Backend 生产实战：用兼容矩阵、数值回放与自动回退治理 FlashAttention 和 FlashInfer

  大模型推理框架会在 FlashAttention、FlashInfer 与 SDPA 间选核。本文给出兼容矩阵、数值回放、性能基线和自动回退方案，避免升级后出现启动失败、输出漂移与尾延迟恶化。

  2026/07/12 LLM Serving / FlashAttention / FlashInfer / GPU Kernel / Inference Engineering