标签：LLM Training

共 6 篇文章

• LLM Context Parallel 生产实战：用 Sequence Sharding、Ring/Ulysses 通信与因果负载均衡突破长上下文瓶颈

  深入讲解长上下文训练中 Context Parallel 的核心原理、Ring Attention 与 Ulysses 通信选型、因果负载均衡策略及生产上线门禁，帮助团队在多 GPU 环境下降低激活显存占用，稳定将上下文长度从 8K 扩展到 128K 以上。

  2026/07/16 LLM Training / Context Parallel / Distributed Systems / Long Context / Ring Attention

• LLM 梯度累积生产实战：用 Token-Normalized Loss、DDP no_sync 与 Scheduler 对齐避免等效批次失真

  梯度累积看似只是把多个微批次相加，但变长样本、分布式同步、混合精度和学习率调度会悄悄改变等效批次。本文深入剖析 Token 归一化、DDP no_sync、AMP 更新边界与尾部窗口处理等生产级方案，帮助你在 LLM 微调中实现数学一致的梯度累积。

  2026/07/14 LLM Training / Gradient Accumulation / PyTorch DDP / Fine-Tuning / Mixed Precision

• LLM Activation Checkpointing 生产实战：用 Selective Recompute、非重入模式与 RNG 一致性压低训练显存

  大模型训练中，激活值常比参数更早耗尽显存。本文深入探讨选择性重计算、非重入模式、随机数状态一致性及工程门禁策略，帮助团队在保证梯度正确的前提下降低峰值显存，控制训练吞吐损失。

  2026/07/14 LLM Training / Activation Checkpointing / PyTorch / GPU Memory / Distributed Training

• LLM FP8 微调上线生产实战：用 Amax Scaling、层级白名单与 BF16 回退守住收敛

  FP8 能降低大模型微调的算力与显存压力，但缩放策略、异常值和分布式同步处理不当会导致静默精度退化。本文给出 Amax 监控、层级白名单、BF16 回退、双轨评测与发布门禁的完整工程方案。

  2026/07/14 LLM Training / FP8 / Transformer Engine / Fine-tuning / MLOps / 混合精度训练 / 分布式训练 / Amax Scaling

• LLM SFT Sequence Packing 生产实战：用样本边界、Loss Mask 与 Length Bucket 提升吞吐并避免串样

  本文详解 SFT 训练中如何通过 Sequence Packing 减少 Padding 浪费，结合样本边界隔离、Loss Mask、位置编号、长度分桶与回放门禁，避免跨样本注意力污染与训练标签串样，实现安全高效的变长训练。

  2026/07/14 LLM Training / SFT / Sequence Packing / FlashAttention / Data Collator

• LLM 分布式微调断点恢复生产实战：用 Sharded Checkpoint、原子提交与 World Size 变更恢复避免训练重跑

  分布式微调真正危险的不是保存慢，而是恢复后训练状态悄悄漂移。本文围绕分片检查点、原子提交、优化器与随机状态恢复、World Size 变更及故障演练，给出可验证的生产方案。

  2026/07/13 LLM Training / Distributed Checkpoint / FSDP / Fault Tolerance