标签：Fine Tuning

共 3 篇文章

• LLM 梯度累积生产实战：用 Token-Normalized Loss、DDP no_sync 与 Scheduler 对齐避免等效批次失真

  梯度累积看似只是把多个微批次相加，但变长样本、分布式同步、混合精度和学习率调度会悄悄改变等效批次。本文深入剖析 Token 归一化、DDP no_sync、AMP 更新边界与尾部窗口处理等生产级方案，帮助你在 LLM 微调中实现数学一致的梯度累积。

  2026/07/14 LLM Training / Gradient Accumulation / PyTorch DDP / Fine-Tuning / Mixed Precision

• LLM FP8 微调上线生产实战：用 Amax Scaling、层级白名单与 BF16 回退守住收敛

  FP8 能降低大模型微调的算力与显存压力，但缩放策略、异常值和分布式同步处理不当会导致静默精度退化。本文给出 Amax 监控、层级白名单、BF16 回退、双轨评测与发布门禁的完整工程方案。

  2026/07/14 LLM Training / FP8 / Transformer Engine / Fine-tuning / MLOps / 混合精度训练 / 分布式训练 / Amax Scaling

• LLM LoRA Adapter 缓存生产实战：用热度分层、冷启动预算与驱逐策略稳住多租户微调服务

  在多租户微调服务中，LoRA Adapter 数量、版本与租户数持续增长，单纯全量预加载已不可行。本文从 Adapter Registry、热度分层、冷启动预算、驱逐策略到上线检查，系统讲解如何构建生产级 Adapter 缓存治理体系，帮助团队在共享基础模型池中稳定服务大量定制模型。

  2026/07/09 LLM Serving / LoRA / Adapter Cache / Multi Tenant / Model Serving / GPU / Fine Tuning / RAG / vLLM