文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 155 篇，第 1 / 16 页。

• LLM 预训练数据配比生产实战：用 Mixture Manifest、Token Budget 与 Domain Loss Feedback 控制能力偏置

  系统讲解大模型预训练数据配比的工程化治理方法：以不可变 Mixture Manifest 固化域权重与语料版本，用 Token Budget 精确记账，结合代理模型搜索、域损失反馈、饥饿保护与回放门禁持续校准能力结构，让配比从概率参数升级为可审计可复现的训练契约。

  2026/07/29 LLM Pretraining / Data Mixture / DoReMi / RegMix / Data Governance / Token Budget / Mixture Manifest

• LLM μP 超参数跨规模迁移生产实战：用 Base Shape 指纹、Coord Check 与 Proxy Sweep 降低大模型调参成本

  本文系统拆解 μP 超参数跨规模迁移的原理与工程边界，说明如何固化 Base Shape、执行 Coord Check、组织代理模型扫参与回放门禁，并避免把宽度迁移误用于训练时长、批量大小或架构变化。

  2026/07/28 LLM训练 / μP / 超参数迁移 / 预训练工程 / Scaling

• LLM 知识蒸馏生产实战：用 Teacher Logprob 契约、On-policy 回放与 Top-K Tail Bucket 控制学生模型退化

  面向大模型知识蒸馏上线，系统说明教师 Logprob 契约、温度与散度选择、On-policy 回放、Top-K 尾部概率桶、Tokenizer 对齐及学生能力回归门禁，避免蒸馏后静默退化与上线翻车。

  2026/07/28 LLM / 知识蒸馏 / 模型压缩 / On-policy Distillation / MLOps

• LLM 批量推理作业生产实战：用 Manifest、幂等 Record ID 与分片重试避免重复计费和漏结果

  面向异步大批量调用，系统讲解如何以作业清单、确定性记录编号、逐条结果对账和失败分片重试，构建可恢复、可审计、不会因超时重提而重复计费或遗漏结果的批量推理流水线。

  2026/07/28 LLM批量推理 / 幂等性 / 作业编排 / 可靠性工程 / 成本治理 / 分片重试

• LLM 模型格式转换生产实战：用 Tensor Mapping、QKV 重排与逐层数值校验避免静默退化

  系统讲解大模型权重在 Hugging Face、Megatron 与 TensorRT-LLM 之间转换时的参数映射、QKV 重排、分片索引、逐层数值校验和回滚门禁，帮助团队避免模型虽能加载却发生静默退化、输出漂移或并行切分错误，建立可重复、可审计的转换发布流程。

  2026/07/22 LLM Engineering / Model Conversion / Megatron / TensorRT-LLM / Safetensors

• LLM Tokenizer 前处理池生产实战：用异步 Tokenizer Pool、长度感知队列与 CPU 亲和避免 GPU 饥饿

  大模型服务的瓶颈不一定在GPU。本文讲清如何拆分Tokenizer前处理池，利用异步批量编码、长度感知队列、CPU亲和与背压指标，避免长提示词阻塞请求并让GPU持续获得可执行批次。

  2026/07/22 LLM Serving / Tokenizer / Performance Engineering / CPU Optimization / vLLM

• LLM 训练 NaN/Inf 故障治理生产实战：用 Non-finite 门禁、GradScaler 证据与 Layer Bisect 隔离首个坏步

  大模型训练中的 NaN/Inf 往往在多个步骤后才暴露。本文从非有限值门禁、GradScaler 跳步证据、分布式一致跳过、层级二分定位与坏批次隔离出发，给出可回放、可止损、可恢复的数值异常治理方案。

  2026/07/22 LLM Training / Numerical Stability / PyTorch / Mixed Precision / Distributed Training

• LLM Embedding 距离度量治理生产实战：用归一化契约、Metric Matrix 与向量回放避免召回失真

  向量检索中，模型、归一化方式与距离度量一旦错配，系统通常不会报错，却会悄悄改变排序与阈值。本文给出归一化契约、度量矩阵、黄金向量回放和迁移门禁，帮助团队在模型升级与索引切换时稳定召回质量。

  2026/07/21 LLM / Embedding / Vector Search / Retrieval Engineering

• LLM Context Parallel 生产实战：用 Sequence Sharding、Ring/Ulysses 通信与因果负载均衡突破长上下文瓶颈

  深入讲解长上下文训练中 Context Parallel 的核心原理、Ring Attention 与 Ulysses 通信选型、因果负载均衡策略及生产上线门禁，帮助团队在多 GPU 环境下降低激活显存占用，稳定将上下文长度从 8K 扩展到 128K 以上。

  2026/07/16 LLM Training / Context Parallel / Distributed Systems / Long Context / Ring Attention

• LLM 推理可复现性生产实战：用 Seed 契约、Batch Invariance 与确定性 Kernel 控制输出漂移

  同一模型、同一提示词和相同随机种子仍可能产生不同输出。本文从采样状态、动态批次、浮点归约、并行拓扑和版本指纹出发，给出可复现推理的分级目标、实现方案、回放门禁与上线检查清单。

  2026/07/15 LLM Serving / Reproducibility / vLLM / CUDA / MLOps / Batch Invariance / 确定性推理 / Seed 契约