探索大模型与智能体的未来落地实践

最新文章

• LLM 预训练数据配比生产实战：用 Mixture Manifest、Token Budget 与 Domain Loss Feedback 控制能力偏置

  系统讲解大模型预训练数据配比的工程化治理方法：以不可变 Mixture Manifest 固化域权重与语料版本，用 Token Budget 精确记账，结合代理模型搜索、域损失反馈、饥饿保护与回放门禁持续校准能力结构，让配比从概率参数升级为可审计可复现的训练契约。

  2026/07/29 LLM Pretraining / Data Mixture / DoReMi / RegMix / Data Governance / Token Budget / Mixture Manifest

• LLM μP 超参数跨规模迁移生产实战：用 Base Shape 指纹、Coord Check 与 Proxy Sweep 降低大模型调参成本

  本文系统拆解 μP 超参数跨规模迁移的原理与工程边界，说明如何固化 Base Shape、执行 Coord Check、组织代理模型扫参与回放门禁，并避免把宽度迁移误用于训练时长、批量大小或架构变化。

  2026/07/28 LLM训练 / μP / 超参数迁移 / 预训练工程 / Scaling

• LLM 知识蒸馏生产实战：用 Teacher Logprob 契约、On-policy 回放与 Top-K Tail Bucket 控制学生模型退化

  面向大模型知识蒸馏上线，系统说明教师 Logprob 契约、温度与散度选择、On-policy 回放、Top-K 尾部概率桶、Tokenizer 对齐及学生能力回归门禁，避免蒸馏后静默退化与上线翻车。

  2026/07/28 LLM / 知识蒸馏 / 模型压缩 / On-policy Distillation / MLOps

• LLM 批量推理作业生产实战：用 Manifest、幂等 Record ID 与分片重试避免重复计费和漏结果

  面向异步大批量调用，系统讲解如何以作业清单、确定性记录编号、逐条结果对账和失败分片重试，构建可恢复、可审计、不会因超时重提而重复计费或遗漏结果的批量推理流水线。

  2026/07/28 LLM批量推理 / 幂等性 / 作业编排 / 可靠性工程 / 成本治理 / 分片重试

• LLM 模型格式转换生产实战：用 Tensor Mapping、QKV 重排与逐层数值校验避免静默退化

  系统讲解大模型权重在 Hugging Face、Megatron 与 TensorRT-LLM 之间转换时的参数映射、QKV 重排、分片索引、逐层数值校验和回滚门禁，帮助团队避免模型虽能加载却发生静默退化、输出漂移或并行切分错误，建立可重复、可审计的转换发布流程。

  2026/07/22 LLM Engineering / Model Conversion / Megatron / TensorRT-LLM / Safetensors

• LLM Tokenizer 前处理池生产实战：用异步 Tokenizer Pool、长度感知队列与 CPU 亲和避免 GPU 饥饿

  大模型服务的瓶颈不一定在GPU。本文讲清如何拆分Tokenizer前处理池，利用异步批量编码、长度感知队列、CPU亲和与背压指标，避免长提示词阻塞请求并让GPU持续获得可执行批次。

  2026/07/22 LLM Serving / Tokenizer / Performance Engineering / CPU Optimization / vLLM