文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 172 篇，第 5 / 18 页。

• LLM RoPE Scaling 上线生产实战：用配置指纹、长度分桶与双轨评测避免长上下文退化

  RoPE Scaling 并不等于把 max_model_len 调大。本文从位置频率、配置指纹、长度分桶、长短上下文双轨评测与灰度回滚出发，系统讲解如何将长上下文扩展安全交付到生产环境，避免上下文退化带来的业务风险。

  2026/07/13 LLM 推理 / 长上下文 / RoPE / 模型评测 / 生产工程 / 位置编码

• LLM 机密推理生产实战：用 GPU 远程证明、按证明放行密钥与证据链保护敏感数据

  本文从生产架构出发，深入讲解 LLM 机密推理如何利用 CPU/GPU 可信执行环境、远程证明、按证明释放密钥与证据留存，保护敏感 Prompt、模型权重和推理中间态，并说明兼容边界与上线检查方法。

  2026/07/12 LLM Security / Confidential Computing / GPU Attestation / Remote Attestation / Key Management

• LLM GPU 多租户隔离生产实战：用 MIG Profile、Time-Slicing 分层与重配置门禁稳定共享推理

  面向共享 GPU 上的大模型推理，本文系统讲解 MIG、Time-Slicing 与 MPS 的隔离差异，给出 Profile 选型、Kubernetes 调度、重配置门禁、监控与回滚方法，帮助团队在利用率、延迟和故障边界之间建立可验证的生产方案。

  2026/07/12 LLM Serving / NVIDIA MIG / GPU Multi-Tenancy / Kubernetes / Inference Infrastructure

• LLM CPU–GPU 数据通路生产实战：用 NUMA 亲和、Pinned Memory 与异步拷贝降低推理抖动

  本文从大模型推理中容易被忽视的 CPU 到 GPU 数据通路出发，系统讲解 NUMA 亲和、页锁定内存、异步拷贝、拓扑调度与容器对齐等关键环节，并结合性能回放与上线门禁，帮助团队有效减少主机侧传输抖动、尾延迟和跨节点资源错配。

  2026/07/12 LLM Serving / CUDA / NUMA / GPU Performance / PyTorch

• LLM Attention Backend 生产实战：用兼容矩阵、数值回放与自动回退治理 FlashAttention 和 FlashInfer

  大模型推理框架会在 FlashAttention、FlashInfer 与 SDPA 间选核。本文给出兼容矩阵、数值回放、性能基线和自动回退方案，避免升级后出现启动失败、输出漂移与尾延迟恶化。

  2026/07/12 LLM Serving / FlashAttention / FlashInfer / GPU Kernel / Inference Engineering

• LLM 推理可复现性生产实战：用 Batch Invariance、固定 Seed 与配置指纹控制输出漂移

  本文拆解大模型推理在温度为零时仍可能出现输出漂移的原因，给出固定种子、Batch Invariance、环境指纹、回放矩阵与分级确定性门禁的生产落地方法，帮助团队稳定评测、审计、缓存和回归测试结果。

  2026/07/12 LLM Serving / Reproducibility / Batch Invariance / GPU Inference / MLOps

• LLM MoE Expert Parallel 生产实战：用专家负载画像、All-to-All 预算与动态副本稳住推理吞吐

  MoE 模型稀疏激活不等于推理天然高效。本文拆解 Expert Parallel 的 All-to-All 通信、专家热点与动态副本机制，给出从负载画像到拓扑放置、容量门禁的完整生产治理方案。

  2026/07/11 LLM Serving / Mixture of Experts / Expert Parallel / GPU Inference / Distributed Systems

• LLM Tokenizer 版本治理生产实战：用兼容性指纹、Token 漂移回放与预算门禁避免成本突变

  Tokenizer 变化会让同一提示词的 Token 数、截断位置与调用成本突然漂移。本文给出兼容性指纹、黄金语料回放、双计数和预算门禁方案，帮助团队在模型升级前识别风险并安全灰度。

  2026/07/11 LLM Engineering / Tokenizer / Model Migration / Cost Governance

• LLM 置信度门禁生产实战：用 Logprobs、校准曲线与拒答阈值控制低可信回答

  本文深入讲解大模型回答置信度的工程实践，从 Token Logprobs 特征提取到校准曲线与风险覆盖率分析，帮助团队建立可回放、可灰度、可审计的拒答门禁体系，兼顾覆盖率与低可信输出拦截。

  2026/07/11 LLM / Logprobs / 校准 / 选择性预测 / AI可靠性 / 置信度门禁

• LLM GPU 显存碎片治理生产实战：用 Memory Snapshot、Allocator 调优与 OOM 门禁稳住推理服务

  大模型推理服务常在显存尚未耗尽时因碎片化触发 OOM。本文结合 Memory Snapshot、动态 Shape、分配器调优和 vLLM 显存预算，给出可观测、可验证、可回滚的生产治理方案。

  2026/07/11 LLM Serving / CUDA / GPU Memory / PyTorch / vLLM