文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 155 篇，第 3 / 16 页。

• LLM 实时语音输入生产实战：用 VAD 分段、Partial/Final 对账与音频契约稳住低延迟识别

  实时语音应用的难点不只是模型准确率。本文从音频格式契约、VAD 分段策略、Partial 与 Final 状态对账、时间戳回放到真实噪声评测，系统拆解如何构建可观测、可回滚的低延迟语音识别管线，适合 LLM、生成式 AI 与实时 Agent 技术读者。

  2026/07/13 LLM / 实时语音 / 语音识别 / VAD / 生产工程 / Agent / RAG

• LLM RoPE Scaling 上线生产实战：用配置指纹、长度分桶与双轨评测避免长上下文退化

  RoPE Scaling 并不等于把 max_model_len 调大。本文从位置频率、配置指纹、长度分桶、长短上下文双轨评测与灰度回滚出发，系统讲解如何将长上下文扩展安全交付到生产环境，避免上下文退化带来的业务风险。

  2026/07/13 LLM 推理 / 长上下文 / RoPE / 模型评测 / 生产工程 / 位置编码

• LLM 机密推理生产实战：用 GPU 远程证明、按证明放行密钥与证据链保护敏感数据

  本文从生产架构出发，深入讲解 LLM 机密推理如何利用 CPU/GPU 可信执行环境、远程证明、按证明释放密钥与证据留存，保护敏感 Prompt、模型权重和推理中间态，并说明兼容边界与上线检查方法。

  2026/07/12 LLM Security / Confidential Computing / GPU Attestation / Remote Attestation / Key Management

• LLM GPU 多租户隔离生产实战：用 MIG Profile、Time-Slicing 分层与重配置门禁稳定共享推理

  面向共享 GPU 上的大模型推理，本文系统讲解 MIG、Time-Slicing 与 MPS 的隔离差异，给出 Profile 选型、Kubernetes 调度、重配置门禁、监控与回滚方法，帮助团队在利用率、延迟和故障边界之间建立可验证的生产方案。

  2026/07/12 LLM Serving / NVIDIA MIG / GPU Multi-Tenancy / Kubernetes / Inference Infrastructure

• LLM CPU–GPU 数据通路生产实战：用 NUMA 亲和、Pinned Memory 与异步拷贝降低推理抖动

  本文从大模型推理中容易被忽视的 CPU 到 GPU 数据通路出发，系统讲解 NUMA 亲和、页锁定内存、异步拷贝、拓扑调度与容器对齐等关键环节，并结合性能回放与上线门禁，帮助团队有效减少主机侧传输抖动、尾延迟和跨节点资源错配。

  2026/07/12 LLM Serving / CUDA / NUMA / GPU Performance / PyTorch

• LLM Attention Backend 生产实战：用兼容矩阵、数值回放与自动回退治理 FlashAttention 和 FlashInfer

  大模型推理框架会在 FlashAttention、FlashInfer 与 SDPA 间选核。本文给出兼容矩阵、数值回放、性能基线和自动回退方案，避免升级后出现启动失败、输出漂移与尾延迟恶化。

  2026/07/12 LLM Serving / FlashAttention / FlashInfer / GPU Kernel / Inference Engineering

• LLM 权重量化上线生产实战：用校准集指纹、Kernel 兼容矩阵与双轨回放守住质量和吞吐

  深入拆解 LLM 权重量化从实验到生产落地的完整链路，涵盖 AWQ/GPTQ 算法对比、校准集指纹构建、四层兼容模型、Kernel 兼容矩阵、质量与吞吐双轨回放及灰度发布回滚策略。

  2026/07/12 LLM 推理 / 模型量化 / AWQ / GPTQ / GPU Serving / 权重量化

• LLM 推理可复现性生产实战：用 Batch Invariance、固定 Seed 与配置指纹控制输出漂移

  本文拆解大模型推理在温度为零时仍可能出现输出漂移的原因，给出固定种子、Batch Invariance、环境指纹、回放矩阵与分级确定性门禁的生产落地方法，帮助团队稳定评测、审计、缓存和回归测试结果。

  2026/07/12 LLM Serving / Reproducibility / Batch Invariance / GPU Inference / MLOps

• LLM MoE Expert Parallel 生产实战：用专家负载画像、All-to-All 预算与动态副本稳住推理吞吐

  MoE 模型稀疏激活不等于推理天然高效。本文拆解 Expert Parallel 的 All-to-All 通信、专家热点与动态副本机制，给出从负载画像到拓扑放置、容量门禁的完整生产治理方案。

  2026/07/11 LLM Serving / Mixture of Experts / Expert Parallel / GPU Inference / Distributed Systems

• LLM Tokenizer 版本治理生产实战：用兼容性指纹、Token 漂移回放与预算门禁避免成本突变

  Tokenizer 变化会让同一提示词的 Token 数、截断位置与调用成本突然漂移。本文给出兼容性指纹、黄金语料回放、双计数和预算门禁方案，帮助团队在模型升级前识别风险并安全灰度。

  2026/07/11 LLM Engineering / Tokenizer / Model Migration / Cost Governance