标签：gpu inference

共 7 篇文章

• LLM 2:4 结构化稀疏生产实战：用 Prune Gate、Sparse Tactic Audit 与 Dense Fallback 把剪枝变成真实加速

  深入剖析大语言模型 2:4 结构化稀疏上线落地工程，详解 Prune Gate 质量门禁、Sparse Tactic 审计、GPU 稀疏内核覆盖率分析与 Dense Fallback 降级策略，助你将剪枝真正转化为推理吞吐与时延收益。

  2026/09/22 LLM Serving / Structured Sparsity / GPU Inference / Model Compression / TensorRT

• LLM 冷启动治理生产实战：用 Local NVMe Cache、Weight Streaming 与 Warm Pool 缩短模型拉起时间

  大模型服务扩容后迟迟不能 Ready，瓶颈常在模型权重下载、磁盘读取与 GPU 装载。本文从本地 NVMe 缓存、权重流式加载、Warm Pool 与模型本地性感知调度出发，给出一套可落地的 LLM 冷启动治理方案。

  2026/08/28 LLM Serving / Cold Start / KServe / vLLM / GPU Inference

• 多租户 LLM 推理公平调度生产实战：用 Token Cost Accounting、VTC 与 Priority Lanes 治理 Noisy Neighbor

  面向共享 GPU 的多租户大模型推理服务，系统说明为什么按请求数限流不足，并给出基于 Token 成本计量、VTC 公平调度、优先级通道与租户配额的落地方案，兼顾吞吐、隔离与尾延迟。

  2026/08/27 llm-serving / multi-tenancy / fair-scheduling / vtc / gpu-inference

• LLM 推理可复现性生产实战：用 Batch Invariance、固定 Seed 与配置指纹控制输出漂移

  本文拆解大模型推理在温度为零时仍可能出现输出漂移的原因，给出固定种子、Batch Invariance、环境指纹、回放矩阵与分级确定性门禁的生产落地方法，帮助团队稳定评测、审计、缓存和回归测试结果。

  2026/07/12 LLM Serving / Reproducibility / Batch Invariance / GPU Inference / MLOps

• LLM MoE Expert Parallel 生产实战：用专家负载画像、All-to-All 预算与动态副本稳住推理吞吐

  MoE 模型稀疏激活不等于推理天然高效。本文拆解 Expert Parallel 的 All-to-All 通信、专家热点与动态副本机制，给出从负载画像到拓扑放置、容量门禁的完整生产治理方案。

  2026/07/11 LLM Serving / Mixture of Experts / Expert Parallel / GPU Inference / Distributed Systems

• LLM Tensor Parallel 推理部署生产实战：用并行度、NCCL 与拓扑感知降低跨卡抖动

  本文讲解大模型跨卡推理部署中的 Tensor Parallel、Pipeline Parallel、NCCL 通信与拓扑感知调优，覆盖并行度选择、节点网络、压测指标和上线检查，帮助团队降低多 GPU 服务抖动。

  2026/07/07 LLM Serving / Tensor Parallel / NCCL / GPU Inference

• LLM 推理容量规划生产实战：用 Token 吞吐压测与队列水位估算 GPU 余量

  本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。

  2026/07/05 LLM Serving / Capacity Planning / GPU Inference / SLO / vLLM / Token Throughput