标签：llm serving

共 25 篇文章

• LLM Chat Template 生产治理：用模板版本、Token 计数与回放测试避免模型切换翻车

  深入讲解大模型 Chat Template 的生产级治理方法，覆盖模板版本管理、特殊 token 处理、Token 精确计数、工具调用渲染及回放测试，帮助团队在模型切换时避免质量回退与成本失控。

  2026/07/07 LLM Serving / Chat Template / Tokenizer / Model Migration

• LLM GPU 故障自愈生产实战：用健康探针、节点隔离与请求排空降低推理中断

  LLM 推理服务如何应对 GPU 异常？本文讲解 DCGM 健康检查、Kubernetes 四层探针设计、节点隔离、请求排空、CUDA OOM 分级恢复与灰度验证，帮助团队构建 GPU 故障自愈闭环，降低推理中断与重试风暴。

  2026/07/06 LLM Serving / GPU Reliability / Kubernetes / DCGM / Inference Ops / GPU 故障自愈

• LLM 推理容量规划生产实战：用 Token 吞吐压测与队列水位估算 GPU 余量

  本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。

  2026/07/05 LLM Serving / Capacity Planning / GPU Inference / SLO / vLLM / Token Throughput

• LLM LoRA 适配器缓存生产实战：用冷热分层与驱逐策略降低动态加载抖动

  本文讲解多租户大模型服务中 LoRA 适配器缓存的生产治理，覆盖动态加载、冷热分层、驱逐策略、租户配额、版本发布与上线检查，帮助团队降低首次延迟和显存抖动风险。

  2026/07/05 LLM Serving / LoRA / Adapter Cache / Inference Infrastructure / 冷热分层 / 多租户 / 动态加载 / 驱逐策略

• LLM Streaming Backpressure 生产实战：用取消、超时与流控稳定长输出体验

  本文系统讲解大模型流式输出中的背压、取消与超时治理，覆盖 SSE 事件流、客户端慢读、服务端队列、连接中断、资源回收、降级策略和上线检查，帮助团队稳定长输出体验。

  2026/07/03 llm-serving / streaming / backpressure / production

• VLM Serving 生产实战：用视觉 Token 预算稳定图片与视频推理

  本文系统讲解多模态大模型服务中图片与视频输入治理、视觉 Token 预算、预处理队列、成本控制和上线检查清单，帮助团队在生产环境中稳定落地 VLM 推理服务。

  2026/07/02 VLM / LLM Serving / Multimodal AI / 视觉Token预算 / 多模态推理 / Inference / Vision Token / vLLM / SGLang

• Serverless GPU 推理冷启动治理：用 Warm Pool 与分阶段预热降低首次延迟

  深入剖析 Serverless GPU 场景下大模型冷启动的六阶段瓶颈，从 Warm Pool 分层策略、分阶段预热机制到工程落地架构与指标体系，帮助团队在 GPU 成本与首 Token 延迟之间找到可验证的平衡方案。

  2026/07/01 LLM Serving / Serverless GPU / Cold Start / Warm Pool / Inference Optimization / GPU 推理 / 冷启动优化

• Multi-LoRA 生产实战：用适配器缓存与冷热分层稳定多租户推理

  从多租户推理场景出发，系统讲解 Multi-LoRA 服务中的适配器缓存、冷热分层、Rank 感知调度、驱逐策略和上线检查方法，帮助团队在 GPU 显存约束下稳定服务海量定制化 LoRA 适配器。

  2026/07/01 LLM Serving / LoRA / Inference / GPU / Multi Tenant / Adapter Cache / vLLM

• LLM Serving 过载保护实战：用 SLO 驱动自动伸缩与准入控制

  大模型推理服务上线后，真正棘手的问题往往不是单次请求慢，而是流量突增时系统陷入不可恢复的排队状态。本文围绕 SLO 驱动的自动伸缩与准入控制，给出基于队列长度、Token 压力、TTFT/TPOT 和租户配额的过载保护工程落地清单。

  2026/07/01 LLM Serving / Autoscaling / SLO / Admission Control / 过载保护 / 推理基础设施

• Continuous Batching 生产实战：用动态批处理提升 LLM Serving 吞吐

  本文系统讲解 Continuous Batching 如何通过迭代级调度提升 LLM 推理吞吐，覆盖静态批处理痛点、调度机制、KV Cache 约束、关键参数配置、监控指标与上线误区，适合推理服务优化与容量规划参考。

  2026/07/01 LLM Serving / Continuous Batching / Inference Optimization / GPU / vLLM

• PagedAttention 生产实战：用分页式 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 的原理、KV Cache 分页管理、连续批处理协同、监控指标和上线检查，帮助你在大模型推理服务中降低显存碎片并提升吞吐。

  2026/07/01 大模型 / LLM Serving / PagedAttention / KV Cache / 推理优化

• Speculative Decoding 生产实战：用 Draft-Verify 机制降低大模型解码延迟

  系统讲解 Speculative Decoding 的 Draft-Verify 原理、vLLM 与 TensorRT-LLM 落地方式、指标调优、适用边界与上线检查，帮助在生产环境降低解码延迟，并避免低接受率带来的反向开销。

  2026/07/01 大模型 / 推理优化 / Speculative Decoding / LLM Serving / 工程实践

• Prefill-Decode Disaggregation 生产实战：分离预填充与解码，降低 TTFT/TPOT 冲突

  系统梳理大模型预填充与解码分离架构，深入解释长上下文场景下首 token 延迟与逐 token 延迟的冲突根源，覆盖 KV Cache 传输、动态路由、资源配比、监控指标与上线检查清单，助你平稳落地生产环境。

  2026/07/01 大模型 / 推理加速 / LLM Serving / KV Cache / 工程实践

• Continuous Batching 生产实战：让 LLM 服务在高并发下稳定吃满 GPU

  本文系统梳理大模型服务中连续批处理的核心原理、调度策略、KV Cache 约束、工程落地步骤与监控指标，帮助团队在高并发场景下提升吞吐并控制尾延迟，覆盖从原理验证到生产上线的完整实践路径。

  2026/07/01 LLM Serving / Continuous Batching / vLLM / KV Cache / 性能工程 / 推理优化 / GPU 调度

• Prefix Caching 生产实战：用 KV Cache 复用降低 TTFT 与输入成本

  系统讲解 Prefix Caching 与 KV Cache 复用在大模型推理中的核心原理、工程落地五步流程、关键监控指标、五大适用场景及常见误区，并附上线检查清单，帮助团队降低首 token 延迟与重复计算成本。

  2026/06/30 大模型 / LLM Serving / KV Cache / Prefix Caching / 推理优化 / TTFT / vLLM / Prompt Caching

• PagedAttention 生产实战：用分页 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 如何通过分页 KV Cache 管理缓解大模型推理中的显存碎片与过度预留问题，帮助工程团队提升吞吐、降低延迟波动，并给出生产上线检查清单与监控策略。

  2026/06/30 llm-serving / pagedattention / kv-cache / inference

• Prefix Caching 生产实战：让 RAG 与 Agent 服务复用 KV Cache 的完整指南

  本文系统讲解 Prefix Caching 如何复用共享提示词与上下文的 KV Cache，降低 RAG、Agent 和长文档问答场景的 TTFT、推理成本与重复预填充开销，并给出 vLLM、OpenAI API、SGLang 的工程落地清单与常见误区。

  2026/06/30 LLM Serving / KV Cache / RAG / Agent Infrastructure / Prefix Caching / 推理优化

• Attention Sinks 实战：用 StreamingLLM 做长会话持续生成

  本文从注意力沉降现象出发，解释 StreamingLLM 如何保留初始 Sink Token 与最近窗口，在不微调模型的前提下降低长会话显存压力，并给出生产落地边界、监控指标与上线检查清单。

  2026/06/30 LLM Serving / StreamingLLM / KV Cache / Long Context

• KV Cache Quantization 实战：长上下文推理的显存与吞吐治理

  KV Cache 量化不是简单把缓存改成低精度，而是围绕显存容量、注意力带宽、模型精度、校准数据和线上回退策略的一整套推理服务治理方案。

  2026/06/30 LLM Serving / KV Cache / Quantization / Long Context

• Continuous Batching 实战：为什么 LLM 服务不能用传统固定批处理

  从固定批处理、迭代级调度到 PagedAttention，系统梳理 Continuous Batching 在大模型推理服务中的原理、收益、边界与上线检查方法。

  2026/06/30 LLM Serving / Continuous Batching / PagedAttention / Inference Optimization

• MoE Expert Parallelism 实战：稀疏大模型推理的通信与负载均衡治理

  MoE模型推理服务中，Expert Parallelism如何影响通信开销与负载均衡？本文从真实瓶颈出发，系统梳理EP工作机制、All-to-All通信、并行策略组合、跨节点部署与上线检查清单，帮助工程师在生产环境中高效部署稀疏大模型。

  2026/06/30 LLM Serving / Mixture of Experts / Expert Parallelism / Inference Optimization

• Multi-LoRA Serving 实战：一套基座模型如何服务多个业务适配器

  从 LoRA 原理、动态适配器加载、批处理调度和上线治理出发，解释 Multi-LoRA Serving 如何降低多业务大模型部署成本，并指出工程落地中的边界与常见误区。

  2026/06/30 LLM Serving / LoRA / PEFT / 推理优化

• Chunked Prefill 实战：长上下文推理的延迟治理

  本文从连续批处理与预填充分块的协同机制出发，深入解析长上下文推理中如何通过 Chunked Prefill 治理延迟，涵盖核心调度原理、chunk size 调参策略、工程落地指标与生产上线检查清单。

  2026/06/29 LLM Serving / Chunked Prefill / Continuous Batching / Inference Optimization

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、适用边界、KV Cache 传输、资源规划与上线检查清单。

  2026/06/29 LLM Serving / Prefill-Decode / KV Cache / 推理优化 / 长上下文 / 延迟治理

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、KV Cache 传输、资源规划与上线检查清单，帮助 LLM 服务从“能跑”迈向稳定可扩展。

  2026/06/29 LLM Serving / Prefill Decode / KV Cache / Inference Optimization / 长上下文 / 尾延迟 / RAG / Agent