文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 106 篇，第 7 / 11 页。

• LLM Model Routing 实战：用评估驱动成本、延迟与质量的动态选择

  本文围绕多模型路由的生产落地展开，解释路由信号、评估闭环、成本预算、回退策略与上线检查，帮助团队在质量、延迟和费用之间建立可验证、可回滚、可观测的动态模型选择机制。

  2026/06/30 LLM / Model Routing / AI Gateway / Evaluation / Inference Cost

• Attention Sinks 实战：用 StreamingLLM 做长会话持续生成

  本文从注意力沉降现象出发，解释 StreamingLLM 如何保留初始 Sink Token 与最近窗口，在不微调模型的前提下降低长会话显存压力，并给出生产落地边界、监控指标与上线检查清单。

  2026/06/30 LLM Serving / StreamingLLM / KV Cache / Long Context

• LLM-as-a-Judge 生产落地：Rubric、偏差与回归测试闭环

  本文从 LLM-as-a-Judge 的评分模式、Rubric 设计、偏差来源、线上回归、人工复核与阈值治理出发，整理一套适合 RAG、Agent 和内容生成系统的生产级评测闭环。

  2026/06/30 LLM Evaluation / LLM-as-a-Judge / RAG / Agent / AI Engineering

• Agent Observability 实战：从 Trace 到 Eval 的生产闭环

  围绕大模型 Agent 线上治理，拆解 Trace、Span、评估器、采样、脱敏、回放与告警如何协同，帮助团队从日志排障升级为可复现、可审计、可持续改进的质量工程。

  2026/06/30 LLM Observability / Agent Engineering / OpenTelemetry / Evaluation

• KV Cache Quantization 实战：长上下文推理的显存与吞吐治理

  KV Cache 量化不是简单把缓存改成低精度，而是围绕显存容量、注意力带宽、模型精度、校准数据和线上回退策略的一整套推理服务治理方案。

  2026/06/30 LLM Serving / KV Cache / Quantization / Long Context

• Continuous Batching 实战：为什么 LLM 服务不能用传统固定批处理

  从固定批处理、迭代级调度到 PagedAttention，系统梳理 Continuous Batching 在大模型推理服务中的原理、收益、边界与上线检查方法。

  2026/06/30 LLM Serving / Continuous Batching / PagedAttention / Inference Optimization

• MCP Tool Server 安全治理：从接入便利到最小权限执行

  MCP 让大模型连接工具变得统一，但也放大了权限、身份、审计与提示注入风险。本文从协议边界、授权模型、执行隔离和上线检查出发，整理一套可落地的 MCP Tool Server 安全治理方案。

  2026/06/30 LLM Agent / MCP / Tool Calling / AI Security / Engineering

• MoE Expert Parallelism 实战：稀疏大模型推理的通信与负载均衡治理

  MoE模型推理服务中，Expert Parallelism如何影响通信开销与负载均衡？本文从真实瓶颈出发，系统梳理EP工作机制、All-to-All通信、并行策略组合、跨节点部署与上线检查清单，帮助工程师在生产环境中高效部署稀疏大模型。

  2026/06/30 LLM Serving / Mixture of Experts / Expert Parallelism / Inference Optimization

• Multi-LoRA Serving 实战：一套基座模型如何服务多个业务适配器

  从 LoRA 原理、动态适配器加载、批处理调度和上线治理出发，解释 Multi-LoRA Serving 如何降低多业务大模型部署成本，并指出工程落地中的边界与常见误区。

  2026/06/30 LLM Serving / LoRA / PEFT / 推理优化

• Chunked Prefill 实战：长上下文推理的延迟治理

  本文从连续批处理与预填充分块的协同机制出发，深入解析长上下文推理中如何通过 Chunked Prefill 治理延迟，涵盖核心调度原理、chunk size 调参策略、工程落地指标与生产上线检查清单。

  2026/06/29 LLM Serving / Chunked Prefill / Continuous Batching / Inference Optimization