标签：multi tenancy

共 1 篇文章

• 多租户 LLM 推理公平调度生产实战：用 Token Cost Accounting、VTC 与 Priority Lanes 治理 Noisy Neighbor

  面向共享 GPU 的多租户大模型推理服务，系统说明为什么按请求数限流不足，并给出基于 Token 成本计量、VTC 公平调度、优先级通道与租户配额的落地方案，兼顾吞吐、隔离与尾延迟。

  2026/08/27 llm-serving / multi-tenancy / fair-scheduling / vtc / gpu-inference