标签：fair scheduling

共 2 篇文章

• 多租户 LLM 推理公平调度生产实战：用 Token Cost Accounting、VTC 与 Priority Lanes 治理 Noisy Neighbor

  面向共享 GPU 的多租户大模型推理服务，系统说明为什么按请求数限流不足，并给出基于 Token 成本计量、VTC 公平调度、优先级通道与租户配额的落地方案，兼顾吞吐、隔离与尾延迟。

  2026/08/27 llm-serving / multi-tenancy / fair-scheduling / vtc / gpu-inference

• LLM 多租户配额网关生产实战：用 Token 预算、速率限制与公平调度守住共享模型池

  面向共享大模型推理平台，系统讲解多租户配额网关如何通过请求速率、Token 预算、公平调度、成本归因与降级策略，避免少数租户拖垮共享模型池并控制账单风险。

  2026/07/09 LLM Gateway / Rate Limit / Multi Tenant / Inference Serving / Cost Control / Fair Scheduling / Token Budget