标签：成本优化

共 2 篇文章

• LLM Batch API 离线推理生产实战：用 JSONL 队列、custom_id 与结果回灌降低非实时任务成本

  本文讲解如何把非实时大模型任务改造成可恢复的 Batch API 离线流水线，覆盖 JSONL 队列、custom_id、状态轮询、错误回灌、结果对账、成本预算与上线检查清单，帮助团队降低大规模 LLM 任务的成本并提升工程可靠性。

  2026/07/07 LLM Batch API / 离线推理 / 成本优化 / LLM 工程

• LLM Batch Inference 生产实战：用异步批处理跑稳离线大模型任务

  本文系统讲解 LLM Batch Inference 如何用于离线摘要、分类、数据标注和批量评测任务，覆盖任务切分、幂等重试、结果归并、成本控制、失败恢复与上线检查清单。

  2026/07/03 LLM批处理 / 异步推理 / 离线任务 / 生产实践 / Batch Inference / 成本优化