标签：Tokenizer

共 3 篇文章

• LLM Tokenizer 前处理池生产实战：用异步 Tokenizer Pool、长度感知队列与 CPU 亲和避免 GPU 饥饿

  大模型服务的瓶颈不一定在GPU。本文讲清如何拆分Tokenizer前处理池，利用异步批量编码、长度感知队列、CPU亲和与背压指标，避免长提示词阻塞请求并让GPU持续获得可执行批次。

  2026/07/22 LLM Serving / Tokenizer / Performance Engineering / CPU Optimization / vLLM

• LLM Tokenizer 版本治理生产实战：用兼容性指纹、Token 漂移回放与预算门禁避免成本突变

  Tokenizer 变化会让同一提示词的 Token 数、截断位置与调用成本突然漂移。本文给出兼容性指纹、黄金语料回放、双计数和预算门禁方案，帮助团队在模型升级前识别风险并安全灰度。

  2026/07/11 LLM Engineering / Tokenizer / Model Migration / Cost Governance

• LLM Chat Template 生产治理：用模板版本、Token 计数与回放测试避免模型切换翻车

  深入讲解大模型 Chat Template 的生产级治理方法，覆盖模板版本管理、特殊 token 处理、Token 精确计数、工具调用渲染及回放测试，帮助团队在模型切换时避免质量回退与成本失控。

  2026/07/07 LLM Serving / Chat Template / Tokenizer / Model Migration