标签：LLM 推理

共 3 篇文章

• LLM RoPE Scaling 上线生产实战：用配置指纹、长度分桶与双轨评测避免长上下文退化

  RoPE Scaling 并不等于把 max_model_len 调大。本文从位置频率、配置指纹、长度分桶、长短上下文双轨评测与灰度回滚出发，系统讲解如何将长上下文扩展安全交付到生产环境，避免上下文退化带来的业务风险。

  2026/07/13 LLM 推理 / 长上下文 / RoPE / 模型评测 / 生产工程 / 位置编码

• LLM 权重量化上线生产实战：用校准集指纹、Kernel 兼容矩阵与双轨回放守住质量和吞吐

  深入拆解 LLM 权重量化从实验到生产落地的完整链路，涵盖 AWQ/GPTQ 算法对比、校准集指纹构建、四层兼容模型、Kernel 兼容矩阵、质量与吞吐双轨回放及灰度发布回滚策略。

  2026/07/12 LLM 推理 / 模型量化 / AWQ / GPTQ / GPU Serving / 权重量化

• 边缘 LLM 推理生产实战：用 GGUF、mmap 与分层卸载跑稳本地模型

  系统讲解如何将开放权重大模型部署到本地工作站、边缘节点与内网服务器，涵盖 GGUF 量化选型、mmap 内存映射加载、CPU/GPU 分层卸载调参、服务化治理与上线检查清单，帮助团队把边缘推理从“能跑”提升到“生产可运维”。

  2026/07/06 LLM 推理 / GGUF / 边缘 AI / llama.cpp / 模型部署 / 量化 / 本地推理