标签：LLM Engineering

共 9 篇文章

• LLM 模型格式转换生产实战：用 Tensor Mapping、QKV 重排与逐层数值校验避免静默退化

  系统讲解大模型权重在 Hugging Face、Megatron 与 TensorRT-LLM 之间转换时的参数映射、QKV 重排、分片索引、逐层数值校验和回滚门禁，帮助团队避免模型虽能加载却发生静默退化、输出漂移或并行切分错误，建立可重复、可审计的转换发布流程。

  2026/07/22 LLM Engineering / Model Conversion / Megatron / TensorRT-LLM / Safetensors

• LLM Unicode 输出治理生产实战：用增量 UTF-8 解码、Grapheme Cluster 与 NFC 边界缓冲避免乱码和字符截断

  面向流式大模型应用，系统讲解网络字节、API Delta 与用户可见字符三层边界，给出增量 UTF-8 解码、扩展字素簇缓冲、NFC 归一化及回放测试方案，避免乱码、Emoji 拆分和索引失配。

  2026/07/13 LLM Engineering / Unicode / Streaming / Text Processing / Character Encoding / Grapheme Cluster

• LLM Tokenizer 版本治理生产实战：用兼容性指纹、Token 漂移回放与预算门禁避免成本突变

  Tokenizer 变化会让同一提示词的 Token 数、截断位置与调用成本突然漂移。本文给出兼容性指纹、黄金语料回放、双计数和预算门禁方案，帮助团队在模型升级前识别风险并安全灰度。

  2026/07/11 LLM Engineering / Tokenizer / Model Migration / Cost Governance

• LLM 视频输入管线生产实战：用帧采样、时间戳对齐与 Media Token 预算控制多模态成本

  视频理解不只是多传几张图。本文从文件准入、解码探测、帧采样、时间戳对齐到 Media Token 预算，系统讲解如何建设可上线的 LLM 视频输入管线，并覆盖缓存、质量评估与常见误区。

  2026/07/10 Multimodal LLM / Video Understanding / Media Token / LLM Engineering / Cost Optimization / 帧采样 / 时间戳对齐

• Voice Agent 生产实战：用流式 ASR、VAD 与分段上下文稳定语音大模型体验

  从工程视角拆解语音大模型应用的实时链路，详解如何用流式 ASR、语音活动检测、分段上下文、LLM 推理和 TTS 协调来降低端到端体感延迟，稳定长对话中的语义边界与用户体验。

  2026/07/02 Voice Agent / 流式 ASR / VAD / LLM Engineering / Realtime AI / 语音大模型

• Structured Outputs 生产实战：用 Constrained Decoding 稳定生成 JSON Schema

  本文系统讲解 Structured Outputs 与 Constrained Decoding 的核心原理、Schema 设计、服务端接入、性能成本、异常处理、上线检查与常见误区，帮助 LLM 应用稳定生成可解析 JSON。

  2026/06/30 LLM Engineering / Structured Outputs / Constrained Decoding / JSON Schema

• Prompt Caching Engineering：长任务 Agent 的成本与延迟优化不能只靠自动缓存

  本文系统拆解 Prompt Caching 在生产级 LLM Agent 中的工程价值，从稳定前缀、cache breakpoint、工具 schema、动态上下文、TTFT、缓存命中指标到质量回归测试，帮助团队把提示词缓存从 API 功能做成可观测、可版本化的成本与延迟优化体系。

  2026/06/26 Prompt Caching / LLM Engineering / AI Agent / Cost Optimization / LLM Inference / Cache Engineering / TTFT

• Structured Outputs + Tool Calling：生产 Agent 为什么需要两阶段约束设计

  从 OpenAI、Anthropic、vLLM 与最新研究出发，拆解结构化输出、工具调用和约束解码的工程边界，说明为什么生产级 Agent 应采用两阶段约束设计，避免 JSON Schema 抑制工具调用。

  2026/06/25 LLM Engineering / Structured Outputs / Function Calling / AI Agent / Constrained Decoding

• Context Engineering：AI Agent 生产化的核心不是提示词，而是上下文预算

  本文结合 Anthropic、OpenAI 与 GitHub 工程实践，拆解 AI Agent 上下文工程理念：为什么生产级 Agent 的关键不是更聪明的提示词，而是把上下文窗口当成稀缺资源来管理，涵盖工具设计、记忆压缩、子 Agent 分工与离线评测。

  2026/06/25 AI Agent / Context Engineering / MCP / Function Calling / LLM Engineering