标签：FlashInfer

共 1 篇文章

• LLM Attention Backend 生产实战：用兼容矩阵、数值回放与自动回退治理 FlashAttention 和 FlashInfer

  大模型推理框架会在 FlashAttention、FlashInfer 与 SDPA 间选核。本文给出兼容矩阵、数值回放、性能基线和自动回退方案，避免升级后出现启动失败、输出漂移与尾延迟恶化。

  2026/07/12 LLM Serving / FlashAttention / FlashInfer / GPU Kernel / Inference Engineering