标签：Long Context

共 3 篇文章

• LLM Context Parallel 生产实战：用 Sequence Sharding、Ring/Ulysses 通信与因果负载均衡突破长上下文瓶颈

  深入讲解长上下文训练中 Context Parallel 的核心原理、Ring Attention 与 Ulysses 通信选型、因果负载均衡策略及生产上线门禁，帮助团队在多 GPU 环境下降低激活显存占用，稳定将上下文长度从 8K 扩展到 128K 以上。

  2026/07/16 LLM Training / Context Parallel / Distributed Systems / Long Context / Ring Attention

• Attention Sinks 实战：用 StreamingLLM 做长会话持续生成

  本文从注意力沉降现象出发，解释 StreamingLLM 如何保留初始 Sink Token 与最近窗口，在不微调模型的前提下降低长会话显存压力，并给出生产落地边界、监控指标与上线检查清单。

  2026/06/30 LLM Serving / StreamingLLM / KV Cache / Long Context

• KV Cache Quantization 实战：长上下文推理的显存与吞吐治理

  KV Cache 量化不是简单把缓存改成低精度，而是围绕显存容量、注意力带宽、模型精度、校准数据和线上回退策略的一整套推理服务治理方案。

  2026/06/30 LLM Serving / KV Cache / Quantization / Long Context