LLM 预训练数据去重生产实战：用 MinHash-LSH、语义去重与污染门禁降低记忆和评测泄漏
大模型预训练语料中的模板页、转载文和基准变体会放大记忆、浪费算力并污染评测。本文给出从精确去重、MinHash-LSH 到语义去重、基准隔离和阈值回放的完整上线方案，覆盖四层去重架构、工程流水线、阈值校准与常见误区。
标签：Semantic Deduplication
共 1 篇文章
共 1 篇文章
大模型预训练语料中的模板页、转载文和基准变体会放大记忆、浪费算力并污染评测。本文给出从精确去重、MinHash-LSH 到语义去重、基准隔离和阈值回放的完整上线方案，覆盖四层去重架构、工程流水线、阈值校准与常见误区。