标签：LLM as a Judge

共 3 篇文章

• LLM-as-a-Judge 生产实战：如何校准自动评估，避免把模型裁判当真理

  系统讲解 LLM-as-a-Judge 在大模型应用评估中的生产落地方法，涵盖数据集构建、评分规约设计、偏差校准、指标监控与人工复核闭环，帮助团队把模型裁判从自动真理机变成可审计的评估子系统。

  2026/07/01 大模型 / LLM评估 / LLM-as-a-Judge / 工程实践 / LLMOps

• LLM-as-a-Judge 生产落地：Rubric、偏差与回归测试闭环

  本文从 LLM-as-a-Judge 的评分模式、Rubric 设计、偏差来源、线上回归、人工复核与阈值治理出发，整理一套适合 RAG、Agent 和内容生成系统的生产级评测闭环。

  2026/06/30 LLM Evaluation / LLM-as-a-Judge / RAG / Agent / AI Engineering

• LLM-as-a-Judge：生产级大模型评测不能只看自动打分

  本文系统拆解 LLM-as-a-Judge 的工程价值、G-Eval、pointwise 与 pairwise 评测、position bias、verbosity bias、self-preference、人工校准和 CI 回归测试，帮助团队建立可追踪、可校准、可上线的 LLM 自动评测体系。

  2026/06/26 LLM Evaluation / LLM-as-a-Judge / AI Agent / RAG Evaluation / Model Testing