发生了什么
近年来，随着大模型从简单问答，走向深度研究、医疗咨询、多模态生成和长程 Agent 任务，一个基础问题变得越来越难回答：我们到底应该 怎样判断模型输出的质量？ 在许多真实且复杂的场景中，我们可能没有标准答案也没有可验证答案正确性的信号来评估模型输出的正确性。 以 Deep Research 报告评估为例，传统方法可能只是对比生成报告和参考报告的文本差异，或者让大模型给一个总体分数。但一篇好报告并不一定要和参考报告写得一样，也很难用一个笼统分数概括。它需要同时满足多个要求，例如是否回答了用户问题、覆盖了关键信息、引用了可靠证据、论证是否清晰、结论是否有用等等。 Rubrics 的作用，就是把这些模糊的「好报告」标准拆解成明确的评价项，让评审者或 judge model 逐项检查和打分。这样不仅能判断报告总体好不好，还能指出具体问题，并进一步把这些细粒度反馈转化为训练信号，帮助模型针对覆盖不足、证据不充分或逻辑不清等问题进行优化。 这意味着，大模型的训练与评测正在从单一正确性信号，转向 多维度、可解释的质量标准。Rubrics ，正在成为连接人类期望、任务要求和模型行为的重要接口。 近日，来自 中国人民大学高瓴人工智能学院 的研究团队发布综述论文《The Rules of the Game: A Survey of Rubrics for Large Language Models》。论文共 40 页，系统梳理了 Rubrics 在大模型中的定义、构造方法、训练应用、评测场景与开放挑战。论文同时维护了持续更新的 GitHub 项目，方便社区跟踪这一快速发展的方向。 论文标题：The Rules of the Game: A Survey of Rubrics for Large Language Models 论文链接1：https://8421bcd.github.io/_pages/Rubrics_Survey.pdf 论文链接2：http://playbigdata.ruc.edu.cn/dou/publication/Rubrics_Survey.pdf GitHub 阅读列表：https://github.com/RUC-NLPIR/Rubrics_Survey 为什么现在需要 Rubrics？ 早期大模型的任务往往具有相对清晰的输入输出形式，而且答案的正确性是容易评估的。例如问答任务可以比较标准答案，代码任务可以运行测试用例，数学任务可以验证最终结果。对于这些任务，准确率、执行成功率或规则化奖励能够提供较直接的训练和评测信号。 但随着模型能力扩展，任务难度也发生了明显变化。大模型正在被要求完成更开放、更高风险、更复杂的任务。例如：自动搜索资料并生成研究报告；在医疗、法律、金融等专业领域给出分析；调用外部工具完成多步任务；在多模态场景中生成或理解复杂内
近年来，随着大模型从简单问答，走向深度研究、医疗咨询、多模态生成和长程 Agent 任务，一个基础问题变得越来越难回答：我们到底应该 怎样判断模型输出的质量？ 在许多真实且复杂的场景中，我们可能没有标准答案也没有可验证答案正确性的信号来评估模型输出的正确性。 以 Deep Research 报告评估为例，传统方法可能只是对比生成报告和参考报告的文本差异，或者让大模型给一个总体分数。但一篇好报告并不一定要和参考报告写得一样，也很难用一个笼统分数概括。它需要同时满足多个要求，例如是否回答了用户问题、覆盖了关键信息、引用了可靠证据、论证是否清晰、结论是否有用等等。 Rubrics 的作用，就是把这些模糊的「好报告」标准拆解成明确的评价项，让评审者或 judge model 逐项检查和打分。这样不仅能判断报告总体好不好，还能指出具体问题，并进一步把这些细粒度反馈转化为训练信号，帮助模型针对覆盖不足、证据不充分或逻辑不清等问题进行优化。 这意味着，大模型的训练与评测正在从单一正确性信号，转向 多维度、可解释的质量标准。Rubrics ，正在成为连接人类期望、任务要求和模型行为的重要接口。 近日，来自 中国人民大学高瓴人工智能学院 的研究团队发布综述论文《The Rules of the Game: A Survey of Rubrics for Large Language Models》。论文共 40 页，系统梳理了 Rubrics 在大模型中的定义、构造方法、训练应用、评测场景与开放挑战。论文同时维护了持续更新的 GitHub 项目，方便社区跟踪这一快速发展的方向。 论文标题：The Rules of the Game: A Survey of Rubrics for Large Language Models 论文链接1：https://8421bcd.github.io/_pages/Rubrics_Survey.pdf 论文链接2：http://playbigdata.ruc.edu.cn/dou/publication/Rubrics_Survey.pdf GitHub 阅读列表：https://github.com/RUC-NLPIR/Rubrics_Survey 为什么现在需要 Rubrics？ 早期大模型的任务往往具有相对清晰的输入输出形式，而且答案的正确性是容易评估的。例如问答任务可以比较标准答案，代码任务可以运行测试用例，数学任务可以验证最终结果。对于这些任务，准确率、执行成功率或规则化奖励能够提供较直接的训练和评测信号。 但随着模型能力扩展，任务难度也发生了明显变化。大模型正在被要求完成更开放、更高风险、更复杂的任务。例如：自动搜索资料并生成研究报告；在医疗、法律、金融等专业领域给出分析；调用外部工具完成多步任务；在多模态场景中生成或理解复杂内
为什么重要
需要你自己点开原文确认一次，这里给的是摘要与判断。
需要你自己点开原文确认一次，这里给的是摘要与判断。
跟你有什么关系
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
以上判断为规则生成的初稿，发布前请润色。
判定理由
评分 0 / 100