发生了什么
BenchJack 之后，reward hacking 检测还缺什么？ Agent 在 benchmark 上拿到高分，未必真正完成了任务。它也可能利用评测或奖励机制中的漏洞，绕开题目要求来提高得分。这类行为通常被称为 reward hacking。 此前，BenchJack 对 10 个 Agent benchmark 开展系统审计，发现了 219 处漏洞，并构造出能在多数 benchmark 上获得接近满分、却不解决实际任务的利用方式。研究团队将常见问题归纳为八类漏洞模式，整理成 Agent-Eval Checklist，供 benchmark 设计者检查和修补评测系统。 发现漏洞之后，还需要判断具体的一次运行：Agent 有没有使用这个漏洞？它的操作是否影响了最终分数？有漏洞的任务中也可能出现合规的执行过程，而一个通过测试的答案，也可能来自任务不允许的获取方式。 论文：《BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure》 论文链接：https://arxiv.org/abs/2609.11028v1 来自达特茅斯学院、加州大学伯克利分校、BenchFlow AI 等机构的研究者提出了 BenchShield。论文题为《BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure》。 BenchShield 将检查扩展到产生分数的完整过程：先明确各阶段应满足的要求，再用静态分析查找潜在利用路径，并根据运行时证据判断 Agent 是否尝试或实际使用了这些路径。 被隔离的 verifier，为什么仍然会给出满分？ 绕过类型检查，让错误的证明通过验证 论文中的一个 Lean 定理证明任务，已经将负责检查提交结果的 verifier 与 Agent 的运行环境隔离。Agent 提交了一份错误的证明，却仍获得了满分（reward = 1.00）。 原因在于，提交的 Lean 源代码启用了 debug.skipKernelTC，关闭了 Lean 内核的类型检查。verifier 应用补丁、重新构建项目时，这个设置也随之生效。Agent 虽然不能直接改动隔离环境中的 verifier，却能通过提交的代码改变检查过程。 直接下载标准答案，通过全部 10 项测试 另一项任务也采用了独立的验证环境。Agent 从上游项目的公开仓库下载了本应对它保密的测试集标签，相当于直接拿到了标准答案。随后，它将标签转换成要求的输出格式，通过了全部 10 项测试。 这次
BenchJack 之后，reward hacking 检测还缺什么？ Agent 在 benchmark 上拿到高分，未必真正完成了任务。它也可能利用评测或奖励机制中的漏洞，绕开题目要求来提高得分。这类行为通常被称为 reward hacking。 此前，BenchJack 对 10 个 Agent benchmark 开展系统审计，发现了 219 处漏洞，并构造出能在多数 benchmark 上获得接近满分、却不解决实际任务的利用方式。研究团队将常见问题归纳为八类漏洞模式，整理成 Agent-Eval Checklist，供 benchmark 设计者检查和修补评测系统。 发现漏洞之后，还需要判断具体的一次运行：Agent 有没有使用这个漏洞？它的操作是否影响了最终分数？有漏洞的任务中也可能出现合规的执行过程，而一个通过测试的答案，也可能来自任务不允许的获取方式。 论文：《BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure》 论文链接：https://arxiv.org/abs/2609.11028v1 来自达特茅斯学院、加州大学伯克利分校、BenchFlow AI 等机构的研究者提出了 BenchShield。论文题为《BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure》。 BenchShield 将检查扩展到产生分数的完整过程：先明确各阶段应满足的要求，再用静态分析查找潜在利用路径，并根据运行时证据判断 Agent 是否尝试或实际使用了这些路径。 被隔离的 verifier，为什么仍然会给出满分？ 绕过类型检查，让错误的证明通过验证 论文中的一个 Lean 定理证明任务，已经将负责检查提交结果的 verifier 与 Agent 的运行环境隔离。Agent 提交了一份错误的证明，却仍获得了满分（reward = 1.00）。 原因在于，提交的 Lean 源代码启用了 debug.skipKernelTC，关闭了 Lean 内核的类型检查。verifier 应用补丁、重新构建项目时，这个设置也随之生效。Agent 虽然不能直接改动隔离环境中的 verifier，却能通过提交的代码改变检查过程。 直接下载标准答案，通过全部 10 项测试 另一项任务也采用了独立的验证环境。Agent 从上游项目的公开仓库下载了本应对它保密的测试集标签，相当于直接拿到了标准答案。随后，它将标签转换成要求的输出格式，通过了全部 10 项测试。 这次
为什么重要
需要你自己点开原文确认一次，这里给的是摘要与判断。
需要你自己点开原文确认一次，这里给的是摘要与判断。
跟你有什么关系
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
以上判断为规则生成的初稿，发布前请润色。
判定理由
评分 0 / 100