发生了什么
编辑｜山辉 今天，对技术细节一直讳莫如深的 OpenAI，终于 OpenAI 了一把。 按照 Sam Altman 的说法，他们是公布了一篇：goblin-level 的 blog。 他们只改变了两个设置就能让模型在 ARC-AGI-3 的得分提升 3 倍！ 链接：https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/ 在官方测试框架下，GPT-5.6 Sol 在 ARC-AGI-3 公共测试集上的得分只有 13.3% ；但换用与 ChatGPT、Codex 更接近的运行方式后，得分直接提升至 38.3% ，约提升 3 倍 。 在此期间，模型本身并没有发生变化，只是改变了两个设置。 OpenAI 发现，长期运行的 Agent 如果无法保留自己的推理过程，也无法有效压缩历史上下文，就很难基于过去经验持续学习。 这也带来了一个新的问题：当 AI Agent 开始执行越来越长、越来越复杂的任务时，我们评测的究竟是模型本身，还是模型所处的运行环境？ 以下是博客内容。 一段加速播放的视频，展示了 GPT-5.6 Sol 尝试解决 ARC-AGI-3 基准测试中谜题的过程。左侧为官方测试框架（official harness），右侧为 Responses API 测试框架，该框架能够保留推理过程并支持上下文压缩。在该游戏的排行榜上，目前没有任何前沿模型能够通过第一关之后的关卡。而在 Responses API 测试框架下，GPT-5.6 Sol 成功解决了全部六个关卡。 ARC-AGI-3：测试 AI 如何学习陌生游戏 ARC-AGI-3 是一个用于评估 AI Agent 学习和推理能力的基准测试。 与传统问答任务不同，ARC-AGI-3 不会直接告诉模型游戏规则，而是让 Agent 自己探索陌生的二维游戏环境，通过观察结果和不断尝试，逐渐理解游戏机制。 因此，它测试的并非单次回答能力，而是 AI 在长期交互过程中的学习能力。 ARC-AGI-3 采用了一个较为通用的测试框架，不包含额外工具或针对特定模型的优化。 ARC 团队认为，这样可以更公平地比较不同模型，同时暴露模型在推理和学习上的不足。 但 OpenAI 在分析 GPT-5.6 Sol 的测试过程时发现， 通用测试框架中的一些设计，可能影响了模型发挥。 GPT-5.6 Sol 为什么表现不佳？ 最初，GPT-5.6 Sol 在 ARC-AGI-3 上的表现让 OpenAI 感到困惑。 此前，GPT-5.6 Sol 已经解决了一些长期存在的数学开放问题，也能够完成《宝可梦 火红》《杀戮尖塔》等复杂游戏任务。 但在 ARC-AGI-3 中，它的表现却明显下降。 OpenAI 检查模型运行过程后发现，问题并不完全来自模型能力，而是
编辑｜山辉 今天，对技术细节一直讳莫如深的 OpenAI，终于 OpenAI 了一把。 按照 Sam Altman 的说法，他们是公布了一篇：goblin-level 的 blog。 他们只改变了两个设置就能让模型在 ARC-AGI-3 的得分提升 3 倍！ 链接：https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/ 在官方测试框架下，GPT-5.6 Sol 在 ARC-AGI-3 公共测试集上的得分只有 13.3% ；但换用与 ChatGPT、Codex 更接近的运行方式后，得分直接提升至 38.3% ，约提升 3 倍 。 在此期间，模型本身并没有发生变化，只是改变了两个设置。 OpenAI 发现，长期运行的 Agent 如果无法保留自己的推理过程，也无法有效压缩历史上下文，就很难基于过去经验持续学习。 这也带来了一个新的问题：当 AI Agent 开始执行越来越长、越来越复杂的任务时，我们评测的究竟是模型本身，还是模型所处的运行环境？ 以下是博客内容。 一段加速播放的视频，展示了 GPT-5.6 Sol 尝试解决 ARC-AGI-3 基准测试中谜题的过程。左侧为官方测试框架（official harness），右侧为 Responses API 测试框架，该框架能够保留推理过程并支持上下文压缩。在该游戏的排行榜上，目前没有任何前沿模型能够通过第一关之后的关卡。而在 Responses API 测试框架下，GPT-5.6 Sol 成功解决了全部六个关卡。 ARC-AGI-3：测试 AI 如何学习陌生游戏 ARC-AGI-3 是一个用于评估 AI Agent 学习和推理能力的基准测试。 与传统问答任务不同，ARC-AGI-3 不会直接告诉模型游戏规则，而是让 Agent 自己探索陌生的二维游戏环境，通过观察结果和不断尝试，逐渐理解游戏机制。 因此，它测试的并非单次回答能力，而是 AI 在长期交互过程中的学习能力。 ARC-AGI-3 采用了一个较为通用的测试框架，不包含额外工具或针对特定模型的优化。 ARC 团队认为，这样可以更公平地比较不同模型，同时暴露模型在推理和学习上的不足。 但 OpenAI 在分析 GPT-5.6 Sol 的测试过程时发现， 通用测试框架中的一些设计，可能影响了模型发挥。 GPT-5.6 Sol 为什么表现不佳？ 最初，GPT-5.6 Sol 在 ARC-AGI-3 上的表现让 OpenAI 感到困惑。 此前，GPT-5.6 Sol 已经解决了一些长期存在的数学开放问题，也能够完成《宝可梦 火红》《杀戮尖塔》等复杂游戏任务。 但在 ARC-AGI-3 中，它的表现却明显下降。 OpenAI 检查模型运行过程后发现，问题并不完全来自模型能力，而是
为什么重要
需要你自己点开原文确认一次，这里给的是摘要与判断。
需要你自己点开原文确认一次，这里给的是摘要与判断。
跟你有什么关系
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
以上判断为规则生成的初稿，发布前请润色。
判定理由
评分 0 / 100