ProgramBench

验证中 · 出现于 2026-05-05 · 65 天前 · 最近核对 2026-05-07

ProgramBench 是一个软件工程评测基准，专测 AI agent 能否在只拿到编译好的二进制文件和配套文档的前提下，从零重建一个完整、可运行的代码库。任务期间不给源码，不允许反编译，不能联网。

2026 年 5 月 5 日由 Meta FAIR、斯坦福和哈佛研究人员联合发布。基准覆盖 200 个任务，从轻量 CLI 工具到 FFmpeg、SQLite、PHP 解释器这类重量级项目，由 248,000+ 条 agent 生成的行为测试负责验证。目前没有任何模型能完整解出一道题，Claude Opus 4.7 以接近解出率 3% 排名第一。

💡

ProgramBench 任务里，agent 拿到的是编译好的 `jq` 二进制和 man 手册，没有一行源码可看。它必须自己选语言、设计架构，最终交出一份能在数千个边缘输入上跑通的代码。同样的活，人类工程师也要好几天。

就像蒙眼画建筑：你只看到竣工的楼，从来没见过设计图。

搜索热度

峰值 ~201/月

更新于 2026-07-02

~201/月 ~100/月 0

2026-06-02 2026-06-17 2026-07-01

词的生命周期

萌芽

0–7 天
初现

8–30 天
验证中 ← 当前

31–90 天
上升

91–180 天
成熟

180 天以上

为什么是现在火？

TL;DR

2026 年 5 月 5 日，Meta FAIR、斯坦福、哈佛联合发布 ProgramBench，把 AI 编码评测的难度门槛重新拉高。九个顶级模型在最严指标上全部得 0 分，引发关于大模型代码生成与真实软件工程之间差距的广泛讨论。

5 个因素在推动它走红，右滑 →

arXiv / Meta FAIR

ProgramBench：大模型能从零重建程序吗？

200 个任务，248K 条行为测试；9 个测试模型没有任何一个完整解出一道题。最佳成绩：Opus 4.7 接近解出率 3%。

May 5, 2026

facebookresearch/ProgramBench

官方基准仓库，MIT 协议，pip 可安装

321 ⭐

Y Hacker News

ProgramBench：大模型能从零重建程序吗？

May 7, 2026 139 points · 72 comments

ProgramBench

实时排行榜：Opus 4.7 以 3% 领跑，其余均为 0%

Claude Opus 4.7 完整解出率 0%、接近解出率 3.0%；GPT 5.4 和 Gemini 3.1 Pro 两项均为 0%。

May 2026

Emergent Mind

ProgramBench：评估大模型的软件重建能力

模型倾向写成单文件、函数偏长，和人类惯用的模块化风格相差明显。

May 2026

前景

未来 6 个月的信号走势和商业化节奏。

信号中等

营收适中

来自 SWE-bench 团队，品牌背书会持续吸引研究者关注，推动媒体报道跟进。

风险 · MirrorCode (Epoch AI) 等竞品基准如果发布相互矛盾的结果，可能分散注意力。

类比 · SWE-bench · HumanEval · BIG-Bench

变现时间线

现在

研究内容窗口已开

AI 评测基准的解析内容和 newsletter 目前 SERP 竞争为零。
3-6 个月

排行榜周边工具冒头

随着各模型得分提升，对比工具和教程会吸引开发者流量。
6-12 个月

企业训练信号需求浮现

企业开始用 ProgramBench 任务评估 AI 编码 agent 供应商，咨询缺口随之打开。

“ProgramBench” 的竞争与机会

信号来自追踪到的搜索词、这个词的变现卡片，还有它的相关词。除标注“实测”的 Google KD 外均为启发式，仅供参考。

内容缺口

1 个追踪的搜索词

主要是通用 (1)

1 个仅 Suggest 的长尾词，长尾有机会

变现潜力

0% 商业意图搜索词

2 个变现路径

以信息型为主，尚未商业化

上手难度

中 (启发式)

阶段：验证中 — 窗口在收窄

1 / 10 默认 TLD 已被占用 · 最早注册 programbench.com (2008-09-09)

5 个相关词已发布

启发式 · 信号：追踪的搜索词、变现卡片、相关词

“ProgramBench” 能做的点子

把这个词做成文章、网站、产品、帖子、邮件、视频或课程，随便挑一张卡片就能开干。

文章

ProgramBench vs SWE-bench：2026 年哪个 AI 编码基准更有参考价值？

这类对比内容 SERP 几乎空白，开发者正在搜索两者的区别。意图明确的长尾词，适合评测基准主题内容站打基础。

文章

ProgramBench 是什么？为什么所有 AI 模型都得了 0 分？

定义性解析文，现在就有搜索需求，是评测基准主题内容站的流量锚点。

文章

如何在本地运行 ProgramBench：配置教程

pip 可安装、MIT 协议，目前还没有现成教程，开发者长尾流量等着接。

产品

一个追踪 ProgramBench 各模型得分变化的排行榜监控工具

官方排行榜是静态快照，做一个得分变化时推送通知的轻量服务，正好填这个缺口。

产品

一个按测试通过率对 ProgramBench 任务做难度可视化的工具

研究者需要任务级细节下钻，现有排行榜给不了。定位清晰的小型开源工具。

视频

我让 GPT-5.4 和 Claude Opus 4.7 做同一道 ProgramBench 题，结果在这

用真实基准任务做实机对比，YouTube 传播格式，现有媒体还没做过这类视觉化对比。

简报

锚定 ProgramBench 得分更新的 AI 评测周报

持续追踪哪些模型何时突破 0% 上限，订阅钩子清晰，面向 AI 研究者受众。

帖子 HN / r/MachineLearning

ProgramBench：第一个真说不的基准，0% 完整解出为什么比 SWE-bench 87% 更有价值

9 个顶级模型，200 道真实程序题，完整解出 0 道。基准终于不肯放水了，这才是这个分数的意义。

帖子 LinkedIn / Newsletter

「AI 能写代码」和「AI 能做软件」之间的差距，比你想的大

Claude Opus 4.7 在 3% 的任务上通过了 95% 的测试。离解决软件工程还远，但说明了一件事：架构级推理和 autocomplete 是两种完全不同的能力。

帖子 YouTube / Tech media

Meta 发了一个没人能过的 AI 基准，这才是关键所在

2026 年 5 月，SWE-bench 原班人马发布新基准，所有主要 AI 实验室在最难指标上全部得 0 分。ProgramBench 到底在测什么，0% 为什么反而是目前 AI 领域信息量最大的分数。

大家在搜什么

来自 Google Suggest 和 Trends 的长尾词。热度和竞争度是估算，仅供参考，未经核实。内容类型由搜索词的写法推断。

关键词

竞争度

内容类型

programbench

极低

通用

更新于 2026-07-02 · 来源：Google Trends、Google Suggest · 竞争度为估算

“ProgramBench” 的搜索结果

现在搜索的人会看到的页面：自然结果在上，有人投广告就显示在那。广告多少是实时的商业化信号。

常见问题

什么是 ProgramBench？

ProgramBench 为什么现在火？

ProgramBench 是什么时候出现的？

约于 2026-05-05 公开出现（截至 2026-07-09 约 65 天前）。EarlyTerms 最早于 2026-05-07 记录到信号。

来源

这份报告引用的一手链接，点开任意一条都能自己核对。