EarlyTerms

Value Accuracy

验证中 · 出现于 · 76 天前 · 最近核对

Value Accuracy 衡量的是 JSON 叶子字段的值有多少和标准答案完全一致,跟只检查格式是否合规的 JSON pass rate 是两回事。两者差距不小:schema 合规率普遍超过 84%,但哪怕是顶级模型,Value Accuracy 最高也只到 83%。

Interfaze 和 JigsawStack 在 SOB paper 里把这个指标正式化,时间是 2026 年 4 月 28 日。他们拿 21 个模型、5,000+ 条文本、图片和音频数据做了测试。文本模态里,GLM-4.7 以 83.0% 领跑;音频就惨了,所有模型都跌到 23.7%。这说明结构化输出在生产环境里一直在悄悄出错,只是大多数团队没量过。

💡

SOB 排行榜上,21 个参测模型的 JSON Pass Rate 全都超过了 84%。但看 Value Accuracy(叶子字段值精确命中),文本模态最高只有 83.0%,而且模型大小根本预测不了这个结果:开源的 Qwen3.5-35B 在这个指标上反超了 GPT-5.4。出问题的是提取质量,不是模型规模。

就像把「的」「地」「得」用混了,拼写检查没报错,意思却跑偏了。

中文视角 · 出海机会

SOB 排行榜上 GLM-4.7 和 Qwen3.5-35B 都比 GPT-5.4 跑得好,这是对出海内容 builder 相当具体的一个切入角度。这词 2026 年 4 月才被正式命名,「structured output evaluation LLM」这个关键词群尚无强势竞品页面,现在入场窗口还在。

EarlyTerms Pro

比所有人早 7 天看到 nascent 新词,解锁全部阶段筛选,并获得每周提前预警。

搜索热度

峰值 ~1.6K/月
更新于 2026-07-09
~1.6K/月 ~775/月 0
2026-06-10 2026-06-25 2026-07-09
词的生命周期
  1. 萌芽
    0–7 天
  2. 初现
    8–30 天
  3. 验证中 ← 当前
    31–90 天
  4. 上升
    91–180 天
  5. 成熟
    180 天以上

为什么是现在火?

TL;DR

大模型现在已经能以 84% 以上的合规率输出有效 JSON,瓶颈已经从「格式能不能解析」变成了「字段值对不对」。SOB 论文(2026 年 4 月 28 日)给这个问题起了「Value Accuracy」这个名字,拿 21 个顶级模型量化了这道差距,结果发现结构化输出一直在悄悄瞎填,大多数团队根本没量过。

4 个因素在推动它走红,右滑 →

前景

未来 6 个月的信号走势和商业化节奏。

信号 中等
营收 适中

这个指标刚好补上了生产环境 LLM 评测的一个缺口,但能不能被广泛采用,得看 SOB 有没有机会成为行业默认排行榜。

风险 · 现有的幻觉评测框架可能会把这套思路吸收进去,但不一定会沿用「Value Accuracy」这个叫法。

类比 · perplexity · BLEU score · hallucination rate

变现时间线
  1. 现在
    评测工具的空白

    开发者跑着结构化输出管道,却没量过 Value Accuracy;针对这块的审计工具基本没有。

  2. 3-6 个月
    排行榜与监控工具

    SOB 排行榜带动流量,追踪各接口 Value Accuracy 的 SaaS 监控产品随之出现。

  3. 6-12 个月
    平台层集成

    云推理 API 把 Value Accuracy 作为可计费质量指标,和 token 计数放在一起提供。

“Value Accuracy” 的竞争与机会

信号来自追踪到的搜索词、这个词的变现卡片,还有它的相关词。除标注“实测”的 Google KD 外均为启发式,仅供参考。

内容缺口
10 个追踪的搜索词
主要是 通用 (9), 科普 (1)
10 个仅 Suggest 的长尾词,长尾有机会
变现潜力
0% 商业意图搜索词
2 个变现路径
以信息型为主,尚未商业化
上手难度
(启发式)
阶段: 验证中 — 窗口在收窄
1 / 10 默认 TLD 已被占用 · 最早注册 valueaccuracy.com (2023-05-11)
相关词里还没有已发布的
启发式 · 信号:追踪的搜索词、变现卡片、相关词

“Value Accuracy” 能做的点子

把这个词做成文章、网站、产品、帖子、邮件、视频或课程,随便挑一张卡片就能开干。

文章
Value Accuracy vs JSON Pass Rate:大模型结构化输出评测里那个没人量的差距

常青解释性文章,瞄准搜「structured output evaluation LLM」的开发者,这个关键词群目前还没有强势竞品页面。可以挂评测框架的联盟链接变现。

文章
在自己的 LLM 管道里量 Value Accuracy(不用照搬 SOB 论文)

面向自己搭 eval 循环的 builder 的教程式指南。吸引「json extraction accuracy llm」这类长尾搜索的流量。

文章
按 Value Accuracy 排名的最佳结构化输出大模型:2026 年基准对比

引用 SOB 排行榜数据的对比文章。瞄准「best llm structured output」和「llm json accuracy comparison」这两个关键词。

产品
Value Accuracy Monitor:给生产管道的字段级 LLM 输出审计工具

SaaS 工具,对照 schema 定义的标准答案实时计算线上推理日志的 Value Accuracy,在模型漂移向下游扩散前发出预警。

产品
一个即插即用的 pytest fixture,在 LLM 提取测试里断言 Value Accuracy 阈值

面向 CI/CD 工作流的开源工具;通过云存储基线快照做轻量变现。

简报
Eval Matters:每周前 10 名顶级模型的结构化输出准确率基准简报

面向跑提取管道的 ML 工程师的定期评测简报,付费排行榜访问权限是天然的升级路径。

帖子 HN / r/MachineLearning
你的 LLM 通过了 JSON 校验,但值还是错的——这道没人量的差距

21 个模型的基准测试里,每个顶级大模型 schema 合规率都超过 84%,但最好的 Value Accuracy 只有 83.0%,音频掉到了 23.7%。

帖子 LinkedIn / Newsletter
模型大小预测不了 Value Accuracy,真正重要的是这个

Qwen3.5-35B 在结构化输出 Value Accuracy 上反超了 GPT-5.4,还是更小的开源模型,免 API 费。

帖子 YouTube / Tech media
我把同一个 JSON 提取 prompt 跑了 10 个大模型,Value Accuracy 的结果让人汗颜

JSON 合法不等于 JSON 正确,我查了实际叶子字段值而不只是 schema,发现了这些。

大家在搜什么

来自 Google Suggest 和 Trends 的长尾词。热度和竞争度是估算,仅供参考,未经核实。内容类型由搜索词的写法推断。

关键词
竞争度
内容类型
value accuracy
极低
通用
value accuracy professional consulting
极低
通用
accuracy value formula
通用
accuracy value calculator
通用
accuracy value meaning
科普
zillow value accuracy
极低
通用
redfin value accuracy
极低
通用
p value for accuracy
通用
1–8 共 10
1 / 2
更新于 2026-07-09 · 来源:Google Trends、Google Suggest · 竞争度为估算

“Value Accuracy” 的搜索结果

现在搜索的人会看到的页面:自然结果在上,有人投广告就显示在那。广告多少是实时的商业化信号。

常见问题

什么是 Value Accuracy?

Value Accuracy 衡量的是 JSON 叶子字段的值有多少和标准答案完全一致,跟只检查格式是否合规的 JSON pass rate 是两回事。两者差距不小:schema 合规率普遍超过 84%,但哪怕是顶级模型,Value Accuracy 最高也只到 83%。

Value Accuracy 为什么现在火?

大模型现在已经能以 84% 以上的合规率输出有效 JSON,瓶颈已经从「格式能不能解析」变成了「字段值对不对」。SOB 论文(2026 年 4 月 28 日)给这个问题起了「Value Accuracy」这个名字,拿 21 个顶级模型量化了这道差距,结果发现结构化输出一直在悄悄瞎填,大多数团队根本没量过。

Value Accuracy 是什么时候出现的?

约于 2026-04-28 公开出现(截至 2026-07-13 约 76 天前)。EarlyTerms 最早于 2026-04-30 记录到信号。

相关词

同一领域里的其他词:别名、子类、竞品,以及值得接着看的邻近词。

被引用于
还提到
  • 别名 field-level accuracy
  • 属于 structured output·LLM evaluation
  • 相关 JSON schema compliance·hallucination rate·SOB benchmark·schema compliance·exact match·structured hallucination·JSON pass rate

来源

这份报告引用的一手链接,点开任意一条都能自己核对。

  1. 01 SOB 论文:The Structured Output Benchmark (arXiv, 2026 年 4 月) arxiv.org
  2. 02 Interfaze:发布 SOB — 多源结构化输出基准 interfaze.ai
  3. 03 Hacker News:Show HN — 专测大模型确定性输出的新基准 news.ycombinator.com
  4. 04 JigsawStack/sob — GitHub 仓库 github.com
  5. 05 Cleanlab:大模型结构化输出基准测试里错误重重 cleanlab.ai