Value Accuracy
Value Accuracy 衡量的是 JSON 叶子字段的值有多少和标准答案完全一致,跟只检查格式是否合规的 JSON pass rate 是两回事。两者差距不小:schema 合规率普遍超过 84%,但哪怕是顶级模型,Value Accuracy 最高也只到 83%。
Interfaze 和 JigsawStack 在 SOB paper 里把这个指标正式化,时间是 2026 年 4 月 28 日。他们拿 21 个模型、5,000+ 条文本、图片和音频数据做了测试。文本模态里,GLM-4.7 以 83.0% 领跑;音频就惨了,所有模型都跌到 23.7%。这说明结构化输出在生产环境里一直在悄悄出错,只是大多数团队没量过。
SOB 排行榜上,21 个参测模型的 JSON Pass Rate 全都超过了 84%。但看 Value Accuracy(叶子字段值精确命中),文本模态最高只有 83.0%,而且模型大小根本预测不了这个结果:开源的 Qwen3.5-35B 在这个指标上反超了 GPT-5.4。出问题的是提取质量,不是模型规模。
就像把「的」「地」「得」用混了,拼写检查没报错,意思却跑偏了。
SOB 排行榜上 GLM-4.7 和 Qwen3.5-35B 都比 GPT-5.4 跑得好,这是对出海内容 builder 相当具体的一个切入角度。这词 2026 年 4 月才被正式命名,「structured output evaluation LLM」这个关键词群尚无强势竞品页面,现在入场窗口还在。
比所有人早 7 天看到 nascent 新词,解锁全部阶段筛选,并获得每周提前预警。
搜索热度
-
萌芽0–7 天
-
初现8–30 天
-
验证中 ← 当前31–90 天
-
上升91–180 天
-
成熟180 天以上
为什么是现在火?
大模型现在已经能以 84% 以上的合规率输出有效 JSON,瓶颈已经从「格式能不能解析」变成了「字段值对不对」。SOB 论文(2026 年 4 月 28 日)给这个问题起了「Value Accuracy」这个名字,拿 21 个顶级模型量化了这道差距,结果发现结构化输出一直在悄悄瞎填,大多数团队根本没量过。
前景
未来 6 个月的信号走势和商业化节奏。
这个指标刚好补上了生产环境 LLM 评测的一个缺口,但能不能被广泛采用,得看 SOB 有没有机会成为行业默认排行榜。
风险 · 现有的幻觉评测框架可能会把这套思路吸收进去,但不一定会沿用「Value Accuracy」这个叫法。
类比 · perplexity · BLEU score · hallucination rate
-
现在评测工具的空白
开发者跑着结构化输出管道,却没量过 Value Accuracy;针对这块的审计工具基本没有。
-
3-6 个月排行榜与监控工具
SOB 排行榜带动流量,追踪各接口 Value Accuracy 的 SaaS 监控产品随之出现。
-
6-12 个月平台层集成
云推理 API 把 Value Accuracy 作为可计费质量指标,和 token 计数放在一起提供。
“Value Accuracy” 的竞争与机会
信号来自追踪到的搜索词、这个词的变现卡片,还有它的相关词。除标注“实测”的 Google KD 外均为启发式,仅供参考。
“Value Accuracy” 能做的点子
把这个词做成文章、网站、产品、帖子、邮件、视频或课程,随便挑一张卡片就能开干。
常青解释性文章,瞄准搜「structured output evaluation LLM」的开发者,这个关键词群目前还没有强势竞品页面。可以挂评测框架的联盟链接变现。
面向自己搭 eval 循环的 builder 的教程式指南。吸引「json extraction accuracy llm」这类长尾搜索的流量。
引用 SOB 排行榜数据的对比文章。瞄准「best llm structured output」和「llm json accuracy comparison」这两个关键词。
SaaS 工具,对照 schema 定义的标准答案实时计算线上推理日志的 Value Accuracy,在模型漂移向下游扩散前发出预警。
面向 CI/CD 工作流的开源工具;通过云存储基线快照做轻量变现。
面向跑提取管道的 ML 工程师的定期评测简报,付费排行榜访问权限是天然的升级路径。
21 个模型的基准测试里,每个顶级大模型 schema 合规率都超过 84%,但最好的 Value Accuracy 只有 83.0%,音频掉到了 23.7%。
Qwen3.5-35B 在结构化输出 Value Accuracy 上反超了 GPT-5.4,还是更小的开源模型,免 API 费。
JSON 合法不等于 JSON 正确,我查了实际叶子字段值而不只是 schema,发现了这些。
大家在搜什么
来自 Google Suggest 和 Trends 的长尾词。热度和竞争度是估算,仅供参考,未经核实。内容类型由搜索词的写法推断。
“Value Accuracy” 的搜索结果
现在搜索的人会看到的页面:自然结果在上,有人投广告就显示在那。广告多少是实时的商业化信号。
常见问题
什么是 Value Accuracy?
Value Accuracy 衡量的是 JSON 叶子字段的值有多少和标准答案完全一致,跟只检查格式是否合规的 JSON pass rate 是两回事。两者差距不小:schema 合规率普遍超过 84%,但哪怕是顶级模型,Value Accuracy 最高也只到 83%。
Value Accuracy 为什么现在火?
大模型现在已经能以 84% 以上的合规率输出有效 JSON,瓶颈已经从「格式能不能解析」变成了「字段值对不对」。SOB 论文(2026 年 4 月 28 日)给这个问题起了「Value Accuracy」这个名字,拿 21 个顶级模型量化了这道差距,结果发现结构化输出一直在悄悄瞎填,大多数团队根本没量过。
Value Accuracy 是什么时候出现的?
约于 2026-04-28 公开出现(截至 2026-07-13 约 76 天前)。EarlyTerms 最早于 2026-04-30 记录到信号。
相关词
同一领域里的其他词:别名、子类、竞品,以及值得接着看的邻近词。
- 相关 Leiden Declaration The Leiden Declaration on Artificial Intelligence and Mathematics is a community-initiated statement that defines the core values… →
- 相关 DeepSWE DeepSWE is a contamination-free software engineering benchmark that evaluates AI coding agents on 113 original, long-horizon tasks… →
- 别名
- 属于 ·
- 相关 ······
来源
这份报告引用的一手链接,点开任意一条都能自己核对。