斯坦福研究:50 条被广泛引用的 LLM 结论中 44% 已失效
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者 2024 年 7 月至 2026 年 9 月发布的 20 个模型,复测 50 条被广泛引用的 LLM 结论,发现 44% 已失效,另有 34% 明显减弱,仅 16% 仍成立、6% 反而增强。
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者 2024 年 7 月至 2026 年 9 月发布的 20 个模型,复测 50 条被广泛引用的 LLM 结论,发现 44% 已失效,另有 34% 明显减弱,仅 16% 仍成立、6% 反而增强。
Anthropic 正在研发开源系统 FlashProve,为模型输出提供可证明推理的密码学证明,让用户确认回答确实来自所声称的模型。该系统要求 AI 实验室为每个模型发布不暴露权重的指纹,验证可在本地设备完成,因此也能用于商业闭源模型。研究人员已按开源协议在 GitHub 发布技术规格和部分代码,但研究仍在进行,暂无在 Anthropic 或其他实验室部署的计划。
Anthropic 发布开源研究原型 FlashProve,用 zkSNARK 为模型输出生成密码学证明,验证回复确实来自所声称的模型,同时不暴露模型权重。