Google与Mercor发布PLE基准,量化工程Agent高正确率下的交付落差
Google与Mercor近日发布Physical-Engineering's Last Exam(PLE),用85项机械、电气、土木与结构工程任务评测工程Agent。
Google与Mercor近日发布Physical-Engineering's Last Exam(PLE),用85项机械、电气、土木与结构工程任务评测工程Agent。
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,用 45 个 AWS 任务评测 AI 智能体处理典型 DevOps 操作的能力。
微软研究院提出 StudentSim,从公开的去标识化学习记录训练个性化学生模拟器,用于在真实学习者测试前评估和改进 AI 导师。研究同时发布 StudentSimEval 基准,覆盖国际象棋、第二语言英语写作和数学三个领域,从行为保真度和对指导的响应度两个维度评估模拟器。
GitHub 发布代码审查离线基准 ReviewBench,包含 219 个公开 PR、覆盖 19 种语言,分布参照 103.9M 个 GitHub PR 建模。基准采用多来源黄金集与统一评分规则,由资深工程师独立复核,真阳性判断一致率 96.6%。它提供 grounded 与 augmented 两族指标,可按严重程度和类别切片,并支持提交自有审查智能体上排行榜。