Google Cloud推出物理工程终极考试基准PLE，前沿模型得分均低于50%

Google AI与基础设施团队11月3日宣布，与Mercor合作推出物理工程终极考试（PLE）基准及公开竞赛，用于测试前沿模型完成机械、电气、土木与结构工程任务的能力。官方称已发布29项公开任务、评分工具及排行榜。PLE包含85项长周期任务，其中机械30项、电气27项、土木18项、结构10项，每项任务平均含61个文件，共5170个文件，涵盖PDF、表格、邮件、2D CAD图纸、3D BIM模型与文档修订版。据Google Cloud，44项任务由执业工程师编写，41项由工程师设计后由智能体流水线组装并经工程师校验。团队用7种公开智能体框架测试14个前沿模型，官方称所有模型在私有测试集上得分均低于50%，最高分模型在其原生框架上平均得分48.3%；在共同编写任务中，得分最高的智能体配置满足91%的单项约束，但其交付物仅41.3%通过全部硬性安全校验。