Google Agent Harness on PLE 报名|工程 Agent 竞赛
导语
Google Agent Harness on PLE 由 Google Cloud AI Research 联合 Mercor 主办,要求构建开源自主 Agent Harness,解决覆盖四学科的 85 个长周期工程任务。最终提交于 2027 年 1 月 5 日截止,奖金总额 40 万美元,两阶段评审。
一、赛事基本信息
- 赛事名称:Google - Agent Harness on Physical-Engineering's Last Exam(PLE)。
- 主办:Google Cloud AI Research 联合 Mercor,学术伙伴含 Stanford、NYU、University of Washington、Harvard,平台 Kaggle。
- 任务:构建开源 Agent Harness,搭配 8 个 Google 赞助基础模型之一,设计验证循环、CAD 与电子表格工具集成、上下文管理与自检。
- PLE 构成:85 个经专家审核、长周期工程任务,覆盖结构、土木、电气、机械四学科。
- 背景:前沿模型在 PLE 上低于 50%,常见错误包括误读图纸、用错规范、漏单位换算、提前停止。
二、关键时间节点
| 时间节点 | 具体时间 | 备注 |
|---|---|---|
| 开始 | 2026-11-09 | 官方页 |
| 最终提交截止 | 2027-01-05 11:59 UTC | 官方页 |
| Stage 1 评审完成 | 2027-01-19,Top100 晋级 | 官方页 |
| Stage 2 评测与获奖者公布 | 2027-01-26 | 官方页 |
三、参赛与提交要求
- 提交内容:不超过 2000 字的 Kaggle Writeup,覆盖 Stage 1 全部 5 项评分标准、含媒体封面图与 3 张图,并提供 GitHub 仓库 URL 与 40 字符 commit SHA。
- 仓库要求:含 submission.yaml、serve.py、harness.py、开源 LICENSE、由 eval/run.py 生成的 artifacts,并通过 kit check。
- Stage 1 评分(100):洞察与失败分析 25、工程推理 25、跨模型泛化 15、效率与扩展 20、清晰度与视觉 15,前 100 名晋级。
- Stage 2:56 个隐藏测试任务(结构 6、土木 9、电气 18、机械 23),每任务隔离容器、6 小时上限,由 LLM 按 0.0–1.0 打分;每名决赛者独立运行 3 次,按性能-成本 Pareto 决定,获奖须 Stage 2 均分至少 0.138。
- 最终前 3 名系统获奖,平分先比 Writeup 分再比提交时间;奖金总额 40 万美元,不授予 Kaggle 积分或奖牌,前三名具体分项官方暂未公布。
四、报名方式
通过 Kaggle 官方竞赛页报名并按两阶段要求提交 Writeup 与仓库。
五、官方提示
- 本文信息整理自官方公开渠道,具体规则、时间安排以赛事官方最新公告为准。
- 官方暂未公布的信息,请关注后续官方通知,请勿轻信非官方渠道信息。
本文为原创策划内容,所涉竞赛信息与图片均来自网络,版权归原作者或来源机构所有。如有版权疑问,请联系处理。欢迎读者转发分享,但严禁未经授权的转载或编辑后发布。