FDE-Gym：AI 交付的最后一公里

论文 • 2610.22350 • 已发表 • 75

数据集： DeepLethe /

申请访问 FDE-Gym 案例

本仓库可公开访问，但您必须接受相关条件才能访问其文件和内容。

这些案例包含其评分器（graders）和参考事实。为保持基准测试的有效性，访问将按照 LICENSE.md 中的条款授予：您不得在组织外共享这些文件，不得公开发布评分器、参考事实或解决方案，并且不得将这些文件用于模型训练数据。

请登录或注册以查看相关条件并访问此数据集内容。

FDE-Gym：AI 交付的最后一公里

FDE-Gym 测试 AI Agent 能否胜任前沿部署工程师的工作：进入客户的运行环境，弄清其中真正重要的东西，做出这项工作所需的决策，并交付一个能在生产环境中稳定运行的系统。

论文：arXiv:2610.22350 · 排行榜：https://fde-gym.com/paper

本仓库包含 20 个场景中每个场景的原始任务。

本仓库包含的内容

cases/<scenario>/
  engagement.json    title, what the scenario runs (model gateway, simulated services)
  briefs/L0..L3.md   the task instruction the agent receives, at four levels (L0 says most, L3 least)
  world/             the customer's environment: documents, data, the system as found
  npcs.json          the customer's stakeholders: what each knows, and the contact cost of asking
  build_world.py     builds the agent's workspace
  gen.py, ...        generators for the data and for the held-out production traffic
  services/          simulated customer services, where a scenario has them
  grader.py          replays production on the delivered system and scores it
  truth.json         reference facts used in scoring
  variants.json      scoring anchors (the system as found, the reference solution)
data/raw/review/     public data used by review_screening (SYNERGY and OpenAlex, both CC0)
场景设定
bank_scam_hold零售银行：反诈骗冻结队列的 Agent
build_pay_cutover总承包商：在法定时限运行期间，支付账簿一次性切换到新平台
campus_booking校园应用：基于借阅系统和场馆平台的预约助手
charge_care_config电动车充电网络：在固定弱模型的低代码 Agent 平台上提供司机支持
estate_repair_cases住宅小区：连续数周运行基金出资的大型维修的 Agent
fund_recon基金运营：清理对账差异的 Agent
grid_interval_pipeline供电公司：每夜的电量区间结算任务
hiring_screen物流公司：跨两个司法辖区的求职者筛选
hospital_triage医院：带试运行阶段的分诊聊天
listing_handover电商：接手同事完成一半的合规检查器
logistics_claims快递公司：拥有赔付权限的客服 Agent
mfg_chatbi制造业：基于实时数据库的“问数据”助手
news_incident财经新闻编辑部：在已发布错误之后接手的 AI 快讯台
oil_npt钻井作业方：停机时间编码器及其所需的审批签核
oncall_incidentB2B 开票 API：AI 夜间值班响应员
prior_authMedicare Advantage：按 Medicare 的标准和时限进行的事先授权
revenue_dispute设备制造商：必须由两位董事共同签署的月度报告
review_screening系统综述团队：带召回率声明且会被核查的文献筛选
robot_cell_rollout仓库：五个工位上的移动操作机器人
water_twin水库：泄流规则与不匹配的数字孪生

本仓库不包含的内容

该基准测试包含 95 个任务：即这 20 个原始任务及其 75 个变体，其中客户世界的事实有所不同。这些变体被保留不公开，仅在排行榜上评分。参考解决方案也不予发布。

运行一个案例

这些案例在 FDE-Gym 测试框架上运行，该框架根据场景构建工作区，提供其服务和人员，并对交付成果进行评分：https://github.com/deeplethe/fde-gym（这些文件已使用标签

harness-v1.1.0

）进行核对。将

cases/

和

data/

放在

harness/

旁边，或将

FDEGYM_ENGAGEMENTS

指向

cases/

。需要 Python 3.9 或更高版本，且仅使用标准库。

python3 harness/run.py new   --engagement campus_booking --level L3 --name campus-L3-1
python3 harness/run.py serve --name campus-L3-1
python3 harness/run.py grade --name campus-L3-1

分数以归一化业务提升值报告：0 为不作为的基线（即现有系统），1 为参考解决方案。FDE-Gym 分数为该提升值减去利益相关者沟通成本。

请勿使用此内容进行训练

基准测试数据绝不应出现在训练语料库中。金丝雀 GUID：

fdegym:6ccef207-a0ef-4ebd-9098-dc89f932d569

引用

@misc{yang2026fdegym,
  title         = {{FDE-Gym}: The Last Mile of {AI} Delivery},
  author        = {Yang, Dongxu and Yan, Hongda and Wang, Renxin and Zhang, Baoli and Zuo, Haojia and Zhao, Ying and Chen, Youmin and Liao, Xiaojian and Gao, Congming and Jiang, Tianyang and Chen, Yixiao and Wang, Qing and Yu, Zhiguo and Li, Xiaqing and Zhang, Yuhao and Sun, Jiawen and Xu, Renzhe and Mi, De and Wu, Tiancheng and Fu, Xianya and Zhao, Xuanlu and Feng, Bo and Ren, Meixuan and Lin, Guanming and Zhou, Ziheng and Wang, Xinhua},
  year          = {2026},
  eprint        = {2610.22350},
  archivePrefix = {arXiv},
  primaryClass  = {cs.AI},
  url           = {https://arxiv.org/abs/2610.22350}
}

条款

使用须遵循 LICENSE.md 中的条款。

data/

下的文件保留其自身的许可证（CC0；参见

data/raw/review/README.md

).

  • 上月下载量
  • 451