Nubank 在上线前筛选了 16,000 个模拟对话

简短回答

Nubank 在将一个模型部署给客户之前，对开放权重模型配置进行了超过 16,000 次模拟对话的筛选，选定的模型将自助服务率提升了 8.82 个百分点。在 ibl.ai 上，你拥有全部代码和数据，并以模型无关的方式运行平台，因此同样的“先筛选后切换”流程只是你自己边界内的一次配置变更，而不是与控制你能使用哪些模型的供应商重新谈判。

Nubank 的工程团队与 Guardrails AI（他们使用了其 Snowglobe 模拟器）于 2026 年 9 月 24 日以 Screen Before You Serve 为题发布了该方法。

这篇文章值得完整阅读，因为它是极少数公开文档之一，展示了一个生产级 Agent 背后的评测记录，而不仅仅是发布公告。

大多数对这篇论文的报道都停留在标题数字上。更有价值的发现藏在更深一层，而本页直白地指出了它：模拟正是让一家受监管银行能够有理由采用开放权重模型的原因。

Nubank 在将 AI Agent 推向客户之前是如何测试它的？

用合成客户代替真实客户。Nubank 在其 Card Delivery Agent 及其后续的 Card Management 上使用了 Snowglobe 模拟器——论文中称其为 Nubank 在巴西聊天量最高的客服支持 Agent。

机制比数量更重要。合成客户会对 Agent 所说的话做出反应，并且模拟的工具输出代替了生产后端，因此多步骤的 Agent 工作流可以端到端运行，而无需触碰真实的记录系统。

这正是让大规模测试变得可负担的原因。一个必须调用真实服务才能测试的 Agent，其测试频率只能取决于这些服务能容忍的程度。而一个工具被模拟（mock）的 Agent，可以在一夜之间被测试数千次。

论文明确说明了为什么这是必要的，而不仅仅是图个方便。手动端到端测试的覆盖范围有限，而线上实验会让客户暴露在失败面前——用作者的话说，这可能会侵蚀信任。

模拟对话真的能预测生产行为吗？

就 Nubank 的案例而言，其相关性足以据此采取行动。论文报告称，在 4 个已部署版本中，模拟与生产环境在版本级别的二元评估器得分显示出高度相关性。

这一相关性是整个方法的核心支撑论点，也是在照搬该方法之前需要审视的一点。一个无法追踪生产表现的模拟并不是廉价的实验——它是大规模生产出来的自信的错误答案。

四个版本是一个很小的样本，论文将其呈现为来自一家公司的 Agent、一种语言、一个领域的证据，而非普遍规律。把它当作去测量你自己相关性的理由，而不是假设相关性存在的理由。

为什么 Nubank 最终选择了开放权重模型？

因为模拟让这种对比的成本降到了可以认真执行的程度。论文指出，团队在超过 16,000 次模拟对话中筛选了开放权重配置——大多数报道引用的都是这个数字，但通常省略了赋予其意义的“开放权重”一词。

论文点明了双方的名字，这正是这一发现可被验证的原因：胜出的开放权重候选模型是启用推理功能的 Qwen3.5-122B-A10B，而它所取代的现有模型是 GPT-5.2。

一家服务着论文所称1.4 亿客户群体的银行，不会从公开排行榜上挑选模型。排行榜的分数是在别人的任务上、用别人的语言、按照别人对成功的定义测出来的。

风险委员会能够据此行动的，是银行自身领域内的筛选记录：它的政策、它的工具、它的客户的措辞。一万六千次模拟对话正是这样一份记录。

这是可以推广到金融科技之外的部分。在受监管的环境中使用开放权重模型的障碍很少是能力问题——而是缺乏你自己场景下的证据。模拟在客户介入之前就制造出了这种证据。

两次线上 A/B 测试实际测量的是什么？

是两件不同的事，而它们经常被合并成一个说法。论文将它们分开报告，任何引用它的人也应该如此：

第二行带有一个被摘要省略的限定条件。被选中的模型将自助服务率提升到了 Nubank 观察到的最高水平，但 tNPS 没有统计学上的显著变化——客户更多地自行解决了问题，但并没有表示更喜欢或更不喜欢。

这是一个好的结果，也是一个诚实的结果。它不等于“模拟使客户满意度翻倍”——那句话把两个实验混为一谈，并且夸大了两者。

模拟无法筛选出什么？

任何你的合成客户想不到去做的事。模拟客户是从一个角色设定生成的，所以它探索的是有人预见到的行为空间——这个空间很大，但也是有边界的。

它也无法筛选出 Agent 是正确的而后端不正确这种失败模式。

模拟工具只会返回模拟被告知要返回的内容；论文明确指出，避免使用生产后端正是目的所在，而这必然将生产后端的行为排除在测试之外。

它也无法告诉你你的评估器是否在测量正确的东西。一个在模拟与生产之间具有相关性的二元评估器告诉你的是两个环境一致，而不是该指标能够捕捉到一段好的对话。

这些都不能否定该方法本身。它们恰恰印证了论文自己的定位：仿真是一个筛选步骤，能让真实实验更少、更精准，而不是取代真实实验。

如何在你自己拥有的技术栈上运行“仿真优先”的部署？

Nubank 所描述的闭环有一个论文无需说明、但买方必须具备的硬性前提：更换模型必须成本低廉。 只有当胜出的模型真正能够被部署时，筛选开源权重配置才有意义。

而这正是大多数 Agent 平台让这一实验无法进行的地方。按席位订阅厂商自有模型的服务，并没有“运行我们筛选出的开源权重模型”这样的配置选项——模型本身就是产品。

ibl.ai 的构建方式恰恰相反。

你拥有全部代码和数据，平台对任何 LLM 都保持模型无关，也没有按席位定价——因此筛选候选模型并切换到胜出者，都在你的边界之内、由你控制的基础设施上完成，无需任何商务谈判。

Agent 沙箱也是同一故事的一部分：Agent 默认运行在完全无网络的 Linux 虚拟机中，仅对你允许的主机开放访问，这使得针对内部工具运行未经审核的配置成为一项受控实验，而非风险。

我们曾针对学区场景撰写过相关文章：让 K-12 AI Agent 运行代码而不让数据外泄。

仿真也是我们在每个将 Agent 投入生产的组织中看到的四个层次之一，这正是 前沿部署工程：四层 Agent 技术栈 一文的主题。

同一准则在医疗领域的版本——即 Agent 写入病历——见 医院 AI 在单轮测试中表现优异。请评估其行动。

来自 400 多家组织的 160 多万用户正以这种方式使用该平台，其中包括 NVIDIA、MIT 和雪城大学。

想在你自己的环境中筛选 Agent 配置吗？

我们可以在你拥有的基础设施上，针对你自己的策略和工具搭建仿真与评测闭环。预约 30 分钟演示或与 ibl.ai 团队交流——ibl.ai 是一家位于纽约州纽约市的家族企业。

相关阅读：谁拥有你的 AI Agent 曾被测试的证据？——ibl.ai 上将一次仿真运行转化为可审计记录的基准、评判与导出流水线。