你不应该在生产环境中信任 AI Agent
OpenAI 的 Luis Velasco：代码的生产成本很低，但围绕它的系统却不然
今年 9 月，在扎达尔的 Shift 大会上，我们与 OpenAI 前沿部署工程师 Luis Velasco 进行了交流，他这样简单描述自己的角色：
我们帮助企业让 AI 在真实环境中发挥作用。
我们与他聊了聊将 AI Agent 推向生产环境需要什么、开发者如何让它们可靠且安全，以及在 AI 改变软件开发的过程中，哪些技能最为重要。
生产环境从评测开始
正如 Luis 在开头所暗示的，前沿部署工程师（FDE）帮助企业将 AI 演示转化为真正的产品。因此我们问他，开发者在完成这一跨越时最常低估的是什么。
在他看来，真正的挑战始于演示进入生产环境之时。演示可以在受控条件下运行良好，但生产环境迫使团队准确了解什么有效、什么无效，以及故障为何发生。
这正是评测驱动（Evaluation-driven）开发变得重要的地方。他说，OpenAI 在客户合作中广泛使用这种方法来跟踪和衡量不同的工作流与任务：
我们有一套科学的方法来衡量模型执行任务的性能。基本上，当你通过了这些基准测试、这些评测，你就可以以一种非常稳妥、安全的方式进入生产环境。
部署鸿沟才是真正的挑战
我们想了解，是什么让一个 AI Agent 足够可靠、能够投入生产，而不只是在受控环境中运行良好。
Luis 说，这一切归结为“攻克评测”。正如他解释的，如今的模型已经具备令人惊叹的智能，但要让它们在公司自身的环境中发挥作用，就需要让它们访问公司的数据、流程和工具：
你知道，这三样东西，我们大致称之为部署鸿沟，对吧？而这基本上就是我们作为 FD 试图弥合的东西。
Agent 的任务时长从六分钟跃升至 16 小时
但当一个 Agent 处理任务的时间从几分钟变成几个小时时，会发生什么？随着这些工作流变得越来越长，开发者应该如何思考错误、记忆、上下文和人工审批？
Luis 用他自己经历中的一个例子回答了这个问题。在查看 METR 长时程基准测试的最新数据时，他对 Agent 进步之快感到惊讶。在短短三年多的时间里，它们从处理人类大约需要六分钟完成的任务，跃升到处理大约需要 16 小时才能完成的任务。
他说，这代表了一次巨大的飞跃：
一方面，模型在长期一致性和持久性方面越来越好，但另一方面，各种 harness 也在大幅改进。过去，开发者需要操心上下文管理、记忆创建等所有这些事情。而现在，正如我所说，有了像 Codex 这样的 harness，这些都不需要了。
在 Luis 看来，这一进步来自于把更强大的模型与更强大的 harness 相结合。两者共同让工程师和开发者能够在更长的时间跨度内运行越来越复杂的工作流。
AI Agent 应遵循与员工相同的访问规则
在安全方面，我们想了解在不产生新的权限和访问风险的前提下，将 AI Agent 连接到公司数据的最安全方式。
Luis 通过一个熟悉的工作场所例子来解释。当公司入职一位在财务部门工作的员工时，公司会给这个人访问财务数据的权限，但不会给他不需要的人力资源数据权限。
他认为，公司可以对 AI Agent 应用同样的原则，使用他们已经用于员工的相同访问控制和权限规则：
就像你把一名员工入职到公司，假设他或她在财务部门工作，你只授予财务数据的访问权限。你不会授予人力资源数据的访问权限，对吧？所以，同样地，这些相同的原则、相同的 ACL，也可以应用于 AI Agent，对吧？
对他来说，这个原则归结为只给 Agent 访问其完成任务所需的内容：
所以，在我看来，关键在于为 Agent 设置好角色、权限和配置，让它们基本上只能看到完成其工作流所需要看到的内容。
评测是 AI 开发的基础
最后，我们问 Luis，在向真实用户发布 AI Agent 之前，开发者应该测试和衡量什么。
他再次回到了评测这个话题。他说他之所以不断回到这个概念，是因为它对 AI 开发仍然至关重要且是根本性的：
我想我们又回到了评测，对吧？我之所以不断回到这个概念，是因为它对 AI 开发绝对至关重要且是根本性的，对吧？如果你能够组建一个包含简单案例、中等难度案例以及边缘案例的代表性评测集，并且能够高度依赖你的技能、你的防护栏、你发送给模型的提示词，这就能保证你在部署到生产环境时不会出任何问题。
他补充说，评测还为开发者提供了一种在升级到新模型时测试回归的方法，确保这一变更不会破坏现有工作流：
此外，当你把模型升级到新版本时，你就有办法测试回归，确保这次升级不会破坏任何东西。
系统设计品味永远不会消失
在加入 OpenAI 之前，Luis 也曾在 Google 工作过，因此多年来他近距离接触过大量开发者、各种角色以及职业困境。正因如此，在采访的最后，我们问他：在 AI Agent 时代，开发者今天应该专注于哪些技能才能保持竞争力。
他认为，在这个新时代，工程师将不再以编写代码作为主要产出，因为编写代码已经变得非常廉价。
相反，他认为开发者围绕模型所构建的一切才更有价值：
我认为，在我们正在进入的这个新时代，工程师创造的主要东西不再是代码了。编写代码已经非常廉价。关键在于围绕代码构建系统，也就是意图系统、护栏、让 Agent 可靠运行的约束条件，对吧？所以我认为，围绕模型构建这些配套系统将至关重要。
Luis 用一句简单而犀利的话结束了我们的采访：
另外，我常说，系统设计的品味永远不会过时。