分析检索、评测、合规、人工审核和顾问信任如何塑造了 Morgan Stanley 生产级 AI 助手的落地。
由 The Forward Deployed 编辑团队撰写并审校
真实且有据可查。 本案例根据公开资料（内文附链接）重构。先说明一点：Morgan Stanley 和 OpenAI 都没有将此称为“FDE”项目。 公开资料描述的是紧密的客户协作，而非一种人员配置模式。我们选用它，是因为它是 FDE 工作内容记录最完善的范例：将一个通用模型，在单一客户严苛的约束下打磨到生产级，并赢得足够的信任让人们真正使用它。在公开资料未披露内部流程之处，本页面会明确说明并保留空白。
客户背景
Morgan Stanley 的财富管理业务依托其研究体系运转，在 OpenAI 的描述中这是一套包含 10 万份文档的语料库。在助手上线之前，顾问回答客户问题时实际能查阅到的只是其中一小部分：OpenAI 给出的数据是上线前文档可及率仅为 20%。2023 年 3 月，该公司将 OpenAI 定为其财富管理战略合作伙伴（OpenAI）。同年 9 月，它在全公司范围内推出了基于该文档库的内部聊天机器人 AI @ Morgan Stanley Assistant。
最亮眼的结果是：该系统从回答“7,000 个问题，发展到如今我们能够有效回答来自 10 万份文档语料库中的任何问题”（David Wu，全公司 AI 产品与架构战略负责人），并且超过 98% 的顾问团队采用了它。
独特的张力
本站的每个案例都聚焦于候选人通常低估的一点。这里就是在合规门槛下实现采纳。
财富顾问要对客户和监管机构承担个人责任。如果 AI 可能返回自信满满、错误或不合规的答案——哪怕只有一次——他们也不会把 AI 放在自己和客户之间。在金融服务领域，一次糟糕的输出不只是让用户恼火，而是一种法律责任。因此，那个采纳率数字不是使用量统计，而是信任度统计。整个工程工作都围绕着赢得这种信任展开。一个把这件事当作“在 PDF 上搭一个 RAG 机器人”的团队，交付的将是一个正确却无人使用的产品。真正的工作是让它足够可信，让顾问们主动选择依赖它。
在继续阅读之前： 假设你接到任务“在我们的研究库之上构建一个助手”。说出你首先会担心的事情，而且不应该是向量数据库。
如果你首先担心的是检索质量或分块策略，那你是在用 AI 工程师的思路思考。FDE 首先担心的是：一个风险规避、受监管的专业人士，要在什么条件成立时才敢在客户面前信任它？以下所有内容都源自这个问题。
阶段 1 —— 探索
真正的问题不是“搜索很慢”，而是顾问们无法在需要的那一刻可靠地获取公司的知识资产。而任何偶尔编造答案的工具都会比现状更糟，因为它会在涉及金钱的问题上自信地犯错。这里的探索意味着同时点明两个层面：价值（即时获取公司的专业知识）和压倒一切的约束（必须满足公司“对质量和可靠性的严格标准”）。
第二阶段 — 解决方案架构
方案的形态是检索增强生成：将研究语料库嵌入并建立索引，针对问题检索相关段落，然后让 GPT-4 基于这些段落作答。这个选择几乎是必然的。公司需要的是基于其自身经过审核的研究得出的答案，而不是模型的参数记忆，而“接地”正是检索所能带来的。真正的架构决策在别处：如何保护专有数据的隐私（OpenAI 的“零数据保留政策……确保摩根士丹利的专有数据保持私密”在此起到了关键作用），以及如何在模型与客户之间保留人的环节（顾问会“在最终定稿前审查并调整 AI 生成的输出”）。
第三阶段 — 构建
与其说是“训练一个模型”，不如说是“调优检索，直到准确率越过门槛”。公司让自己的顾问和专家参与进来，塑造助手的行为（第四阶段详述的评分流程），并且团队与 OpenAI 密切合作以微调检索方法：
“根据我们输入的所有问题和得到的输出，我们会和 OpenAI 一起坐下来讨论：‘我们可以对检索方法做哪些调整，来帮助摩根士丹利达到所需的准确率？’” — Kaitlin Elliott，全公司生成式 AI 解决方案负责人
这句话是 FDE 工作模式最接近公开的写照：在客户的准确率要求和模型团队的调节手段之间形成一个紧密的循环，持续运行直到数字足够好。
第四阶段 — 部署
部署的门槛是评测，而不是上线日期。摩根士丹利建立了一个“评测框架，在部署前测试每一个 AI 用例”。具体来说：
- 顾问和提示词工程师“对 AI 回复的准确性和连贯性进行评分”，团队根据这些评分改进提示词。
- 他们运行了摘要评测，以及面向多语言客户的翻译评测，并与 OpenAI 一起微调检索。
- 一套由示例问题组成的每日回归测试套件用于寻找薄弱环节，并推动系统输出符合合规要求的答案。
注意这里的“生产环境”意味着什么。系统每天都要针对一组固定的问题重新测试，因此模型或数据的变更不可能悄悄破坏合规性。
差 / 好 / 卓越 — 你如何赢得顾问的信任
糟糕——加个免责声明就上线。“我们加上‘AI 可能出错，请独立核实’，让顾问自己判断。”这把全部合规负担推给了用户，而用户的理性反应就是不使用这个工具。采用率停滞不前，你也无法解释为什么演示让所有人印象深刻，却没有人真正登录使用。
良好——上线前测试准确性。你准备一套问题集，衡量回答质量，修复最差的案例，在达标后才推广。这很扎实，大多数团队也止步于此。但一次性的上线前评测，在语料库或模型一变就过时了，而且在受监管的环境中，“上线时是准确的”并不能作为辩护理由。
优秀——把评测变成有专家参与的常态化每日关卡。领域专家对输出结果评分，评分结果反馈到提示词和检索的改进中，并每天运行回归测试套件，任何偏差都能在一天内暴露出来，赶在它出现在客户会议之前。顾问的信任建立在一个他们能亲眼看到持续运行的流程之上，测试套件每通过一天，信任就重新赢得一天。那种近乎普及的采用率正是建立在此基础之上。
第 5 阶段——采用
采用是目标，而它直接源于信任建设。一旦顾问们相信了答案，使用就变成了日常且近乎普及，据报道文档访问率“从 20% 跃升至 80%”。第二个工具 AI @ Morgan Stanley Debrief（在客户同意下，将 Whisper + GPT-4 生成的会议记录存入 Salesforce）于 2024 年 6 月上线，将同样的信任延伸到了新的工作流程中。一位顾问表示它每次会议能节省“大约半小时”。
第 6 阶段——交接与扩展
模式一旦得到验证，就变成了平台化布局：Morgan Stanley 开始将 Assistant 从顾问扩展到其机构证券部门。
可迁移的模式
在高风险、受监管的领域，采用是一个信任问题，而信任是一个评测问题。站得住脚的做法不是更好的检索器，而是一个用户能看见、始终在运行的常态化评测与审查流程。把这个思路带进 AI 系统设计面试环节：当提示词有合规或安全门槛时，先讲你会如何持续衡量正确性并保持人在回路中，而不是先讲模型架构。
下一篇：John Deere & Blue River — See & Spray，同样的评测纪律，不同的约束条件：模型运行在田野里的一台机器上。