热烈欢迎 Basil Chatha 加入我们！他是 AI 工程领域前沿部署方向的新晋联合主持人！我们将与他一起推出一档新节目，并且不容错过在 Modal 完成巨额 D 轮融资之际对其 CEO Erik 的专访！

两年前，我们曾与 Erik Bernhardsson 对谈他关于真正无服务器 AI 基础设施的愿景：开发者应该能够在无需配置集群、预测负载或为闲置资源付费的情况下运行代码。随后 CTO Akshat 也做客节目，介绍了 Modal 的基础设施原语、支撑这些原语的技术栈以及 Agent 体验。 过去 5 个月发生了很大变化。自 50 亿美元的 C 轮融资以来，Modal 现在宣布其年化经常性收入已突破 10 亿美元，以 160 亿美元的估值完成了 7.5 亿美元的 D 轮融资，并已启动了近 30 亿个沙箱。在本次对话中，Erik 与 Vibhu 一起解释了这一增长背后的基础设施与经济逻辑——以及为什么算力需求很少与购买算力所用的合同形态相符。

在 YouTube 上观看完整对话 →

GPU 需求不是矩形

典型的容量合同会给客户在固定期限内提供固定数量的 GPU。把容量随时间画出来，就是一个矩形。而真实工作负载的表现则不同：它们会在一天中增长、飙升和回落。按峰值采购，就要为闲置硬件买单；采购不足，则有错失需求的风险。 Erik 将 Modal 的押注描述为一种期限转换：将数千家客户的需求汇集起来，在底层锁定容量，并让每位客户在需要时使用所需的量。总体需求越平滑，这个资源池就越有用。这与我们和 SF Compute 的 Evan Conrad 的对话相得益彰：Evan 专注于让容量可交易；Erik 则专注于让容量能以更小、更弹性的切片被使用。

另一方面存在财务风险。如果供应商以当前价格锁定容量，而 GPU 价格随后下跌，就可能持有高价的供应。Erik 表示他不认为崩盘迫在眉睫，但在构建业务时，这种可能性值得考虑。跳转到 GPU 价格讨论 → 差点没能活下来的沙箱

Modal 推出沙箱，是因为 Erik 和联合创始人 Akshat Bubna 注意到语言模型能够生成代码——而总得有个地方来运行这些代码。早期的采用量少到团队曾讨论关停该产品。随后，编程 Agent、后台 Agent 和强化学习带来了新的需求。Erik 说，沙箱目前已增长到约占 Modal 收入的三分之一，这是他在产品发布时未曾预料到的结果。 这种增长也改变了基础设施需要承担的任务。一个 AI Agent 可能会创建一个环境、运行代码、检查结果，然后反复尝试多次。启动和恢复这些环境的延迟成为了体验的一部分。在我们最近对 Akshat 的采访中，我们探讨了从开发者体验到 Agent 体验的这一转变；而在这里，Erik 补充了产品和商业层面的故事。跳转到沙箱讨论 →

快速启动是一项基础设施特性

只有当容量能够足够快地到位并产生实际作用时，弹性才有意义。Modal 关于无服务器 GPU 的文章描述了其中的机制：可用 GPU 缓冲池、自定义文件系统、进程检查点以及 GPU 内存快照。这些组件减少了让另一个模型副本上线所需的工作。这是基础设施决策如何体现在应用响应速度和成本上的一个具体例子。

我们还讨论了 Erik 从 Spotify 推荐系统到 Modal 的职业路径、公司如何采购算力、NVIDIA 的替代方案、前沿部署工程师，以及为什么在 Modal 代码审查是可选的。跳转到工程文化 →

节目笔记

- Modal — Erik 创立的 AI 基础设施平台。 - Erik 的文章 — 他关于基础设施、市场和创业公司建设的文章。

- Modal 的 D 轮融资公告 — 公司最新的增长和沙箱里程碑。

- Modal 如何实现真正的无服务器 GPU — 弹性推理背后的启动和扩容技术。

  • Modal 的资源求解器 — 它如何在不断变化的价格和可用性中选择容量。
  • 扩展到一百万个并发沙箱 — 关于沙箱扩展的工程实践记录。
  • 我们对 Erik 的第一次采访 — 最初的无服务器基础设施论点。
  • 我们对 Akshat Bubna 的采访 — 面向 Agent 的基础设施与开发者体验。
  • 可编程数据中心 — Evan Conrad 谈 GPU 交易与实物结算。

时间轴

  • 0:00 Modal 是做什么的
  • 1:25 从 Spotify 到创建 Modal
  • 4:19 在生成式 AI 热潮之前创业
  • 7:43 早期客户与融资
  • 10:00 为推理和自动扩缩容而构建
  • 13:21 Modal 从哪里获得 GPU 容量
  • 15:39 租用还是自建基础设施
  • 19:45 GPU 价格下跌的风险
  • 24:18 AI 需求是无限的吗？
  • 26:12 NVIDIA 的替代方案
  • 28:25 Modal 能从 neocloud 学到什么
  • 30:26 GPU 作为一种资产类别
  • 31:55 Modal 的产品：函数与沙箱
  • 36:03 更小规模训练工作负载的理由
  • 41:21 Agent 沙箱正在如何变化
  • 46:48 Anthropic 与沙箱安全
  • 49:29 使用 Agent 测试安全性
  • 52:51 Agent 时代的开发者体验
  • 57:45 Modal 的前沿部署工程师做什么
  • 59:55 Modal 的产品管理方法
  • 1:03:29 可选的代码审查与工程文化
  • 1:05:56 云、本地部署与自带云
  • 1:09:25 容量、融资与增长
  • 1:13:07 团队扩张
  • 1:17:28 Erik 的推文：临时沙箱
  • 1:18:31 矩形 GPU 合同的问题
  • 1:21:20 推理提供商 vs. 模型构建者
  • 1:23:25 模型下一步将在哪些方面改进

文字记录

由修订版自动转录；姓名和措辞可能存在错误。

0:00 感谢你来参加节目，来自 Modal 的 Eric Fern-Hartson。能简单介绍一下你们的业务，以及你是怎么走到今天的吗？好的。我们做的事情，最简单的说法就是，我们构建 AI 基础设施。我们提供一个计算平台和一个存储平台，让很多客户，比如 Dacagon、Suno、Runway、Cognition 以及其他许多公司，能够构建 AI 应用。实际操作中，这意味着大量的推理、大量的沙箱，有时是训练和微调，有时是批处理任务等等。所以我们基本上构建了一个软件 SDK，让客户能够非常快速地行动并构建这些应用。我们管理底层的所有容量，让部署、扩展和生产环境运行这些应用变得更容易。所以你大概两年前上过 Light and Space，从那以后发生了很多变化。当时你们规模有多大？能分享的数字随便说说，和现在相比呢？我其实不记得当时的情况了，但大概至少是 50 倍，无论是收入还是用户。是的。我实际上在一个副业项目里用你们的产品。不错。是的。就是把 2D 图像转成 3D 模型。是的，就是托管了几个模型。你觉得怎么样？有什么反馈吗？我很喜欢。很好。是的，这就是我不用其他竞争对手产品的原因。很好。那么在创办 Modal 之前，你在 Spotify 工作过，还有 better.com，我记得。

1:30 没错。是的。是的。你在 Spotify 做的是什么？我在 Spotify 其实做了很多不同的事情，但我最主要的贡献是搭建了一个音乐推荐系统。第一个版本——我大概是 2008、2009 年毕业后加入的，在 Spotify 待了七年。其中大部分时间基本上是从零开始构建音乐推荐系统，组建了一个小团队，我们上线了不少功能，比如相关艺人和 Discover Weekly 等等。所以做了大量的矩阵分解，大量计算密集型的工作。可以说，后来 Modal 的起源很大程度上就是源于构建 AI 应用时意识到基础设施实在太烂了——肯定有更好的做法。所以 Modal 的初衷，某种程度上就是打造一个我在 Spotify 那些年里一直希望拥有的工具。是的。所以 Modal 更多是你在 Spotify 学到的东西的延伸，而不是来自 Better.com 的。Better.com 算是一段小插曲。那就像坐过山车一样，关于那家公司有很长的故事，我们另外聊过。我在 Better 当了五年 CTO，把技术团队从大概两三个人扩展到三四百人。所以我学到了很多关于管理、组建团队和招聘的知识，也对开发者生产力有了很深的理解。我思考了很多关于工具的事情，做了更多全栈方面的工作。但之后，我回到了最贴近我内心的领域，也就是基础设施、AI 和机器学习。Better.com 当时是做什么的来着？房贷。好的。你是怎么进入那个领域的？

3:00 我的意思是，我们不用在这上面花太多时间。对，没关系。就是有个人叫 Zach Frankel，当时我并不认识他，后来他把我招到 Better 担任 CTO，当时公司只有 10 个人。你知道，出于某种原因，创始人 Vishal 是个很有意思的人，非常非常聪明，有点疯狂，但大多是积极意义上的。我们相处得很好。所以我们就在 2015 年开始做这家公司，我花了五年时间把它做大，后来发现做房贷这件事其实挺难的，疫情之后利率快速上升，给公司带来了很多问题。不过那时我已经离开了。你是 2020 年还是 2021 年离开的？对，差不多是那个时候。好，那你是在有 model 这个想法之前离开的，还是先离开然后才开始做的？这很难说。我离开 Better 的时候有过很多随机的想法，其实我当时并不确定要不要创业。疫情期间，我差不多算是休了个假，有两个孩子——我是说我现在还有孩子，但那时候他们大概两岁和四岁——所以我决定待在家里，休了一段时间，算是半职工作，捣鼓一些东西，也不确定是不是该做点咨询，然后就开始做东西。我对这个后来变成 model 的想法变得超级兴奋。不过实际上，model 应该是我做的第 30 个项目，在那之前有过几次尝试，但都没什么结果。

4:30 但我的模型，就像第一个想法是，这个挺酷的，我应该做这个。这可以成为一个很酷的平台。其他想法是不是也是类似的方向，比如开发者工具？最开始是某种网页抓取的东西，没什么结果。不过说实话，事后来看，也许本来是能做出点东西的。那是在 ChatGPT 发布之前吗？是的。2021 年。哦，好的。所以 ChatGPT 是 2022 年底发布的，对吧？然后我开始构建，也许先稍微倒回去讲一下背景，我在 Spotify 工作的时候，发布了一个开源框架 Kaluigi，是做工作流编排的。和 Airflow、Prefect 属于同一类，某种程度上算是有点过时的类别了，人们现在不太谈论这些。但曾经有一段时间，它获得了很多关注。总之，我从来没有把它做成一门生意。但几年之后，2021 年，当我在思考商业想法或者要做什么事情的时候，我又回到了工作流编排这个方向。我开始尝试一堆想法，比如在云端运行代码，就是基本的代码编排运行。然后我意识到，归根结底，核心的问题不只是编排计算机，而是执行计算机。我当时觉得，这其实是一个更大的问题要解决。所以某种程度上，我把它搁置了，然后说，好吧，我要先去做另一件事，之后再回来。我会回头再搞工作流调度的。但是，长话短说，我再也没有回去，最后做成了 Modal，它的重点更像是，我们想办法让在云端运行代码变得简单。最初的重点是相当通用的。

6:00 从某种意义上说，其实我们最近又回到了原点，但我们当时专注于很多不同的应用。大致的想法是：让我们把在云端运行代码变得超级简单。可以是 GPU 代码、AI、机器学习，也可以是数据处理相关的东西。我们非常专注于如何扩展规模、如何打造出色的开发者体验。很早我们就意识到，要做到这一点，就必须深入技术栈的底层，于是我们自建了文件系统、自建了容器运行时，解决了很多高难度的工程挑战。然后你提到了 ChatGPT，那其实并不算是杀手级应用。但如果你还记得，那年秋天，差不多同一时间还出现了另一个东西，就是 Stable Diffusion，而 Stable Diffusion 对我们当时所构建的东西来说，才是真正的杀手级应用。那时我们只有四五个人。所以我们开始看到很多人来找我们，想要运行 Stable Diffusion 模型。这让我们意识到，也许生成式 AI 推理对我们来说是一个非常合适的应用场景。那你觉得效果怎么样？我就是个忍不住要发推的人。现在甚至更甚，虽然因为忙于创业有点分心，但我一直很喜欢发推，也经常写博客，所以积累了一点粉丝。所以在早期，推动增长的很大一部分因素就是我不停地发推，谈论模型和我在构建的东西，让大家兴奋起来，还写长篇博客文章讨论云计算的未来等等。我把它称为“创始人主导的营销”。我一直觉得，你得发挥自己的长处

7:30，我擅长的东西大概就是发水帖和常年泡在网上。所以你知道，工作方面，我觉得我们的很多增长其实就是因为我们比较擅长社交媒体，就是经常在线。不错。那过了多久才有了第一个客户？花了不少时间。另外，你们早期有融资吗？我们有一段时间没融资。我实际上自掏腰包撑了一段时间，一直到雇了最初几名员工，这在某种程度上其实是件好事，因为它让我对花钱非常节俭，而且很看重投资回报率。我有很长一段时间没给自己发工资。实际上，到某个时候这成了一个问题，因为我需要钱，但我们有一段时间没融资。直到2022年初，我们才融了种子轮。所以那时候我已经做了大约一年了。Akshah 作为 CTO 和联合创始人是在大约五年前加入的，大概是2021年8月。但直到差不多2022年底，我们才看到有意义的收入。我想这就是我为你感到骄傲的原因。是啊。在我们的案例中，Stable Diffusion 是主要的推动因素，所以我们从2022年11月的每月大约100美元，到下个月做到了每月大约2000美元，然后到2023年1月，突然做到了每月3万美元。你知道，那一刻我终于感觉卸下了心头一块巨大的焦虑石头，我心想，也许我们真的找对了方向，感觉我们确实找对了方向。然后2023年我们增长得非常快。

9:00 我想从那以后我们基本上一直在快速增长。那个月收入 3 万美元的时刻，是只有几个大客户，还是非常多元化？其实就一个。我不确定我有没有说过那是谁，他们自己知不知道，但我想他们应该有所怀疑。那是纽约一家叫 Mage 的公司，做的是 Stable Diffusion 相关的业务。所以在某个时候，我记得是 2023 年第一季度，他们大概占了我们收入的 80%、90%。但之后，收入开始稍微多元化了一些。2023 年底，我们很快迎来了一个大客户，他们一度也占了我们收入的很大一部分。但随着时间推移，现在我们的收入多元化其实做得非常好。关于 Stable Diffusion 那些东西，我记得我用过它，比如 ComfyUI。我猜很多人是在上面跑 ComfyUI 的工作流吧？有些人是，但我觉得用我们模型平台的用户往往更偏底层，他们会做一些复杂的事情。他们喜欢我们的模型平台，因为它一直都很容易魔改。所以他们部署了自己的自定义工作流，带适配器、自定义推理和大量优化，而我们为了打造出色的开发者体验所做的所有工作，结果也非常适合跑生产负载。因为自动扩展其实是非常相似的问题——你需要非常快速地扩容和缩容容器。所以我们恰好处于非常有利的位置，能在早期承接大量这类工作负载。当时自动扩展的工具不存在吗？为什么你们要自己造这些？

10:30 总的来说，我的观点是，你知道，每一个新的技术时代都会遇到工具的局限性。无论是回顾网络、云计算、移动、PC，还是 AI 等等。所以我认为，通常情况下工具是存在的，但它们往往不是特别好。而且通常你需要重新思考很多这些工具，才能收获好处，真正地加速并开始为这个新世界进行构建。云计算时代就是这样，我们必须发明 Kubernetes 和 Docker 之类的东西。类似地，对于生成式 AI，你可以在上一代工具的基础上构建这些东西。比如你可以在 Kubernetes 和 Docker 之上构建这些东西，但这些技术是为一种非常不同的工作负载而设计的。它们是为稳定的、持续的后端工作负载而设计的。它们有稳定的请求数量，运行在相当低的利用率下，因为 CPU 通常很便宜，所以人们不太担心成本。但现在我们进入了一个新世界，你有非常昂贵的 GPU，需要管理容量和利用率。你有非常大的模型，需要通过网络加载到 CPU 再到 GPU。而事实证明，很多这些工具根本不是为此而设计的。所以我们觉得必须重建很多这样的东西，比如构建我们自己的——我提到了文件系统——而且在过去几年里，我们还花了很多时间构建一些非常酷的东西，比如围绕 CPU

12:00 快照、GPU 快照和审计，我们基于自动扩缩器和调度器以及各种容量管理工具进行构建。我们觉得必须这样做，因为你不能在旧的东西之上套一层壳来做新一代的软件，你不能为了做新东西而在旧系统上做一个包装。你需要多少从头开始重做。那么关于自动扩缩，你们在平台上有没有看到什么奇怪的行为？在你们扩容的过程中有没有什么东西坏掉了？容量一直时不时是个挑战，比如你怎么搞到成百上千、上万块 GPU？这一直都很难。我们很早就不得不采用多区域部署。所以事后来看，那算是一个挺关键的决定，就是咬咬牙把它做了出来。我们一直把容量管理看作一个大的资源池，就像覆盖全世界的一个大池子。我们不把它看作每个区域里各自独立运行的集群。所以那是我们早期做出的影响非常深远的决定之一。我不确定有没有什么具体的问题。我们当然遇到过 bug 和宕机，虽然我很希望模型能做到百分之百的在线率，最近我们基本上达到了四个九或五个九，但在模型的历史上，当然也遇到过一些扩容方面的问题。是的。GPU 市场，其实在那之前。你们底层用的是 AWS、GCP 这些云服务商。

13:30 比如说，你们也会购买一些基础设施吗？不，我们来聊聊云容量吧。因为我觉得这方面其实变化很大。在最初的几年里，我们几乎所有的容量基本上都是从超大规模云服务商那里获取的，采用竞价型和按需容量，主要是竞价型容量，分布在不同区域，你知道的，最初用的是 AWS，后来也用了 GCP，随着时间推移。我们很早就开始从 Oracle 租用一些容量，因为我们想要那些“8 个 9”和“8 个 100”的保障，而且我们拿到了非常优惠的价格。后来我们又增加了几家云服务商，比如做一些预留，但直到去年年底，我们的大部分容量要么是竞价型，要么是一年期预留。竞价型就是当场即时租用。对，没错。而且它是可抢占的，我们得处理这个问题。但这在 Agria 里其实行得通，因为你基本上可以从几百个区域聚合容量。所以那个模式一直运行得很好，直到我们又开始遇到瓶颈。首先，Modal 增长得非常快，我们需要更多容量，但更根本的是，云市场本身也发生了很大变化。所以在过去一年里，基本上为了获得我们需要的容量，我们不得不与规模大得多的云服务商群体合作。实际上我们现在合作的云服务商接近 25 家。而且在很多情况下，为了拿到我们想要的容量，我们不得不签订三年以上的合同，并且要预先支付一笔可观的款项。也就是说，你是在三年期限内锁定了价格，对吧？

15:00 所以，你知道，就像，我们不得不花过去六到九个月的全部时间，重新思考如何获取算力。我们必须建立一个完整的采购部门，基本上有四个人全职工作，他们所做的就是采购算力、联系 Neocloud、谈交易、审核算力。我们还不得不组建一个完整的工程团队，基本上有 10 个人，专门管理来自世界各地的裸金属算力，处理网络问题、坏硬盘、GPU 从总线上掉线等等各种问题。我们不拥有算力，到目前为止我们都是租用的，通常是三年期的合同。这是一个重大的决策，比如，我们应该购买，还是继续租用？我其实并不特别教条。我认为租用很好，因为它有一定的资本效率。如果你选择购买，首先，会有运营上的复杂性，你必须与供应商打交道，处理电力、线缆等各种问题。但还有财务上的复杂性，比如，你如何融资？你应该募集股权资金吗？你可以募集 10 亿美元去买硬件，但这是非常稀释股权的做法。你也可以举债，但如果你举债，你通常需要有锁定的长期收入来支付利息，这也不是件容易的事。但你知道，我们会看经济性，看运营……

16:30 复杂性，我们会评估风险。这是一个复杂的权衡，我们对购买持开放态度。我们……还有其他的架构方式。比如，为了获得2027年所需的容量，我们需要在很多不同的途径上做大量工作才能锁定资源。那么你需要雇很多金融方面的人来做这些事情吗？其实不用。你知道，我不得不在这方面花很多时间，我们也确实花了很多时间。而且我认为，随着时间的推移，这些硬件是非常昂贵的资产。你知道，这有点令人震惊。你开始看到AI投资开始占到美国GDP的好几个百分点，而且最近几周美国的利率开始飙升。在这个阶段，你去看看那些Neocloud公司，它们都是非常、非常老练的金融工程公司。所以是的，我们研究了这些，我们研究了所有的选项，我们自己也可能不得不做类似的事情。我不想……我更希望专注于做一家非常精简的软件公司，做我们擅长的事情。我认为总的来说，软件公司拥有硬资产并不是好事。就像你应该拥有自己的办公室吗？我不认为这对大多数公司来说一定是正确的解决方案。但当然，为了获得你想要的容量，一切都在考虑范围之内。是的。我猜供应在一段时间内都会很紧张。

18:00 所以你多少得这么做。你同意这个说法吗？还是你觉得这只是某个特定时期的暂时现象？我不太同意这个说法。我的意思是，Nvidia 每个月都在交付几十万块 Blackwell，对吧？我不想说市场是百分之百有效的，但总体来说，只要你愿意出高价，你就能拿到 GPU 算力，对吧？只要你愿意比别人付更多的钱。当然，Anthropic 和 OpenAI 也在尽可能多地采购。但从根本上说，市场上一直有新的供应进来。所以我不认为这是一种被完全垄断的资源。价格在上涨，我觉得这确实值得反思一下。硬件的正常状态就像重力一样——最终硬件价格总是会下降的。所以我们现在处于一个有点反常的时期，硬件价格在上涨。至于这种情况会持续多久，很难说——可能是再过六个月，也可能是再过三十六个月，真的很难知道会持续多久。但我从根本上不确定“你必须购买算力”这种说法是否成立。在我看来，这有点像疫情期间的卫生纸抢购潮，或者说是那种银行挤兑之类的情况。不过话虽如此，算力在一段时间内确实会很紧张，价格也在上涨。而且幸运的是，我认为价格上涨对我们来说甚至未必是坏事，因为稀缺也意味着我们可以……

19:30 向我们的客户收取更高的费用。而且，我们已经锁定了大量按固定费率预订的算力，这意味着从某种程度上说，我们实际上已经相当于做多 GPU 价格了。所以我不太担心价格上涨。我更担心的是价格崩盘。我认为这不会很快发生。但如果发生，那对市场上很多参与者来说会是相当糟糕的事情。为什么那会是坏事？我认为对任何锁定了大量供应的人来说都是坏事。是的。因为他们付了太多钱，付得太多了，你知道，所以存在高位买入的风险，对吧？再说，我不太担心这个。我不认为这会很快发生。但就像我说的，从非常长期来看，硬件价格往往会下降。所以这值得反思一下，对吧？对。就像现在，我认为你的产能是受限的，这会导致——用经济学术语来说——存在一种稀缺性租金，对吧？那谁获取了这种稀缺性租金？我认为主要流向两个地方：主要是 Nvidia，当然，也在一定程度上流向了 Neoclouds。Neoclouds 以及总体上任何拥有产能的人，经济状况都更好。在产能受限的今天，这是不可否认的事实。但从长期来看，从非常长期来看，我认为这不一定完全成立，对吧？拥有 GPU 总是能获得一点溢价，但这值得冒这个风险吗？你知道，值得冒持有这些非常昂贵的……的风险吗？

21:00 资产会出现在你的资产负债表上吗？我不太确定，但你知道，我们拭目以待，这需要几年时间才能理清。长远来看，我们可能会拥有一些，可能会租一些，也许是组合方式，也许还会做一些其他疯狂的事情，合资、谁知道呢？也许是一些复杂的特殊目的实体（SPD），随便什么。一切都在考虑范围内。你如何与 OpenAI 和 Anthropic 竞争购买 GPU 算力？我猜他们恨不得把市面上所有能买到的都买下来。他们确实在这么做。而且我想你看到的是，嗯，很多价格在上涨，是不是反映了这一点？话虽如此，NVIDIA 出货量很大。我认为在某种程度上，NVIDIA 其实更倾向于一定的多元化。他们不想要只有少量的大买家，就像你看到超大规模云厂商获得的配额有点受限一样。我认为 NVIDIA 也更希望看到很多新兴云厂商和替代云厂商获得更多配额。我们在市场上观察到的一点——这更多是推测——我认为那些合作起来风险稍高的小型云厂商对我们来说是更多机会。比如说，NVIDIA，抱歉，是 Anthropic 和 OpenAI，我的感觉是他们更倾向于从大厂购买，部分原因也是因为他们需要进行大量的训练运行，所以他们需要非常大的算力块。但市面上其实有充足的算力，你知道，在亚美尼亚你都能拿到 32 个节点。

22:30 你可以在印尼拿到 128 个节点。你知道的，我们就是喜欢这种东西。所以我们可以走出去，在世界各地拿到很多，你知道的，规模较小的算力，价格还挺不错的。是不是基本上就是，如果有人给你提供一定数量的 GPU，你就只关心这个？就没有别的了吗？比如，你不关心它的可靠性吗？会不会只是某个破破烂烂的仓库里放着这些机器？我是说，有时候确实有点像破仓库，感觉是这样。但是，我们基本上是有一份规格清单的。当我们和供应商洽谈时，第一件事就是给他们发一份规格清单。我们说，我们需要这个数量的 IOPS。我们需要，你知道的，CPU 至少要达到，至少要有这么多的，你知道的，PassMark 分数之类的。我们需要看到，你知道的，最低的南北向带宽、出站和入站带宽。所以我们确实有一份需求清单。我们通常会尝试设置一个验收测试期，先拿一个节点，运行并测试一段时间。你知道的，在某种程度上，这也需要一点信念上的飞跃。有时候我们会签署非常大的承诺，你知道的，几千万甚至上亿美元，然后开始和一家我们还不完全了解的供应商合作。随着时间的推移，你知道的，我们慢慢就会看清。而且我觉得，有点像，你知道的，就像 SemiAnalysis 有 ClusterMax 那样，我感觉我们内部几乎也有自己的 Modal Max 评分。我知道哪些供应商我更喜欢，哪些不那么喜欢，你知道的，而且……

24:00，我们更倾向于与那些我们见过、可靠性非常好的供应商进行更多交易。不仅仅是可靠性，还包括，当我们遇到支持问题时，他们是否响应非常及时，是否能在要求的周转时间内修复我们提出的问题。如果系统宕机了，他们多快能修好？诸如此类的事情。你是否同意对智能的需求基本上是无限的？如果是的话，那为什么不尽可能多地购买容量呢？如果买多了，还可以转卖给别人。我认为，当存在稀缺资源时，说“尽量多买”是很容易的。但我觉得，首先，如果我们今天买下来，我们无法全部利用。我们能利用很大一部分，对吧？但你可以把它卖给其他想用的人，对吧？我认为挑战在于，如果市场上发生了某种情况，很多相关性会同时发生。比如价格下跌、利用率下降、转售容量的市场消失，这些可能同时发生。我坐在这里，我非常激进，每天都在购买容量，还在筹集资金来购买。所以总体上，我非常看好，但我想指出的是，这里存在尾部风险。当这些尾部风险发生时，情况可能会变得非常糟糕。部分原因可能是，也许我只是年纪大了，见过过去发生的事情。我的第一份工作是在1999年，所以我经历过互联网泡沫危机，也见过金融危机等等。我想打造一家能够存续20年的公司

25:30 到 30，再多 50 年，对吧？所以，你知道，我觉得我们当然可以现在就出去疯狂购买大量产能，试图垄断市场。但是，你听说过亨特兄弟吗？那是交易界的一个传奇故事。他们试图垄断白银市场，结果惨败。所以垄断市场这种事，总的来说，我觉得可能不是个好主意。不过，我们总体上还是非常、非常激进的，我们正在按照一个激进计划进行扩张，这个计划基本上与我们的需求增长相匹配，也与我们希望在明年年底达到的运行规模相匹配。

你们只购买 NVIDIA 的产品，还是也会考虑其他类型公司的产能，比如训练方面的？我们正在研究。我觉得其他替代加速器开始变得非常有意思了。你知道，讽刺的是，在过去五年，甚至十年里，我每年都在说，明年将是“非 NVIDIA 加速器之年”，然后我每次都错。但我确实认为 2027 年可能终于会是“非 NVIDIA 加速器之年”。所以，看看今年我是不是又错了。不过，这些产品在某些方面的表现已经开始拿到非常好的分数。你知道，TPU 显然在 Google 内部被广泛使用，看起来效果非常好。训练方面我不太了解，我感觉我看到的没那么多，但那个团队非常优秀，我知道他们正在开发很多软件方面的东西。

27:00 你知道，硬件在某种意义上很难，而软件相对容易一些。这让我觉得，如果我们能把这些加速器的软件层解决好，我认为它们会有很大的需求。而且从根本上说，你知道，NVIDIA 现在是这么大的一个瓶颈，我们很可能会看到更多的替代加速器。话虽如此，你知道，在更下游还有瓶颈。比如说台积电（TSMC）和阿斯麦（ASML），它们可能是整个链条中更深层的瓶颈。但你知道，从长远来看，垄断并不总能持续下去。所以我认为市场上出现更多替代选择会是件健康的事。虽然我非常喜欢 NVIDIA——我要说清楚，他们显然是一家了不起的公司，产品也非常出色——但我确实预计市场会变得更加多元化。还有像 Cerebras 和 Groq 这样的公司。是的。你对这些供应商有什么看法？我觉得它们相当令人兴奋。而且你可以看到它们在某些工作负载上表现得非常好。还有一些有趣的做法，比如有人在做这种混合式的、分离式的推理，用 NVIDIA 做预填充（pre-fill），用 Cerebras 做解码（decode）之类的。哦，这个我还真没听说过。是的。还有 Groq 也是，因为这些东西中，有些是受计算限制的，有些是受内存限制的，所以你可以把它们混合搭配。我觉得这非常令人兴奋。不过在实际部署这些东西时，事情会变得非常复杂。但我确实认为，在这类更复杂的硬件配置中，存在很多机会。你从这些新兴云服务商（Neocloud）身上，比如 Nebius 之类的，有没有学到什么？比如他们做事的方式与……

28:30 比如你们在做什么？我觉得 Neocloud（新兴云厂商）一个非常有趣的地方就是，它们怎么能扩张得这么快？我觉得最疯狂的例子可能就是 Nscale，它从默默无闻一下子做到了——你知道的——管道里躺着几千亿美元的合同，尽管它几乎没有什么实际产能。Neocloud 怎么能增长这么快？嗯，答案基本上是——这可能很显而易见——它们做的事情就是，去找比如 Anthropic 或 OpenAI 这样的大买家，然后基本上说：“嘿，你想不想买五年的芯片？签这份合同，我们给你一个不错的价格。”然后它们拿着这份合同去找华尔街，说：“看，我们有一个大买家，他们承诺了价值 100 亿美元的芯片，我们现在只需要融资。”然后它们就去融资，接着去找 Super Micro 或戴尔之类的，还有英伟达，采购硬件，然后安装部署，这样就把东西交付给客户了。对吧。

所以你就有了这么一个非常巧妙的金融结构：你基本上可以把还没买的东西先预售出去。这就意味着你可以极其快速地扩张。这就是我们在这些 Neocloud 身上看到的——它们扩张得非常非常好。而 Modal 因为我们一直更偏向 PLG（产品驱动增长），也没有那种锁定长期合同的能力，所以从财务角度来说，要扩张得那么快会更有挑战性一些，尽管我认为从长远来看，我们会达到……

30:00 同样的观点。不过我觉得这些 Neocloud 的发展一直是个很有意思的现象，尤其是 CoreWeave 这类大公司。它们在融资方式上非常精明，比如把 GPU 作为贷款抵押品等等。还有一件事，我忘了是哪家公司，好像是某家金融公司说，哦，我们打算……哦，我想其实是 Nvidia，他们说要把 GPU 变成一种资产类别。这只是因为他们需要融资，在想办法从哪里弄到钱吗？这有什么意义？我是说，有一堆初创公司在做这个，不知道你有没有关注过，比如 Silicon Data、computer exchange，还有 Orn 和其他几家，基本上都在尝试创建价格指数和指标，交易衍生品之类的。我觉得这挺有意思的。就算力而言，把算力作为资产类别确实存在不少挑战。它肯定不像其他资产类别那么同质化。你有不同的网络、不同的位置、不同的磁盘和 CPU，还有各种可靠性问题。话虽如此，石油其实也一样，而我们还是把石油变成了相对标准化、可交易的资产。还有待观察。不过我确实认为，以我们现在 AI 数据中心和 GPU 部署的规模来看，我们在风险对冲、风险分担这些方面确实需要更聪明一点，还有，你知道的……

31:30 更多的是类似保险之类的东西。所以我很高兴看到大家都在认真思考这个问题。话虽如此，我不太确定我们是否会看到 GPU 变成某种类似 Henry Hub、布伦特原油那样的超级商品化、可交易的资产。是的。我想把话题转向 Modal 沙箱。好的。在那之前，我想先问一下 Modal 有哪些不同的产品？我想主要产品显然是 GPU，然后是 Modal 沙箱，还有别的吗？我认为我们有两个大产品：第一个是 Modal Functions，第二个是 Modal 沙箱。Modal Functions 是我们在 2021 年推出的，理念是提供非常容易部署、非常容易扩展的无服务器函数，容量由我们统一管理。事实证明它非常适合推理，也非常适合管理 GPU 和运行相关任务。但我们其实从来没有推出过专门的推理产品或 GPU 产品。我们从未把 Modal 定位成一家 neocloud，而且我认为有被吸向那个方向、变成 neocloud 的风险——也就是只卖那种“矩形”的东西，比如“给你三年、这么多块 GPU”。Modal 一直以来非常擅长的是：你部署一个东西，就能把它扩展上去，尤其是那种周期性很强、突发性很强的负载，容量全部由我们管理。最妙的是，因为我们有成千上万的客户，

33:00 我们可以把这些容量聚合起来，获得非常平滑的工作负载，也就是非常平滑的聚合需求，从而能够非常高效地进行管理。所以 Modal Functions 是核心产品。我们在 2021 年推出了它。就像我提到的，我们在 2023 年开始看到产品市场契合。现在，它大约占我们收入的三分之二，实际上支撑了很多业务——实践中主要是推理，但你也可以用它来做各种其他事情。Modal Sandboxes 是我们在 2023 年推出的。它其实和 Functions 一样，花了一段时间才找到产品市场契合。我们为什么要推出它？我们发现在交谈中，很多人都在用 LLM 输出代码。这是我和 Akshar 某天吃午饭时聊出来的想法：也许他们需要一个地方来运行这些代码。然后我们意识到，其实我们已经拥有大量现成的基础设施，可以直接拿代码来运行。因为我们已经构建了管理容器和隔离的基础组件，已经有了 gVisor 和隔离原语之类的东西。所以我们对这个想法感到相当兴奋。Akshar 写了一个原型，基本上在一两天内就上线了。结果呢？我们看到几乎没有增长。我不想轻描淡写，因为我们确实看到了一些增长，有一些人开始使用它。毕竟那是 2023 年。有一些早期用户在某些场景下挺喜欢用它。但总体来说，到 2023 年夏天，它带来的收入还是相当微不足道的。于是两年后，我们甚至讨论过：我们到底还需要这个产品吗？

34:30 我们当时是不是该把它关掉？然后它突然就开始爆发式增长了。所以是2023年。我觉得2023年真正发生的事情是，大语言模型在生成代码方面变得非常强了。2023年，大概就是那个时候。我感觉就是从那时候起，它们从只能重构函数、写代码片段，进化到能生成完整的应用了，对吧。所以我们开始看到大量增长来自所谓的 vibe coding，你知道的，像 Loveable 这样的公司和其他一些公司。然后，像 Ramp 这样的公司开始把模型用于后台 Agent。接着我们又看到一批 Neolabs 在模型沙箱里做强化学习之类的事情，带来了巨大的增长。所以现在沙箱业务大约占我们收入的三分之一。我们基本上把它当作第二个产品。对我来说，这真的令人兴奋，因为即使在 Modal 的早期，我就一直知道 Modal 的目标是打造一整套产品工具箱。我们一直想做得几乎像一个云平台，你有存储、计算，以及各种不同的使用方式。我们一直想成为多产品厂商，但直到最近才在实践中真正实现。我觉得现在这一点已经比较清晰了。我们有 Functions，有沙箱，我们还在做很多其他东西。我们在做训练，在做批处理，还在做很多其他事情。所以对我来说，这种演变成多产品公司的过程非常棒，因为这一直是愿景的核心。即使在最早的融资演示文稿里，我就有好几页幻灯片讲这个。但直到最近，外界才真正看到这一点。

36:00 你们有没有正在酝酿的、你认为会成为下一个爆款产品的东西？对市场有什么预测吗？诸如此类的。我对训练非常看好。我认为训练是一个服务不足的市场。显然，现在大家的注意力都集中在超大规模的训练任务上。但我们实际上看到中小规模训练这一细分领域有大量需求。本周晚些时候我会稍微谈一下这个。我们正在组织一场会议。Batch（批量处理）我认为是一个非常有意思的市场。我们看到很多需求，比如那些需要……的客户。前几天有个客户需要转录5000年的音频。他们有数百万个音频文件。而我们正好有大量闲置算力，所以就让他们用了，花了好几天时间。我觉得那里有一些非常有趣的用例。我对低延迟相关的东西也非常看好。我认为一旦我们把语音到语音模型、也就是语音模型做好，那将会是一个非常有趣的市场。当然，还有所有这些 Agent 相关的东西。某种程度上，我对“Agent”这个词的感受比较复杂，因为我觉得从某种意义上说，所有软件都会变成 Agent 化的。所以对我来说，这几乎就像是在问：成为 Agent 到底意味着什么？我认为所有软件在某种程度上都会逐渐变成 AI 驱动的。但显然，有一套构建模块，用于开发更多由 LLM 驱动的软件，而这些模块似乎在各种不同用例中都是通用的。

37:30 我们当时的想法是，我对模型的理解是，我们做的是构建积木的生意，我们想给你提供出色的、可泛化的、经过实战检验的、通用的、可组合的积木。而且我觉得还有一些非常有趣的东西，比如 AI Agent 的用例。这很有意思。你提到了训练，因为我想在另一期播客里，大概一年前，或者两年前，你说过你们当时没有专注于训练——那市场上发生了什么变化？其实，我们断断续续地构建训练产品已经好几年了，所以不能说我们从来没有关注过它。只是说，我们现在有 150 名工程师，但一两年前我们的工程师数量要少得多。因为规模小，我们不得不更聚焦一些，所以推理成了我们唯一的重点，而且多年来一直是唯一的重点。但现在我们规模更大了，我们确实有机会在其他市场下注。我也很有兴趣继续列举这些方向：后训练、强化学习，我觉得这方面有一些非常令人兴奋的东西。还有很多其他的东西，比如存储、构建数据仓库、特征存储、实时流式处理管道等等各种，我也说不清。我认为 Modal 的长期愿景基本上就是：你想构建一些很酷的 AI 东西？我们全都帮你搞定，我们拥有所有的积木，比如 comp tasks 之类的，我们会帮你把这些积木组合起来。

39:00 这就是软件的美妙之处——只要拥有合适的构建模块，你几乎可以构建任何东西。所以，这正是我们想要打造的公司和产品。你说的训练，是指专注于那些进行超大规模训练的大型企业吗？不，不，那些企业会去做超大规模云服务商或者说 Neo 云的超大订单，拿到 10 万块 GPU 之类的。但在我看来，其实有一个服务不足的市场，比如那些在做迭代的研究人员，或者训练较小模型的人——比如文本模型、计算生物技术，这实际上是我们看到需求很大的一个市场。我们在那个领域有很多客户，训练相对适中的模型。你可以在 64 块 GPU 上训练推荐系统之类的，还有很多传统机器学习。很多东西并不需要 10 万块 GPU。那个市场，我想我们暂时不会专注于它。但我认为在那些稍小一些的市场里，有很多相对服务不足的需求。搭建训练集群是非常困难的。是的。你有没有注意到，比如从 GLM 5.2 或者 2.5 之后，很多人在使用这些模型并进行微调？如果有什么变化的话，我看到的其实是相反的方向。我觉得几年前微调的价值主张是：开源模型虽然没那么好，但如果你拿一个小模型，在你的特定

40:30 领域，你实际上可以在质量和成本方面达到最前沿水平。今天，我想说开源模型已经非常好了，你基本上可以直接把它们换上来运行，而不是用最前沿的模型，你可以运行 Kimi K3 之类的，或者 DeepSeq 4.1 或 GLM 5.3。它们几乎和最前沿的模型一样好，但成本低得多。所以我们仍然看到对后训练的大量需求。我确实认为这是一个非常有意思的领域，我们也在这个领域开发一些产品，包括 SFT，也包括强化学习等等。我还想说，微调已经不再是必须做的事情了。它变得非常可选。开源模型开箱即用的效果也非常好。

回到沙箱的话题。我忘了问你，你们提供的沙箱需要更新哪些东西，是现有沙箱无法满足的？其实没多少。我觉得我们一直非常非常擅长的，我是说，我们是基础设施极客，对吧？我们非常擅长扩展、可靠性以及做很多事情。我认为这在很大程度上解释了为什么，在我看来，我没有具体数字，但我们在这个领域拥有迄今为止最大的市场份额。我们就是非常擅长运行成千上万甚至数百万个沙箱。是的。我想说，为了应对这种规模，我们已经多次重写我们的系统。

42:00 但我们一直都很擅长这个。还有一些其他的事情，是随着时间推移出现的。我是说，沙箱这个领域整体来说，你知道，并不是最有差异化的领域，但我们正在做一些很酷的东西。比如随着时间推移，我们不得不增加对 VM（虚拟机）的支持。我们之前的沙箱产品是基于 GVisor 构建的，但现在我们也提供完全虚拟化的机器。事实证明，对于某些用例，你确实需要完整的 Linux 兼容性。我们还不得不构建其他东西，比如更好的原语，用于更交互式的场景，比如在沙箱之间来回传输数据、操作文件系统。我们在快照方面花了很多时间。我认为从长远来看，能带来差异化的会是那些非常酷的东西，比如 fork 沙箱、快照、恢复快照、实时迁移等等。总的来说，我认为沙箱的新颖之处一直在于它的临时性——你可以在几秒钟内启动一个沙箱。这是我很喜欢的一点，也是我想进一步深挖的方向。我认为这里有很多很酷的东西可以做，比如把 Agent 和 harness 解耦、把它们与沙箱解耦、让一个 Agent 控制多个沙箱、fork 沙箱、做快照，比如运行非常短生命周期的沙箱，甚至每条命令一个，诸如此类。所以我认为这个领域有很多很酷的东西。我们已经围绕快照在这方面花了很多时间，但我认为还有很多很酷的东西值得去构建。你刚才好几次提到快照了。

43:30 你觉得快照的使用场景是什么？它能给我们带来哪些现在得不到的东西？对我来说，最重要的一点是，如今很多沙箱工作负载基本上还是“直接迁移”式的。人们对沙箱的思考方式几乎还是：我有一个开发机，现在我要把它塞进云端，让一个 AI Agent 来控制它，也许我会在沙箱里运行测试框架。我不确定从长远来看，这是否是思考 Agent 算力的正确方式。我认为一个更好的模型是：你会有这种运行时间非常长的 Agent，在我看来它们几乎类似于持久化执行工作流。它们会 7 天 24 小时不间断运行，偶尔执行一些命令。如果能够在 100 毫秒内启动一个沙箱，运行几条命令，然后把它关闭并做快照——我认为这个“唤醒—休眠”循环越快，你就越能创建只运行极短时间的沙箱，这会让算力效率大大提升。它还能让你做一些非常酷的事情，比如分叉、把东西到处移动，想象一下，比如 Claude Code，不再是那种非常线性的、顺序执行的流程，而是可以分支，同时运行数百个 Agent。我认为 CI 是另一个很好的例子，纵观 CI 的大部分历史，比如 GitHub Actions 之类的工具。

45:00 就像你有一个非常顺序化的流程，比如，你慢慢安装一堆东西，然后运行测试套件，然后生成一些报告之类的。你虽然可以把它拆分成多个分片，但这挺麻烦的。我最想做的是把你的整个测试套件拿出来，让每一个测试都在自己的沙箱里运行，对吧？就是把它彻底并行化，大概用一千个沙箱。为什么做不到呢？问题在于启动和停止沙箱的开销太大了。所以我认为，越是让启动和停止变得毫无摩擦，你就越能进入一个可以做到极度突发式、大规模并行的世界，想并行多少就并行多少。你知道，我是个基础设施极客，就像我说过的，我对这些东西非常兴奋。一旦我们搞清楚所有这些原语和正确的构建模块，我认为它将解锁很多以前用软件无法实现的很酷的东西。

为什么这还没有被构建出来？我本以为以前的人也会想尽可能多地并行化他们的 CI。你做不到，因为开销的问题，就像 Amdahl 定律之类的。对，现在并行化的开销非常高，因为比如你现在可以用 GitHub Actions，比如我们在 Modal 的测试套件里做了并行化，对吧？但这基本上意味着，如果你把测试套件一分为二，那么每个分片都要重新做所有的安装和测试准备工作。这需要很长时间，可能要几分钟，但假设你可以只做一次测试准备， 46:30 然后对容器做快照，这样你就可以……