最后更新于
发布于
2024 年 1 月，我开始在 Baseten 全职担任前沿部署工程师（FDE）。Baseten 帮助客户部署前沿生成式 AI 模型并运行推理。作为 FDE，我的职责是与客户合作，使用 Baseten 大规模交付前沿的机器学习解决方案。
在过去的 6 个月里，我深入了解了客户在生产环境中部署生成式 AI 时面临的各种挑战。我很快意识到，发布到 X 上的周末小项目，与以可扩展的方式将 AI 和机器学习整合到服务数百万用户的产品中，两者有着天壤之别。AI 领域发展迅速，客户会向 FDE 寻求指导，了解如何在生产环境中运行最新、最强大的 AI 模型。到目前为止，这段经历如同一场狂野之旅，但我不愿用它换取任何东西！
什么是前沿部署工程？
每家公司对 FDE 角色的定义都略有不同。虽然这个头衔听起来可能与解决方案架构师或产品工程师等职位相似，但 Baseten 的前沿部署工程是工程组织不可或缺的一部分，与工程团队其他成员一样，秉持同样高的技术标准和期望。我更愿意把自己的角色比作客户 AI 项目的技术联合创始人。作为 FDE，你与使用公司产品的客户紧密合作，并肩工作，帮助他们从平台中获得最大价值。
在 Baseten，这意味着每天都要应对不同的复杂技术挑战。需要优化模型架构以提升性能？开发语音转文字流水线？为新型 AI 系统的 CI/CD 流水线提供咨询？需求多种多样，因为坐在桌子另一边的，是来自各大公司的顶尖机器学习工程师——他们是与你一样全身心投入这个领域的同行。当出现棘手的技术问题或雄心勃勃的新项目时，我是第一个被打电话找的人，因此我有机会了解众多不同公司和行业的运作方式，并成为构建稳健生产级 AI 服务的专家。
我是如何成为 Baseten 的 FDE 的
让我们把时间倒回 2023 年 8 月。当时我正在做自己的创业项目，但尽管竭尽全力，我仍未找到产品与市场的契合点。经过近一年的努力，我意识到是时候转型并探索新的机会了。
虽然我当时的创业尝试没有成功，但我知道自己仍然想在 AI 领域工作。在思考下一步方向时，我决定专注于业余项目，在寻找合适机会的同时享受构建东西的乐趣。随着 ChatGPT 的发布以及围绕生成式 AI 的热度不断升温，我受到启发，开始摆弄这些前沿技术。
我开始尝试使用 GPT API，构建检索增强生成（RAG）系统，并制作小型聊天机器人。随着我深入研究这些项目，我发现缺少超越 AI 构建基础知识的教程，于是我开始写博客分享我的学习心得和经验。
在这个过程中，我发现了一个名为 Truss 的工具，我用它来部署开源 LLM。我写了一篇关于它的博客文章，被 Truss 的创建者 Baseten 的一位联合创始人看到了。他私信联系我，邀请我去办公室参观并与团队见面，还给了我一些有趣的项目来做。一旦我踏进了这扇门，我就一直坚持努力，直到最终拿到了工作机会。
FDE 的一天
FDE 是一个技术性很强的岗位，同时也包含面向客户的工作内容。我每天花在不同角色上的时间各不相同，但总体来看大致如下：
- 75% 软件工程和模型优化
- 15% 技术咨询和方案设计
- 10% 客户关系管理
我的主要目标是帮助客户在 API 端点后部署开源模型、微调模型或自定义模型，满足他们对延迟、吞吐量和成本的要求，并让真实流量可靠地通过模型端点运行。这需要三项核心技能，这些技能是我在过去六个月的 FDE 工作中磨炼出来的。
技能一：深入钻研复杂的技术挑战
客户使用 Baseten 并不只是为了开箱即用地运行简单模型。他们带着棘手的技术难题来找我们，比如“我们如何在保持成本不变的情况下，将模型服务延迟优化 10 倍？”或者“将我们的生成式 AI 流水线水平扩展以处理 100 倍流量的最佳方式是什么？”在与客户一起界定问题范围后，我们会与他们合作设计解决方案并启动实施。
技能二：突破机器学习工程的边界
在我看来，这是 FDE 工作中最棒的部分。你可以将强大的生成式 AI 模型塑造成高度优化、可用于生产环境的解决方案，并根据每个客户的独特需求进行定制。在这个阶段，我们非常注重优化模型以获得尽可能好的性能。我们会利用先进的工具和技术来提升性能——比如使用 TensorRT 大幅改善推理延迟，或者智能缓存模型权重以实现最快的冷启动。可能性是无限开放的，所以我们有极大的自由去创新，突破机器学习工程的极限。
技能三：交付坚如磐石的解决方案
一旦我们得到了优化后的模型，接下来就要通过严格的测试、基准测试和加固来确保它满足客户的要求。这一步通常是和客户并肩完成的，以确保在交付之前不会出现“在我机器上能跑”的怪问题。
如果客户对技术实现满意，并且价格谈妥了，我们就正式成交。交付一个超越客户期望的可靠解决方案，是世界上最美妙的感受之一。解决方案交付后，你会转入支持角色，确保顺利交接给客户的团队，并解决出现的任何问题。
衡量 FDE 的影响力
在很多软件工程岗位上，很难衡量你的工作对公司的影响。而作为 FDE，影响非常清晰。每交付一个解决方案，都是你为客户带来的新价值，也是为公司贡献的新收入——而这都归功于你！当你帮助客户解决棘手问题时，他们往往会表现出极大的赞赏和感激，这也进一步增强了个人成就感。
但这把比喻的剑是双刃的。你的行动直接决定着交付成功还是项目失败。失去一个客户固然是宝贵的学习经历，但那种“本可以做得更好”的挥之不去的感觉可能很难摆脱。
此外，这个角色有大量的上下文切换，你必须做好准备。这不是那种可以埋头专注一个项目的典型软件工作。作为 FDE，你要同时兼顾多个深度项目，还要维护客户关系。很容易陷入技术细节的兔子洞而迷失优先级。要持续成功，就要记住：交付解决方案并让客户满意才是关键。
结语
我在 Baseten 的头六个月是一段精彩旅程的开始。我有幸在 AI 和 ML 工程的最前沿工作。不仅如此，我还有幸与一些非常出色的人共事。每份招聘启事都要求“积极进取的态度”，而在这里，我每天都亲眼看到这种态度的践行。我们是一个规模虽小但不断成长的团队，能够以小博大，因为每个人都充满热情、乐观向上，并拥有那种创业公司的拼劲。
Baseten 正在积极招聘多个技术岗位，包括前沿部署工程团队。如果你对我所写的这段旅程产生共鸣，并且正在寻找使用最好的技术、与最优秀的同事共事、令人兴奋且高影响力的工作，请查看我们在 baseten.co/careers 上的职位空缺。