2024年5月摘要
来自 Baseten 的 4 篇文章
筛选
月份：
年份：
文章摘要
返回博客
作为 Baseten 的前沿部署工程师（FDE），我学会了每天应对复杂的技术挑战，与客户合作以最大化其 AI 项目的价值，并交付超越客户期望的稳固解决方案。我的工作由 75% 的软件工程、15% 的技术咨询和 10% 的客户关系管理组成，需要深入钻研复杂的技术难题，突破机器学习工程的边界，并交付高质量的解决方案。我在优化模型性能、利用先进工具和技术提升性能、以及确保稳健的生产级 AI 服务方面磨练了技能。作为一名 FDE，我通过交付能为客户带来新价值并推动收入增长的成功解决方案来衡量影响力，同时也注重上下文切换的重要性并优先考虑客户满意度。
2024年5月31日
原博客文章共 1,353 词。
模型服务基础设施中控制平面与工作负载平面的概念是一种强大的抽象，能够构建全球范围的多云 AI 模型服务基础设施。控制平面是一个单一的 Kubernetes 集群，作为用户界面和模型管理 API 端点的后端，同时还负责构建模型服务镜像以及在工作负载平面之间进行负载均衡等任务。相比之下，工作负载平面是用于运行模型推理的 GPU 资源集合，可以在任意的云环境和区域中搭建。控制平面与工作负载平面之间的关注点分离源于客户和运营方面的挑战，包括区域偏好、GPU 可用性、自托管模型推理、随客户需求扩展以及降低计算和维护开销。每个工作负载平面都有其独特的能力和限制，会影响整个系统的性能和安全性。通过将数据与控制分离、将工作者与集中决策者分离，控制平面能够跨区域、云提供商和云账户编排工作负载平面，而每个工作负载平面则根据其所运行的具体环境进行调整。
2024年5月29日
原博客文章共 870 词。
比较不同大语言模型（LLM）的每秒 token 数（tokens per second）对于准确评估大语言模型在推理阶段的性能至关重要。不同模型所使用的分词器效率差异很大，有些在处理人类可读的输入文本并生成 token 输出方面比其他模型更高效。在比较两个不同 LLM 的性能时，必须根据各模型的分词器对每秒 token 数（TPS）指标进行调整，以确保比较的准确性。不同 LLM 的分词器效率各不相同，有些更适合特定用例，例如代码或散文。为了在切换开源模型时准确计算延迟、吞吐量和成本的变化，有必要调整 TPS 计算，以反映真实世界的使用情况，并考虑每个生成 token 的相对价值。通过这样做，开发者可以设定准确的性能目标，并优化其 LLM 以获得更好的性能。
2024年5月9日
原文博客共 769 词。
2024年4月，Baseten 发布了多款不同规模的业界领先的大语言模型（LLM），参数量从 38 亿到 1410 亿不等，为成本与输出质量之间的权衡提供了灵活性。这些模型可以采用 TensorRT-LLM 实现、FP8 量化和连续批处理等优化技术进行部署，以提升推理效率。此外，Baseten 为其 LLM 推出了流式端点，支持实时文本转语音合成能力。该公司还强调了 AI 模型 CI/CD 流水线的重要性，提供了模型管理 API 以构建定制化的部署工具，并推出了一项新功能，使部署状态跟踪更加可靠。这些更新拓展了使用 AI 进行构建的可能性，并提高了生产环境部署的稳定性。
2024年5月1日
原文博客共 552 词。