微信扫码

添加专属顾问

收藏

发布日期：2026-09-28 17:10:58 浏览次数： 1788

推荐语

快手联合北航提出AdaptCP，解决TB级推荐模型Checkpoint瓶颈，成果入选顶会EuroSys 2027。 核心内容： 1. 工业级推荐模型Checkpoint现存技术困境与研究背景 2. AdaptCP系统的核心设计思路与关键技术方案 3. AdaptCP在真实工业场景下的实验性能表现

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

在工业级推荐模型训练中，Embedding Table 往往包含数十亿甚至数百亿个 Key，参数规模可达到数十 TB。如此庞大的模型状态使 Checkpoint 成为分布式训练中的重要性能瓶颈：全量保存会带来巨大的存储 I/O 开销，并迫使训练暂停以保证一致性；而现有的增量或差分 Checkpoint 方案虽能减少单次保存开销，却又分别面临恢复链过长或检查点持续膨胀的问题。因此，如何在训练吞吐、存储开销与故障恢复效率之间取得平衡，成为工业级推荐模型容错训练中的关键挑战。


一、研究背景：工业级推荐模型的 Checkpoint 困境

为降低全量保存开销，现有方法主要采用增量 Checkpoint 和差分 Checkpoint。增量方式单次保存量较小，但恢复时需要依次加载多个检查点；差分方式恢复更直接，但保存的数据量会随训练持续增长。


二、方法简介：AdaptCP 的三大核心模块

针对以上问题，AdaptCP 从 Checkpoint 策略、训练流水线和底层 I/O 三个层面进行了系统性优化：

  • 冷热感知的自适应混合 Checkpoint 策略
  • SoU 更新时保存机制
  • 基于 SSD 缓冲的并行 I/O 引擎

三者分别解决：存哪些参数、什么时候存，以及怎么更快地存。

2.1 冷热感知的自适应混合 Checkpoint

AdaptCP 的第一个核心创新，是根据 Embedding 的访问热度，为不同参数动态选择更合适的 Checkpoint 策略。

对于频繁访问和更新的 Hot Embedding，采用增量 Checkpoint 时，同一批高频参数会分散在多个增量文件中，故障恢复需要依次加载，容易带来较高的恢复开销，因此更适合采用差分 Checkpoint。相反，对于访问和更新频率较低的 Cold Embedding，采用差分 Checkpoint 时，已发生变化的参数会在后续检查点中被重复保存，造成额外的写入和存储开销，因此更适合采用增量 Checkpoint。

基于这一观察，AdaptCP 对 Hot Embedding 采用差分 Checkpoint，对 Cold Embedding 采用增量 Checkpoint，从而兼顾保存效率与恢复速度。

论文进一步建立了统一的 I/O 成本模型，并从理论上证明：随着 Embedding 访问频率变化，系统中存在唯一的最优 Hot/Cold 划分阈值，可使 Checkpoint 保存与故障恢复的总体 I/O 成本达到最低，且该阈值可通过二分法快速求解。该理论推导为在线训练过程中动态选择冷热参数边界提供了明确依据。

在线训练过程中，Embedding 的访问分布并非固定不变。随着用户行为持续变化，原有的冷热关系可能发生迁移，固定阈值难以长期保持最优。 因此，AdaptCP 进一步设计了在线自适应冷热划分机制，由三个组件协同完成：

  • Tracker：记录当前周期内发生更新的 Embedding；
  • Access Counter：实时统计不同 Embedding 的访问频率；
  • Threshold Solver：根据当前访问分布在线求解最优冷热阈值。

系统随后按照阈值将 Embedding 动态划分为 Hot Set 和 Cold Set，并分别采用差分 Checkpoint 和增量 Checkpoint，从而使 Checkpoint 策略能够随运行时访问模式变化持续调整。

为此，AdaptCP 提出了 SoU 机制，其设计思想类似于操作系统中的 Copy-on-Write。由于推荐模型每个 Batch 实际只会更新少量 Embedding，SoU 无需在 Checkpoint 触发时立即对全部参数进行同步保存，而是在某个 Embedding 即将被更新时，先保留其更新前的旧值，再继续执行参数更新。未发生变化的参数则可以继续由训练过程和 Checkpoint 共享，从而将一次大规模同步保存拆解为细粒度的异步保存任务。

在 SoU 基础上，AdaptCP 进一步结合 Embedding Prefetch 设计了 Prefetch-triggered SoU。系统在参数被预取后，就提前启动高优先级的保存任务，从而利用 Prefetch 到参数更新之间的计算窗口完成后台 Checkpoint I/O。等参数真正进入更新阶段时，大部分保存任务已经完成，可以进一步减少训练线程的等待时间，将 Checkpoint 延迟尽可能隐藏在正常训练过程之中。


三、实验结果

为了全面验证 AdaptCP 的有效性，团队分别在公开数据集和真实工业训练环境中进行了实验。

3.1 整体性能

在训练吞吐方面，相比 Check-N-Run，AdaptCP 在 Criteo Terabyte 场景下实现 4.59× 提升，在真实生产数据场景下进一步达到 13.87×。随着模型和 Checkpoint 规模进一步扩大，AdaptCP 的性能优势更加明显，说明其对工业级大规模 Checkpoint 场景具有更好的扩展性。

在故障恢复方面，AdaptCP 同样显著降低了 Checkpoint 加载时间。在生产数据集上，Check-N-Run、Incr CKPT-N 和原生增量 Checkpoint 的恢复时间分别是 AdaptCP 的 9.41×、12.70× 和 13.62×。这一优势主要来自并行恢复机制，可以同时从远端存储加载多个 Checkpoint 分片，充分利用读取带宽。

Checkpoint 频率直接影响系统的容错能力：保存越频繁，发生故障时需要回退和重算的数据越少，但也会带来更高的 I/O 压力。实验将 Checkpoint 间隔从每 10,000 Batch 逐步缩短至每 100 Batch，以测试不同方案在高频保存场景下的表现。

当 Checkpoint 提高到每 100 Batch 一次时，Check-N-Run 和原生增量 Checkpoint 的训练吞吐分别下降 92.6% 和 74.9%，而 AdaptCP 仅下降 19.0%，并在所有 Checkpoint 频率下始终保持最高吞吐。其原因在于 SoU 能够将保存过程与计算重叠，而并行 Writer Engine 又能够在有限时间窗口内完成大部分数据持久化，使高频 Checkpoint 对训练的影响显著降低。


四、总结与展望

AdaptCP 的价值在于将推荐模型自身的参数访问特征、训练过程与底层存储系统结合起来，重新设计大规模推荐模型训练中的 Checkpoint 机制。相比将 Checkpoint 作为独立于训练之外的周期性保存任务，AdaptCP 根据参数热度动态选择保存策略，并通过 Save-on-Update 与并行 I/O 将保存过程尽可能融入正常训练流水线，为 TB 级推荐模型提供了一种兼顾训练吞吐与故障恢复效率的系统方案。

面向正在快速演进的推荐大模型，Checkpoint 系统仍将面临新的挑战。随着模型规模持续扩大，除海量 Embedding 参数外，Dense 部分也在不断 Scaling，模型状态、优化器状态以及训练集群规模都将进一步增长，对训练容错和系统稳定性提出更高要求。未来，团队将继续围绕推荐大模型的高效、稳定训练展开探索，在更大参数规模、更复杂训练架构和更高容错要求下，进一步降低 Checkpoint 对训练过程的干扰，并提升故障恢复效率，为推荐大模型持续 Scaling 提供更加可靠的基础设施支撑。

五、团队介绍

快手算法引擎部 AI Platform 团队长期深耕大规模模型训练基础设施建设，支撑搜广推等核心业务模型及自研多模态大模型的高效训练，并持续优化大规模训推资源池的调度能力。团队先后支撑了 OneRec 端到端生成式推荐大模型、KeyeVL 多模态大模型的发布上线与全量推广，并推动相关模型取得了较为突出的业务收益。

团队在多个技术方向发力，在推荐训练方面，率先打造了业界先进针对大规模生成式推荐模型的超算软硬一体化框架 SKAI，将 MFU 提升至 30% 以上；在训推一体化资源调度平台上，团队通过多种形式的混部、潮汐、统一调度等多种业界先进手段持续提升资源利用率。近 3 年来，团队在 EuroSys、SoCC、ASE 等国际顶级学术会议发表多篇论文，持续推动大规模训练系统在工业场景中的研究与落地。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

加载中...

扫码咨询

扫码登录

登录即表示您同意《53AI网站服务协议》

服务协议

欢迎您使用【53AI 官方网站】（以下简称“本网站”或“我们”）。本《会员服务协议》（以下简称“本协议”）是您（以下简称“会员”或“用户”）与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前，请务必审慎阅读、充分理解各条款内容，特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时，即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站：指由【深圳市博思协创网络科技有限公司】运营的，域名为【53ai.com】的网站及相关移动端页面。

会员服务：指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容：指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式：本网站支持以下登录方式，您可根据实际情况选择：

微信公众号授权登录：您同意将您的微信OpenID信息授权给本网站，用于创建或关联会员账号。

手机验证码登录：您需提供真实有效的手机号码，并通过短信验证码完成身份验证与登录/注册。

账号安全：您的账号仅限您本人使用，禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失，由您自行承担。

实名认证：根据相关法律法规要求，我们可能要求您在特定功能下完成实名认证。如您拒绝提供，可能无法使用部分或全部服务。

未成年人保护：若您未满18周岁，请在法定监护人的陪同下阅读本协议，并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限：会员登录后，有权按照其会员等级对应的权限范围，在线浏览、检索本网站知识库中的相关文章及内容。

服务变更：我们有权根据业务发展需要，调整、变更或终止部分服务内容，并将以网站公告、公众号消息等方式提前通知。

禁止行为：您在使用服务时不得实施以下行为：

利用技术手段批量爬取、下载、转存知识库内容；

将知识库内容用于商业目的或未经授权地向第三方传播；

干扰本网站正常运行或侵犯其他用户合法权益；

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属：本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有，受《中华人民共和国著作权法》等法律保护。

有限许可：本网站授予会员一项非独占、不可转让、不可转授权的普通许可，仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责：未经书面许可，任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现，我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息，请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息，我们将严格按照《个人信息保护法》的规定处理，仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性：知识库内容仅供参考，不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证，您应自行判断并承担使用风险。

不可抗力：因自然灾害、政策法规变化、网络故障、第三方平台接口异常（如微信接口维护、运营商短信通道故障）等不可抗力导致的服务中断或延迟，我们不承担违约责任。

第三方链接：本网站可能包含指向第三方网站的链接，该等网站的内容和服务不受我们控制，请您自行甄别风险。

七、 违约责任

如您违反本协议约定，我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施，并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失，您应承担全部赔偿责任（包括但不限于罚款、赔偿金、律师费、公证费等）。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议，双方应友好协商解决；协商不成的，任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议，取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的，不影响其他条款的效力。

我们对本协议享有最终解释权，并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效，继续使用服务即视为同意修订内容。