**Spark：宽转换和窄转换有什么区别？为什么 shuffle 的开销很大？** ## 宽转换 vs 窄转换 **窄转换** - 每个父分区的数据最多只被一个子分区使用 - 不需要跨分区的数据移动 - 例如：`map`、`filter`、`flatMap`、`mapPartitions` - 执行速度快，可以进行流水线化处理 **宽转换** - 每个父分区的数据会被多个子分区使用 - 需要在集群节点之间重新分布数据（即 shuffle） - 例如：`groupByKey`、`reduceByKey`、`join`、`repartition`、`distinct` - 会形成 Stage 边界，打断流水线执行 ## 为什么 Shuffle 的开销很大？ 1. **磁盘 I/O**：数据必须写入本地磁盘，无法完全在内存中完成 2. **网络传输**：数据需要在集群节点之间通过网络传输 3. **序列化开销**：数据需要被序列化和反序列化，成本高昂 4. **Stage 依赖**：Shuffle 会创建 Stage 边界，父 Stage 必须完全执行完毕后，子 Stage 才能开始 5. **容错成本**：Shuffle 数据需要持久化，如果某个分区丢失，可能需要重新计算上游数据 6. **资源压力**：大量 shuffle 可能导致磁盘空间不足、OOM 或数据倾斜问题 **最佳实践**：尽量减少 shuffle 次数，优先使用 `reduceByKey` 而不是 `groupByKey`，并合理设置分区数。

这篇文章介绍 Databricks 面试中关于 Spark 的常见开场题：宽窄依赖转换的区别，以及 shuffle 为何昂贵。作者指出仅背定义不够，面试官更看重候选人能否解释 shuffle 在物理层面做了什么，以及如何在 Spark UI 中识别它。文章还给出面试策略：先指出常规方案在何处失效，再沿数据管道逐步回溯失败原因，并在提出修复方案前，点明客户高管真正关心的那一个指标。

要点

• 宽窄转换区别是 Databricks 面试的常见开场题。
• 仅会定义不够，需讲清 shuffle 的物理过程。
• 要能在 Spark UI 中识别 shuffle 的发生。
• 面试应先说明常规方案在何处失效。
• 提修复方案前先点明客户高管关心的核心指标。

由 AI 读原文全文后撰写。

• 所以你想招聘一位前沿部署工程师

  洞察译文First Round2026-02-24EN

  本文探讨前沿部署工程师（FDE）这一由 Palantir 首创的角色在 AI 创业公司中的兴起与落地方法。

• The Pulse：前沿部署工程再度升温

  洞察译文The Pragmatic Engineer2026-05-24EN

  Gergely 在 The Pragmatic Engineer 撰文指出，前沿部署工程师（FDE）需求再度升温。

• 什么是前沿部署工程师？（以及为什么大家都在招聘他们）

  案例译文PostHog2026-02-11EN

  PostHog 介绍了前沿部署工程师（FDE）这一角色：工程师被派驻到客户团队，弥合产品能力与客户需求之间的差距。

• 为什么95%以上的初创公司完全搞错了前沿部署工程师这一角色 — Flybridge — 支持AI驱动未来的东海岸投资公司

  洞察译文Powered Future2025-12-01EN

  Flybridge 与前 Palantir FDE Brian Keohane 讨论后认为，绝大多数创业公司对前沿部署工程师这一角色的理解是错的。

• 我分析 1000 个前沿部署工程师职位后的收获

  学习译文Bloomberry2025-11-18EN

  作者分析了1000份前沿部署工程师（FDE）职位描述，发现该头衔实际涵盖三类岗位：约60%是真正嵌入客户写生产代码的工程角色，30%是改名的售前工程师，10%是内部工具岗位。

• 前沿部署工程师的崛起——以及如何做好这份工作

  学习译文Latent Space2026-09-12EN

  Kepler CEO Vinoo 结合在 Palantir、Citadel 的经历，阐述前沿部署工程师的真正定位。