SQL 与数据工程是 Databricks 前沿部署工程师面试流程的核心部分。窗口函数、gaps-and-islands 问题、Spark 内部机制、湖仓设计、幂等管道和 CDC:这就是 Databricks/Snowflake/Palantir 的数据方向。以下是需要准备的 SQL 与数据工程题目,先列出标记为 Databricks 的题目,然后是我们 SQL 与数据工程方向 中信号值最高的题目,每题都配有达到资深工程师标准的答案。

标记为 Databricks 的 SQL 与数据工程题目

更多针对 Databricks 面试流程的 SQL 与数据工程题目

候选人评价最有用、信号值最高的 SQL 与数据工程题目,模拟 Databricks 前沿部署工程师面试流程所考察的内容。

Databricks SQL 与数据工程环节背后的概念

这些题目所假设的词汇和思维模型。基础部分免费开放;更深入的、决定面试成败的思想属于付费内容。

基础SQL 窗口函数窗口函数在与当前行相关的一组行上计算一个值,而不会把这些行折叠起来,因此你可以在保留每一行的同时进行排名、与相邻行比较或计算累计总和。这是分析师在纯 SQL 中回答“和什么相比?”这类问题的方式,大多数面试官也用它来区分“懂 SQL”的人和“只懂 GROUP BY”的人。

核心登录幂等数据管道管道会重试、被重新运行、被回填,而每一次重新运行都必须产生与只运行一次相同的结果。幂等性就是保证这一点成立的性质:按键通过 upsert 或分区覆盖来写入,绝不盲目追加,这样重试就不会造成重复计数。这是让管道可以安全运维的唯一关键性质,否则你会在凌晨两点收到告警,却无法判断再次运行作业是否安全。

核心登录数据质量与校验一次部署的成败取决于客户的数据,而这些数据往往比他们的样例所显示的更糟。这项工作的要点是在边界处构建自动化质量门(模式、空值、取值范围、唯一性、新鲜度),隔离坏记录而不是让整批失败,并对坏记录比率设置告警,让“周二式”的数据劣化在仪表盘出错之前就被发现。这就是会大声失败的管道和会悄悄说谎的管道之间的区别。

核心登录去重与 LSH完全相同的重复记录可以通过对规范化后的内容做哈希来消除,但近似重复(同一条记录里有个错别字、地址顺序被打乱、跨文档重复出现的套话)需要的是相似性而非相等性。MinHash 可以低成本地估计 Jaccard 相似度,而局部敏感哈希(LSH)会把相似的签名放入同一个桶,这样你只需比较可能相似的记录对,而不是全部 O(n^2) 的组合。在合并混乱的企业数据和整理训练语料时,这是一种时刻要用的条件反射。

高级🔒 Premium间隙与孤岛(Gaps and Islands)间隙与孤岛是一种 SQL 模式,用于将一系列行折叠成连续的区段(孤岛)以及它们之间的中断(间隙)。其技巧是两个行号之差在区段内保持恒定,从而为同一孤岛中的每一行赋予相同的分组键,随后即可进行聚合。它广泛应用于会话化、连续登录天数以及连续日期范围查询等场景,面试官很喜欢它,因为朴素的自我连接解法既慢又在并列情况下容易出错。

高级🔒 Premium变更数据捕获(CDC)变更数据捕获将源数据库中行级的插入、更新和删除以流的方式输出,使下游系统保持近实时同步,而无需全量重载。其强形式是读取数据库事务日志而非轮询表,这样可以捕获删除操作、保留提交顺序,并且几乎不给源库增加负载。难点在于排序、删除操作的墓碑记录,以及以幂等方式应用数据流,确保重放不会破坏目标系统。

高级🔒 PremiumETL 与 ELTETL 在数据落地前进行转换;ELT 则先加载原始数据,再在数仓内部进行转换。廉价的弹性算力使 ELT 成为默认选择,但当数据绝不能以原始形式落地时,ETL 仍然是正确的选择——这正是 FDE 所部署的大多数受监管客户环境中的情况。

高级🔒 Premium查询优化与执行计划当客户说某个查询很慢时,答案就在执行计划里,而不是凭直觉。读懂执行计划能告诉你引擎是否在该用索引查找时进行了全表扫描、在连接中导致行数爆炸,还是在跨网络进行数据洗牌——这三种原因除了症状相同之外毫无共同之处。

Databricks 的前沿部署工程师面试环节会考察 sql 与数据工程类问题,例如“编写 SQL,找出每个地区每月收入排名前 3 的产品。”、“找出连续 3 天及以上登录的用户(间隙与孤岛)。”、“用 SQL 对原始事件流进行会话化:超过 30 分钟的间隔即开启新会话。”。窗口函数、间隙与孤岛、Spark 内部机制、湖仓设计、幂等管道和 CDC:这就是 Databricks/Snowflake/Palantir 的数据方向。完整题集按从易到难排序并附专家答案,如下所示。

按顺序完成本页上的 sql 与数据工程问题,学习下方链接的底层概念,然后查阅 Databricks 的完整面试流程,了解这一轮在整个面试环节中的位置。

是的。Databricks 现在发布了前沿部署工程师头衔的职位,并按行业细分,例如面向医疗与生命科学的高级前沿部署工程师,以及面向制造业的前沿部署工程经理。其解决方案架构师和现场工程师也从事类似的面向客户的部署工作,与企业团队一起设计和将数据与 AI 系统投入生产。

公司级指南描述了招聘人员与现场面试前的沟通,随后是小组面试,部分职位还需进行演示。请根据具体职位描述准备数据架构、实施和客户沟通方面的内容。询问哪项技术考核适用于你的 FDE 或解决方案架构职位。

Databricks 的其他面试轮次

Databricks 前沿部署工程师面试流程所考察的其他方向。

全面准备 Databricks 前沿部署工程师面试流程

SQL 与数据工程只是其中一轮。通过 Premium 解锁 Databricks 完整面试流程中的所有答案。每个方向都有免费题目,让你先体验题目深度。

所有答案、概念和课程,所有论文解析,所有已发布的视频课程,动手实践的 FDE Lab 任务,Premium PDF 指南及配套文件,完整的模拟题库以及工作样例下载。Referral Premium 不包含指南 PDF 及其配套文件。

6 个月 · 一次付费 · 不自动续订

结合免费视频课程一起学习。

本站独立运营,与 Databricks 无关联。所有商标归其所有者所有。