ML 基础设施与 GPU 是 NVIDIA 前沿部署工程师面试流程的核心环节。GPU/TPU 工作负载、分布式训练与并行、推理服务(vLLM、批处理、KV cache)、集群调度与 API 网关扩展：这些正是 NVIDIA、Google 和各大 AI 实验室深入考察的基础设施知识。以下是需要准备的 ml 基础设施与 GPU 题目，先是标记为 NVIDIA 的题目，然后是我们 ML 基础设施与 GPU 专题 中信号最强的题目，每题都配有达到资深工程师水准的答案。

标记为 NVIDIA 的 ML 基础设施与 GPU 题目

更多针对 NVIDIA 面试流程的 ML 基础设施与 GPU 题目

候选人评价最有用的信号最强的 ml 基础设施与 GPU 题目，模拟 NVIDIA 前沿部署工程师面试流程所考察的内容。

NVIDIA ML 基础设施与 GPU 轮次背后的概念

这些题目所假设的术语和思维模型。基础部分可免费学习；更深入、决定面试成败的理念属于付费内容。

Core登录GPU 显存与 VRAMVRAM 是决定你实际能运行哪些模型的预算。它花在三件事上：模型权重、KV cache 和激活值。掌握粗略估算的算术(fp16 下 7B 模型的权重大约是 14GB)正是区分真正部署过 LLM 的候选人与只读过相关资料的候选人的关键。

Core登录量化量化以更少的比特存储模型权重(有时也包括激活值)，从 fp16 降到 int8 或 4-bit，从而减少内存占用并加速推理。int8 下质量损失通常很小，4-bit 下则更大。了解训练后量化与量化感知训练的区别，以及各自何时可接受，是 FDE 面试的标准考点。

Core登录知识蒸馏蒸馏训练一个小型学生模型来模仿大型教师模型，学习的是教师模型的完整输出分布，而不仅仅是硬标签。软目标携带了关于教师模型“如何思考”的额外信号，因此学生模型能以极小的体积和延迟保留大部分质量。了解蒸馏何时优于量化或剪枝，是当你有延迟或成本预算要达成时 FDE 面试的标准考点。

Core登录推理服务(vLLM、TGI)在延迟 SLO 约束下高吞吐地服务 LLM 是一个独立的工程问题。Continuous batching 让 GPU 在处理不同长度的请求时保持忙碌，PagedAttention 则防止 KV cache 浪费内存。朴素的逐请求服务会让昂贵的 GPU 大部分时间处于空闲状态，这正是 vLLM 和 TGI 等专用运行时存在的原因。

高级🔒 付费内容连续批处理静态批处理将一组固定的请求一起运行至完成，因此当一个批次中同时包含短回复和长回复时，GPU 会在等待最长回复期间闲置。连续批处理在每个解码步骤中向运行中的批次添加和移除序列，使 GPU 保持饱和状态并成倍提升吞吐量。这是 vLLM 以及所有现代 LLM 服务栈的核心调度技巧。

高级🔒 付费内容PagedAttention为每个序列的 KV 缓存分配一个连续内存块，迫使你为最大可能长度预留空间，这会导致 GPU 内存碎片化并浪费大部分内存。PagedAttention 借鉴了操作系统式的分页机制：它将 KV 缓存存储在固定大小的非连续块中，并通过每个序列的块表进行跟踪，从而实现内存紧凑、按需增长，并可在多个序列之间共享。这是让 vLLM 在相同显存中容纳远更多并发序列的核心内存技巧。

高级🔒 付费内容投机解码解码之所以慢，是因为每个 token 都需要对一个受内存带宽限制的庞大模型进行完整的前向传播。投机解码让一个小而快的草稿模型一次提出多个 token，然后大型目标模型在单次前向传播中验证所有这些 token，并保留最长的正确前缀。精心设计的接受规则使输出可证明地与从目标模型采样所得的结果完全一致，因此你免费获得更低的延迟，而不是一种近似。

高级🔒 付费内容分布式训练（FSDP、并行）当模型或其训练状态无法装进单个 GPU 时，你需要将工作拆分到多个 GPU 上。数据并行复制模型并拆分批次；张量并行将单层的计算拆分到多个 GPU；流水线并行将层堆栈拆分为多个阶段；而 FSDP/ZeRO 则对参数、梯度和优化器状态本身进行分片。每种方法都是用网络带宽换取内存，因此真正的技巧在于将它们组合起来，在装下模型的同时让 GPU 保持忙碌。

NVIDIA 的前沿部署工程师面试环节会提出机器学习基础设施与 GPU 相关的问题，例如“请解释 CUDA 执行模型如何映射到硬件：网格、块、warp、SM。”、“请带我了解 GPU 内存层级：寄存器、共享内存、L2、HBM。什么数据存放在哪里，为什么？”、“什么是 warp 分歧，为什么它会损害性能？”。GPU/TPU 工作负载、分布式训练与并行、推理服务（vLLM、批处理、KV 缓存）、集群调度与 API 网关扩展：这些正是 NVIDIA、Google 和 AI 实验室考察的基础设施深度。完整题集按由易到难排序并附专家答案，见下文。

按顺序完成本页上的机器学习基础设施与 GPU 问题，学习下方链接的底层概念，然后查看 NVIDIA 的完整面试流程，了解这一轮在整个流程中的位置。

是的。NVIDIA 会招聘解决方案架构师和部署 AI 工程师，他们与企业及合作伙伴客户深度协作，将 GPU 加速和生成式 AI 系统投入生产环境，与 NVIDIA 的研究和平台团队并肩工作。

预期会考察扎实的 GPU 和系统基础、推理服务与优化、机器学习深度以及系统设计能力，此外还需要具备面向客户的判断力，能够在合作伙伴的环境中规划并交付一次部署。

NVIDIA 的其他面试轮次

NVIDIA 前沿部署工程师面试流程所考察的其他方向。

全面备战 NVIDIA 前沿部署工程师面试流程

ML 基础设施与 GPU 只是其中一轮。使用 Premium 解锁 NVIDIA 完整面试流程的所有答案。每个方向都有免费题目，让你先体验题目深度。

所有答案、概念和课程、所有论文解析、全部已发布的视频课程、动手实践的 FDE Lab 任务、Premium PDF 指南及配套文件、完整的模拟题库以及工作样本下载。Referral Premium 不包含指南 PDF 及其配套文件。

6 个月 · 一次付费 · 不自动续订

结合免费视频课程一起学习。

本站独立运营，与 NVIDIA 无关联。所有商标归其所有者所有。