根据麦肯锡公司(McKinsey & Company)的《AI 现状》报告，超过 70% 的组织已经在至少一个业务职能中使用 AI。
大语言模型是推动这一普及的主要力量。ChatGPT、Gemini 和 LLaMA 等工具正被用于编码、搜索、内容生成和内部工作流程等各种活动，而 OpenAI、Google 和 Meta 等公司也在持续扩展其能力。
但事实是，一旦你超越了对这些工具的简单使用，学习路径似乎就变得零散了。你会接触到提示词、嵌入、向量数据库、RAG、微调、API 等概念，但它们往往被分开讲解，没有展示它们如何融入一个完整的系统。
而这正是大多数学习者卡住的地方。原因很简单：概念本身有难度并不是问题，问题在于找不到它们之间的联系，最终让人感到困惑。
因此，我们准备了这份 LLM 模型学习路线图，试图解决学习中的这一难题。
我们将用 16 周的时间循序渐进地推进，并注重边学边做。到最后，你应该能够创建自己的 LLM 应用、部署它们，并真正在实际项目中使用。
如果你想要更宏观的路线图，可以参考以下内容：
如何在 2026 年学习 AI：从初学者到专家的分步路线图
如何在 2025 年成为 AI 工程师：技能、路线图与职业指南
改变你的职业生涯
选择我们行业领先的课程，为职业成功而设计
现代软件与 AI 工程课程
掌握全栈开发与 AI 集成
+1000 more
AI 前沿部署工程师（AI 应用方向）
构建并部署 AI 解决方案，应对真实世界的商业问题
+1000 more
现代数据科学与机器学习（AI 方向）
高级数据科学技术与 AI 专业方向
+1000 more
高级 AIML（Agentic AI 方向）
深入学习 AIML，聚焦 Agentic 系统
+1000 more
DevOps、云与 AI 平台工程
构建和管理 AI 驱动的云基础设施
+1000 more
IIT-Roorkee 高级 AI 工程认证
来自 IIT-Roorkee 的顶级 AI 工程认证
为什么要在 2026 年学习 LLM？
许多开发者已经在工作中使用 LLM。这些模型可以帮助编写代码、修复 Bug、回答问题和处理数据。像 GitHub Copilot 这样的工具尤其让编程变得比以往更加轻松。
如今，企业显然也注意到了这一点，因此熟悉这类模型已日益成为一种期望。这不再仅仅是懂机器学习的问题。如果你能使用 LLM 构建聊天机器人或简单的 AI 工具，这在实际项目中就已经很有价值了。遵循一份合理的 LLM 路线图能帮助你更快达到这一目标。
这也是为什么许多开发者现在都在尝试弄清楚如何以高效的方式学习 LLM。好消息是，现在入门要容易得多。你不需要训练大模型，也不需要有研究背景。借助 API、开源模型和简单的工具，你可以尽早开始构建自己的项目，并在实践中学习。
免费 Agentic AI 课程
含认证
动手学习 LLM、提示工程、RAG 与 Agentic AI。零成本获得行业认可的证书。
LLM 学习路线图的先决条件
好了！正如在开始学习复杂方程之前需要理解基础数学一样，在开始学习 LLM 之前，也需要先熟悉一些概念。
很多人会犯一个错误：在还不了解底层机制的情况下，就直接跳到 LangChain 或 ChatGPT 封装这类高级工具。当模型开始产生幻觉或你的流水线出问题时，你只能盯着错误信息，完全不知道如何调试。
在深入 LLM 之前，你需要掌握 Python，用于处理文本数据、调用 API 和管理依赖。当模型调用开始拖慢速度时，还会用到基本的异步处理。
对机器学习模型的工作原理有基本了解就足够了：模型基于模式预测输出，训练会调整这些预测，而输出并不总是可靠的。
在 NLP 方面，重点是文本的处理方式：分词、嵌入和序列预测。
在进入各个阶段之前，你可以先快速了解一下各阶段的概览。
| 阶段 | 重点 | 应该学习的内容 |
| 阶段 1（第 1-4 周） | 基础与限制 | Transformer、注意力机制、分词、嵌入、显存（VRAM）、量化 |
| 阶段 2（第 5-10 周） | 使用 LLM | 提示工程（Zero/Few/CoT）、微调（LoRA、QLoRA）、RAG、向量数据库、LangChain、LlamaIndex |
| 阶段 3（第 11-16 周） | 生产与优化 | RLHF、量化、推理（vLLM、TGI）、部署、AI Agent |
| 项目 | 动手实践 | 基于提示的应用、RAG 系统、微调模型、Agent 工作流 |
| 目标 | 成果 | 从使用 API 进阶到构建可扩展的 LLM 系统 |
有了这个概览，我们就可以逐个阶段详细展开。
LLM 学习路线图：阶段 1 基础（第 1-4 周）
第一个月的重点是理解限制。我们从 Transformer 和自注意力机制开始，因为它们正是应用触及内存上限的根本原因。
一旦你理解了模型为什么会对特定 token 赋予不同权重，我们就进入基础环节：分词和嵌入。如果这部分没搞明白，你的 RAG 检索结果将一团糟。最后我们学习硬件知识，特别是显存（VRAM）和量化。知道如何把一个 70B 模型塞进单张 GPU，是超越简单 API 调用、真正部署产品的基本要求。
Transformer 架构：Attention Is All You Need
如果不弄清楚我们为什么弃用 RNN,就无法规划 LLM 工程师的学习路线。旧模型是彻底的瓶颈,因为它们按顺序处理文本:速度慢、无法跨 GPU 扩展,而且在长句中经常“迷失方向”。Transformer 通过抛弃从左到右的处理方式、改用 Self-Attention 解决了这个问题。现在,模型直接把整个序列放入内存,并让每个 token 同时与所有其他 token 进行权重计算。
这就是我们能够并行化训练的原因,但也是 LLM 课程路线总是撞上显存墙的原因。计算成本随上下文窗口呈二次方增长,提示词越长,硬件压力越大。这是任何 LLM 学习路径中的第一个现实检验:架构虽然强大,但也是个“内存吞噬者”。
分词与嵌入深度解析
理解了架构之后,下一步是弄清文本如何变成数据。大多数奇怪的模型行为都源于此。
分词:计算机看到的不是单词,而是 token。这不仅仅是按空格切分,而是子词块。如果不理解这一点,就很难解释为什么模型会拼错单词,或者为什么一个 emoji 占用的 token 比预期多得多。
嵌入:这是文本在模型内部的表示方式。我们把文本转换成高维空间中的向量。如果不理解这些向量如何表示语义,构建搜索或 RAG 之类的应用基本只能靠瞎猜。我们至少应该理解为什么“king - man + woman = queen”能够成立。
预训练 vs 微调 vs 推理
明确你的工作从哪里开始,能避免你把预算浪费在错误的任务上。
预训练:从零开始训练是一场百万美元级别的苦役。除非你拥有庞大的 GPU 集群,否则你不会去做这件事。你要做的只是挑选一个已经“会说话”的基础模型。
微调:这是你的日常工作。你拿一个基础模型,赋予它某种个性或专业能力(比如法律术语)。你不是在教它语言,而是在教它如何为你的使用场景表现。
推理:这是生产阶段。你将在这里面对延迟、吞吐量和 GPU 成本等现实世界的头疼问题。
当你真正需要的只是一个更好的提示词,或者一个更小、经过量化以便更快推理的版本时,不要浪费几周时间去训练模型。
LLM 路线图:第二阶段——使用 LLM(第 5–10 周)
这是实现阶段，你可以将所学付诸实践。我们将超越基础聊天，进入提示工程（Prompt Engineering）技术，如少样本（Few-Shot）和思维链（Chain-of-Thought），以提取可靠的逻辑；随后通过 LoRA 和 QLoRA 进行微调（Fine-Tuning），以低成本让模型行为专业化。本阶段的很大一部分将专注于 RAG（检索增强生成），这是通过向量数据库将大语言模型连接到私有数据的行业标准。最后，我们使用 LangChain 和 LlamaIndex 作为粘合剂来处理样板代码，将简单脚本转化为可用于生产环境的应用程序。
提示工程：零样本、少样本、思维链
到了 2026 年，我们已经不再把提示词当作魔法咒语。在真正的 LLM 工程师路线图中，你的提示词本质上就是一份契约。如果契约含糊不清，你的应用就会在生产环境中崩溃。
零样本（Zero-Shot）：这适用于总结 Slack 讨论串等低风险任务。但在专业的生成式 AI 路线图中，对于任何结构性任务，零样本都是一个隐患。没有参考示例，模型会猜测你期望的 JSON 结构或语气，而且经常会猜错。如果尝试三次后结果仍然不一致，就不要再调整形容词了，升级到使用示例吧。
少样本（Few-Shot）：这是生产环境的标准做法。你需要提供 3–5 组黄金标准的输入输出对。在 Scaler，我们将其作为处理边缘情况的主要方法来教授。如果你的模型在空输入或俚语上不断出错，你不需要更大的模型；你需要的是一个少样本示例，明确展示如何处理那种特定的混乱数据。
思维链（Chain-of-Thought，CoT）：给模型争取思考时间。对于复杂逻辑或多步数学运算，要求直接给出答案是产生幻觉的温床。通过强制模型先输出推理步骤，你实际上是在扩展它的工作记忆。在 LLM 学习路径中，掌握 CoT 是“看起来很聪明的机器人”与“真正产出可靠、可验证逻辑的系统”之间的分水岭。
目标不只是获得一个好的回复，而是每次都获得相同的回复。在结构或分隔符上做微小改动（比如用 XML 标签将指令与数据分开），往往比更换模型对你的大语言模型路线图更有帮助。
微调 LLM：LoRA、QLoRA、PEFT
当提示工程无法保证一致性时，你就需要微调。由于高昂的内存成本以及破坏模型推理能力的风险，全参数微调通常不可行。因此，我们使用 PEFT（参数高效微调）来精准更新特定任务：
LoRA（低秩适应）：你无需改动数万亿个权重，而是冻结基础模型，只训练微小的适配器层。这让你可以在没有巨大计算开销的情况下，随时换入或换出专业化的行为。
QLoRA：个人开发者的实用之选。它使用 4 位量化来缩小内存占用，让你可以在单张消费级 GPU 上运行训练，而不需要庞大的集群。
这些方法通常用于锁定格式和风格。如果你的模型无法严格遵循固定的 JSON schema 或特定的技术方言，你需要的不是更好的提示词，而是一个适配器。
RAG：基于向量数据库的检索增强生成
RAG 是生产环境的标准方案，因为它能防止模型产生幻觉或使用过时的信息。与其让模型凭记忆去猜，不如给它一个搜索引擎来查询你的真实数据。
你会使用 Pinecone 或 Weaviate 这类向量数据库将数据存储为嵌入向量，这让 AI 能够按语义进行搜索，而不只是匹配关键词。但真正的挑战不在于存储，而在于检索。简单的方案在现实世界中通常会失败，所以你需要混合搜索和重排序等技术，确保模型真正获得正确的上下文。
在实践中，RAG 的失败几乎总是源于糟糕的数据管道，而不是模型本身。
LangChain 与 LlamaIndex：粘合代码
没有人愿意为了处理聊天历史或修复失败的 API 调用而编写数百行代码。这就是我们使用这些库的原因。在 2026 年，LangChain 和 LlamaIndex 是让你的应用保持完整运转的粘合剂，这样即使用户提出奇怪的问题，应用也不会立刻崩溃。
LlamaIndex：如果你的项目主要是搜索杂乱的 PDF 或公司文档，可以从这里入手。它的设计目的就是帮助模型找到正确的信息，而无需你从零开始构建搜索引擎。在这条 LLM 学习路径上，这是让 RAG 系统在真实数据上跑起来的最快方式。
LangChain 与 LangGraph：控制狂。LangChain 庞大且有时显得有些混乱，但它成为标准是有原因的。在 2026 年，大家都在转向 LangGraph。它让你能够构建真正会循环思考、检查自身工作并使用其他工具的 Agent。在任何需要 AI 真正做事而不只是聊天的 LLM 工程师路线图中，它都是核心。
高手的做法不是二选一，而是两者并用。大多数人用 LlamaIndex 来查找数据，用 LangGraph 来管理逻辑。这些工具学起来可能很烦人，但它们能让你免于在大语言模型路线图的每个项目中重复编写相同的基础代码。
LLM 路线图：第 3 阶段——进阶与生产（第 11-16 周）
在练习完上述所有概念之后，你现在可以进入进阶主题了。让模型在你的笔记本电脑上回答问题是一回事，而让它足够快、足够便宜以至于能真正交付给用户则完全是另一回事。在 LLM 工程师路线图的这一部分，我们将超越简单的聊天窗口，专注于两件事：让模型更聪明（自主性）和让模型更便宜（优化）。
到这六周结束时，你将不再问“这个模型能做什么？”，而是开始问“我该如何避免这个东西烧钱？”这是 LLM 学习路径中最不起眼的部分，但如果你真的想打造一个能长久存在的产品，它却是最重要的。
RLHF 与对齐技术
在 2026 年，我们不再把模型的性格交给运气。对齐就是我们将模型从“聪明但不可预测”转变为真正适用于我们特定用例的方法。它本质上就是伦理和气质检查。
我们使用 RLHF（基于人类反馈的强化学习）或更简单的 DPO（直接偏好优化）来实现这一点。我们不再仅仅通过提示词去猜测，而是向模型展示“好”与“坏”回复的配对样本。这就是我们强制模型遵守严格的安全规则或保持特定品牌语气的方式。如果我们需要 AI 保持专业并避开某些话题，这就是我们把这些规则直接写入其“大脑”的地方。
Free Courses by top Scaler instructors
模型量化与推理优化
以全精度运行大型模型对大多数硬件来说都太昂贵了。量化通过缩小模型来解决这个问题，使其能够真正运行起来。这就像压缩一张高质量的照片：你会损失一点点细节，但文件变得足够小，可以使用。
如果你想在笔记本电脑上本地运行模型，你会用到 GGUF。这种格式在 Ollama 等工具中很受欢迎，因为它可以在 CPU 和 GPU 之间分配工作。如果你有 NVIDIA GPU 并且需要速度，你应该看看 AWQ 或 EXL2。这些格式在保持高质量的同时，能让模型运行得更快。掌握这些格式，就是你无需在硬件上花大价钱也能运行强大 AI 的方法。
部署 LLM：API、vLLM、TGI
把模型装进你的硬件只是成功的一半。如果你使用一个基础的 Python 脚本，第一个用户可能没问题，但第二个用户就会卡住等待一分钟，直到模型完成它的第一个任务。要同时处理多个用户，你需要一个合适的推理引擎。
API 路线（OpenAI、Anthropic、Gemini）：这是我们 90% 项目的选择。我们不用操心 VRAM 或 CUDA 版本，只需按 token 付费。它非常适合原型开发，但一旦我们扩大规模，缺乏控制权和高昂的月度账单就可能成为瓶颈。
自托管路线（vLLM、TGI、SGLang）：如果我们需要数据隐私，或者想在高流量下优化成本，我们就自己托管模型。但基础的 Python 脚本无法用于生产环境；它会在一个用户之后就卡死。我们需要一个服务引擎来处理并发流量：
vLLM：这是行业标准。它使用 PagedAttention 来防止内存碎片化，让我们能在单个 GPU 上容纳多得多的用户。如果我们要构建一个标准的聊天应用，就从这里开始。
TGI（Text Generation Inference）：Hugging Face 的标准方案。它非常稳定可靠，并且与 HF 生态系统的集成最好。如果我们需要易于监控、只需极少调优就能直接运行的东西，那就是它了。
SGLang：它是 Agent 领域的速度之王。到 2026 年，它的吞吐量比 vLLM 高出约 30%。它使用 RadixAttention 实现自动前缀缓存，也就是说，如果我们的 Agent 有一个庞大的系统提示词或很长的聊天历史，它不必每次都重新读取。对于多轮对话来说，它几乎是即时响应的。
关键在于，没有这些推理引擎，你的应用只是一个演示，而不是一项服务。我们使用这些工具，是为了让第二个用户不必在第一个用户的请求完成时干等一分钟。
Scaler 学员就业报告与统计
Scaler 学员薪资增长了 2.5 倍，Scaler 结业后的平均 CTC 达到 23 万卢比。
构建 AI Agent 与多 Agent 系统
当你赋予模型使用工具的能力时，复杂性就从编写一个好的提示词转移到了管理一个流程。Agent 不再只是请求一份摘要，而是可以查找文档、查询数据库获取上下文，然后根据结果触发一封邮件。
多 Agent 系统：在生产环境中，一个巨型模型常常会被复杂的指令压垮。我们现在使用 LangGraph 或 CrewAI 等框架将任务拆分为专门化的角色。你可能有一个 Researcher Agent、一个 Coder，以及一个负责查找 Bug 的 Reviewer。它们协同工作，在错误到达用户之前就将其捕获。
实践层面：这里真正的挑战不在于 AI，而在于工程。你必须构建防护机制，防止 Agent 陷入无限循环，即反复调用同一个工具而无法脱身。掌握可观测性（追踪 Agent 迈出的每一步）才是区分实验性脚本与可信赖、能承担真实任务的可靠系统的关键。
这是 LLM 工程师路线图的巅峰。到了这个阶段，你不再构建炫酷的演示，而是开始构建能够从头到尾完成一项任务的自主软件。
必知的顶级 LLM 模型：GPT、Llama、Mistral、Claude、Gemini
- GPT-5.4（OpenAI）：目前最聪明的大脑。它是高端推理和需要保持正轨的复杂 Agent 的首选。缺点是价格昂贵。当你需要“资深架构师”级别的思考能力并且能负担 API 账单时，就选它。
- Claude 4.7（Anthropic）：编程领域的最爱。它以诚实著称，相比 GPT 更不容易产生幻觉，也不会过于啰嗦。如果你在构建开发者工具，或需要一个严格遵守规则的模型，它就是黄金标准。
- Llama 4（Meta）：开源之王。它采用混合专家（MoE）架构，速度极快。如果你想在自有硬件上托管模型，以保证数据私密或避开 API 速率限制，就选它。
- Gemini 3.1（Google）：记忆之王。当其他模型还在谈论数千字时，Gemini 能处理数百万字。将它用于长上下文任务，比如上传一个 10 小时的视频或一份 2000 页的 PDF，然后针对其中某个细节提问。
- Mistral Large 3（Mistral AI）：精简高效之选。它是欧洲人的最爱，专注于效率。非常适合需要高智能但又不想承受大型模型延迟的高速、可靠的生产级应用。
Scaler 校友及其成功故事
阅读这些重要路线图：更多通往职业成功的路径
常见问题
1. How long does it take to learn LLMs?
你可以在一个周末内搞定一个基础封装应用，但成为一名真正的工程师大约需要六个月。前半段时间你会花在那些不那么光鲜的事情上：修复数据格式、掌握 Python 异步编程，以及弄清楚模型为什么会表现异常。到第四个月，你通常就可以着手处理微调和 Agent 循环了。目标只是达到这样一个程度：周五看到一项新技术更新，周一就能确切知道如何实现它。
2. Do I need a PhD to work with LLMs?
除非你想在 OpenAI 发明下一个 Transformer，否则博士学位并不是必需的。这个行业分为研究人员和真正动手构建东西的工程师，大多数公司招聘的是后者。公司不太在意你的学历，更在意的是你能否真正交付一个 RAG 流水线，并控制住 GPU 账单不让它爆炸。作为一个拥有可运行项目作品集的构建者，永远都能胜出。
3. What is the difference between GPT and Llama?
这就像租用一个大脑和拥有一个大脑的区别。GPT 是轻松路线；你只需调用一个 API，就能得到智能结果，而无需操心硬件问题。它非常适合快速验证想法。Llama 则适合那些想要掌控整个过程、保持数据私密、并且不再支付巨额 API 账单的人。通常的做法是先用 GPT 看看这个想法是否站得住脚，等 API 账单变得吓人或者你需要锁定数据时，再转向 Llama。
4. What is RAG and why is it important?
把 RAG 想象成让 AI 参加一场开卷考试。标准模型有知识截止日期；它们不知道昨天发生了什么，也不知道你的私人文件夹里有什么。RAG 通过让模型在回答之前先搜索你的 PDF 或数据库来解决这个问题。
在 2026 年，这已是行业标准，因为它是消除幻觉的最佳方式。AI 不再靠猜测，而是被迫使用你的具体事实。它也比重新训练更便宜、更快；当你的数据发生变化时，只需更新文件即可。大多数公司并不需要定制模型；他们只需要一个能够与他们的数据对话而不胡编乱造的模型。
5. How much math do I need for LLMs?
你可以跳过白板上的公式推导，但不能对数学一窍不通。现在关键在于直觉。你需要足够的线性代数来理解词语如何转化为向量以用于 RAG，也需要足够的概率论来理解模型为什么选择一个词而不是另一个。不要把时间浪费在微积分证明上；PyTorch 这类库会替你搞定这些。你只需要理解模型学习的整体感觉，这样当微调过程开始崩溃时，你才能真正进行排查。