正则化是一种通过向误差函数添加惩罚项来减少机器学习过拟合的技术。L1 正则化（Lasso）添加权重绝对值之和，L2 正则化（Ridge）添加权重平方值之和。

在这篇博客中，我们将学习机器学习中的正则化。

我是 Amit Shekhar，Outcome School 的创始人，我曾指导和培养过许多开发者，他们的努力帮助他们获得了高薪技术工作，帮助许多技术公司解决了他们的独特问题，并创建了许多被顶级公司使用的开源库。我热衷于通过开源、博客和视频分享知识。

我在 Outcome School 教授 AI 和机器学习。

让我们开始吧。

正则化是一种用于解决机器学习模型过拟合问题的技术。

用正则化解决过拟合问题

什么是过拟合？

过拟合是一种现象，当模型过度学习训练数据中的细节和噪声，以至于对新数据的模型性能产生负面影响时，就会发生这种现象。

因此过拟合是一个主要问题，因为它会对性能产生负面影响。

正则化技术可以解决这个问题。

一般来说，好的模型不会给某个特定特征赋予过多的权重，权重是均匀分布的。这可以通过正则化来实现。

正则化有两种类型，如下所示：

  • L1 正则化或 Lasso 正则化
  • L2 正则化或 Ridge 正则化

计划转型进入 AI 领域？

无论你今天在哪个技术领域工作，通过你的努力，你都可以转型到以下这些角色：

  • AI 工程师
  • 前沿部署工程师
  • AI Agent 工程师
  • Harness 工程师
  • 语音 AI 工程师
  • AI 架构师
  • LLM 工程师
  • LLM 推理工程师
  • 生成式 AI 工程师
  • MLOps 工程师
  • 机器学习工程师
  • 深度学习工程师

我们在 Outcome School 的 AI 和机器学习课程可以带你实现这一目标。

L1 正则化或 Lasso 正则化

L1 正则化或 Lasso 正则化会向误差函数添加一个惩罚项。该惩罚项是权重的绝对值之和。

p

λ 是调整参数，它决定我们想要对模型施加多大的惩罚。

给你的快速提示

无论你在哪个技术领域工作，都要熟悉以下这些主题：

  • LLM
  • RAG
  • MCP
  • Agent
  • 微调
  • 量化

我们把所有这些内容整合在一个视频中：

AI 工程详解：LLM、RAG、MCP、Agent、微调和量化

不必现在停止阅读——先收藏起来，等有空的时候再看。未来的你会感谢现在的你。

现在，让我们回到正题。

L2 正则化或 Ridge 正则化

L2 正则化或 Ridge 正则化同样会在误差函数中加入一个惩罚项。但这里的惩罚是权重平方值的总和。

与 L1 类似，L2 中同样有

p

λ 是调整参数，它决定我们想要对模型施加多大的惩罚。

这就是正则化。

除了 L1 和 L2，还有其他正则化技术。我们有一篇关于 神经网络中的 Dropout 的详细博客，解释了如何通过随机关闭神经元来减少深度神经网络中的过拟合。

保持更新： 订阅我们的新闻通讯，将我们最新的 AI 和机器学习博客直接发送到您的邮箱。

常见问题

L1 和 L2 正则化有什么区别？

两者都会在误差函数中加入惩罚项，但惩罚方式不同。L1（即 Lasso）使用权重绝对值的总和。L2（即 Ridge）使用权重平方值的总和。

正则化中的调节参数 p 有什么作用？

调节参数

p

决定我们要对模型施加多大的惩罚。它在 L1 和 L2 正则化中的作用相同，控制加到误差函数上的惩罚强度。

为什么正则化有助于解决过拟合？

当模型学习了训练数据中的细节和噪声时，就会发生过拟合，这会损害模型在新数据上的表现。一个好的模型不会给某个特定特征赋予更大的权重，其权重是均匀分布的。正则化通过对权重进行惩罚来帮助实现这一点。

L1 和 L2 是仅有的正则化技术吗？

不是。除了 L1 和 L2，还有其他正则化技术。例如，Dropout 通过随机关闭神经元来减少深度神经网络中的过拟合。

本次内容就到这里。

谢谢

Amit Shekhar Outcome School 创始人

你可以通过以下方式与我联系：

关注 Outcome School：