本文主要向大家介绍了机器学习入门之【机器学习】正则化——理论推导以及实现方式（Python版），通过具体的内容向大家展现，希望对大家学习机器学习入门有所帮助。

【正则化】

回顾上一篇博客，出现过拟合的原因，无非就是学习模型学习能力过强，额外学习了训练集自身的特性，导致预测模型能够很好的适应于训练集，但是其泛化能力太差。出现过拟合的常见情况主要有以下2个方面：

特征参数过多，而训练样本过少

数据中包含异常样本，没有进行数据清洗（数据集自身特征太过明显）

正则化，是专门解决过拟合的优化算法。上一篇文章中我们不难理解，出现过拟合就是假设预测函数中的高阶项引起的，例如预测模型为：

hθ(x)=θ0+θ1x1+θ2x22+θ3x33+θ4x44h_ heta(x)= heta_0+ heta_1x_1+ heta_2x_2^2+ heta_3x_3^3+ heta_4x_4^4hθ(x)=θ0+θ1x1+θ2x22+θ3x33+θ4x44

那么减小其中高阶项的参数（权重）或者将其参数置为零，那么预测函数便可以很好的拟合数据，并且具备很好的泛化能力。在具体的算法实现过程中，我们在代价函数（CostFunction）中为特征参数添加相应的惩罚，使相应的系数权重减小，如下式：

J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]color{red}J( heta)=_x00C_rac{1}{2m}left[sum_{i=1}^{m}left(h_ heta(x^{(i)})-y^{(i)}ight)^2+lambda sum_{j=1}^{n} heta_j^2ight]J(θ)=2m1[i=1∑m(hθ(x(i))−y(i))2+λj=1∑nθj2]

其中mmm表示样本数量，jjj表示特征参数数量，λlambdaλ称为正则化参数。

λlambdaλ正则化参数的取值也直接影响到最终的预测函数hθ(x)h_ heta(x)hθ(x),如果：

λlambdaλ取值过大，则导致整体θ hetaθ参数过小，会出现欠拟合的情况；

λlambdaλ取值过小，又不能很好地达到缩小特征参数的效果

所以选取合适的 λlambdaλ很重要。

【正则化线性回归】

正则化线性回归的代价函数为：

J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]J( heta)=_x00C_rac{1}{2m}left[sum_{i=1}^{m}left(h_ heta(x^{(i)})-y^{(i)}ight)^2+lambda sum_{j=1}^{n} heta_j^2ight]J(θ)=2m1[i=1∑m(hθ(x(i))−y(i))2+λj=1∑nθj2]

对于梯度下降算法：

Repeat{θ0:=θ0−α1m∑i=1m(hθ(x(i))−y(i))x0(i)θj:=θj−α<mro    

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标人工智能机器学习频道！