机器学习系列10：线性回归与逻辑回归的正则化

机器学习系列10：线性回归与逻辑回归的正则化

线性回归的正则化

还记得在线性回归中我们有哪两种方法去求代价函数的最小值吗?当然是梯度下降和正规方程了。让我们来复习一下线性回归中梯度下降算法，如下：

其中黄色部分就是代价函数对参数 θ 的偏导数。当我们正则化代价函数后，代价函数发生了改变：

相应地，偏导数也会改变，得到正则化后的梯度下降算法：

把其中的 θ_j 提出来，简化后：

那正规方程正则化后呢?就成了下面这样：

逻辑回归的正则化

逻辑回归的代价函数为：

与线性回归的正则化类似，逻辑回归的正则化就是在逻辑回归的代价函数中加入对参数的惩罚：

正则化后得到的梯度下降算法与线性回归中非常像，只是假设函数不同而已。