机器学习系列 4:线性回归的梯度下降算法

之前我们已经学过了线性回归、代价函数和梯度下降,但是他们就像一个人的胳膊和腿,只有组合在一起才会成为一个「完整的人」,这个「完整的人」就是一个机器学习算法,让我们一起来学习第一个机器学习算法吧。

这个机器学习算法叫做线性回归的梯度下降算法(Gradient Descent For Linear Regression),还记得我们学过的线性回归函数、代价函数和梯度下降算法吗?如果忘记了,让我们一起来回忆一下,如下图(左为梯度下降,右为线性回归和代价函数):

机器学习系列 4:线性回归的梯度下降算法

分别求出 j=0 和 j=1 时代价函数的偏导数,

机器学习系列 4:线性回归的梯度下降算法

带入梯度下降算法中,得到:

机器学习系列 4:线性回归的梯度下降算法

这个算法也叫做「Batch」梯度下降(「Batch」 Gradient Descent ),他的特点就是每次进行梯度下降都要使用整个数据集。

恭喜你,到目前为止你已经学会了第一个机器学习算法!这个算法在解决线性回归问题中十分好用。你已经成功地在通往机器学习的道路上迈出一小步了。

相关推荐