机器学习:感知机学习算法

lovetheme

前言

核函数和感知机学习算法是支持向量机的基础,支持向量机通过核函数进行非线性分类(参考《深入浅出核函数》),支持向量机也是感知机算法的延伸,本文介绍了感知机学习算法。

目录

1、感知机模型

2、感知机学习策略

3、感知机学习算法

4、总结

1. 感知机模型

感知机是二分类的线性分类模型,由输入特征 x 得到输出类别1或-1的映射函数:

机器学习:感知机学习算法

称为感知机。其中w,b为感知机模型参数,w为超平面的法向量,b为超平面的截距。若参数确定,则分类模型也相应的确定。sign是符号函数,即:

机器学习:感知机学习算法

对于新的输入特征 x,分类准则:

机器学习:感知机学习算法

2. 感知机学习策略

1. 点到平面的距离

假设超平面方程为:

机器学习:感知机学习算法

机器学习:感知机学习算法

到超平面的距离d:

机器学习:感知机学习算法

机器学习:感知机学习算法

2. 感知机学习策略

对于误分类数据

机器学习:感知机学习算法

,满足如下不等式:

机器学习:感知机学习算法

正确分类的数据无损失函数,所有误分类的数据点Mi到超平面的总距离为:

机器学习:感知机学习算法

不考虑标准化范数

机器学习:感知机学习算法

,就得到感知机学习的损失函数:

机器学习:感知机学习算法

一般用当前样本估计损失函数称为经验风险函数,因此上式就是感知机学习的经验风险函数。

3. 感知机学习算法

2.1式是训练样本的损失函数,显然,损失函数L(w,b)是非负的,在负分类时,损失函数L(w,b)是w,b的连续可导函数,正确分类时,损失函数是0,因此,2.1式是w,b的连续可导函数,可以放心大胆的用随机梯度下降算法来构建模型,梯度下降的方向是损失函数值减小最快的方向,当损失函数为0时,模型构建完成。本节介绍感知机学习算法的两种形式:原始形式和对偶形式。

1. 感知机学习算法的原始形式

损失函数L(w,b)的梯度:

机器学习:感知机学习算法

随机(随机梯度下降法的定义)选取一个误分类点(xi,yi),对w,b进行更新:

机器学习:感知机学习算法

因此,感知机学习算法原始形式的模型构建步骤:

机器学习:感知机学习算法

注意:初始化参数w0,b0值不同或随机选取的误分类点不同,得到的最优模型参数也可能不同,因为满足感知机损失函数为0的模型不止一个。

图解感知机学习算法的原始形式:

如下图,红色框为误分类点,l1为位分类直线,随机梯度下降法使l1直线顺时针旋转

机器学习:感知机学习算法

角度为l2直线,点到分类直线的距离逐渐减小直到被正确分类。

机器学习:感知机学习算法

2. 感知机学习算法的对偶形式

思想:对于每一个误分类样本点(xi,yi),假设误分类点共迭代

机器学习:感知机学习算法

次后,结果无误分类点,那么参数w,b就是对应的模型参数,

机器学习:感知机学习算法

,参数表示:

机器学习:感知机学习算法

解法:用3.1式和3.2世代入上一节的w和b式子,其他步骤完全一样,即可解得参数。

同时,用3.1式和3.2式代入2.1式,可得感知机的对偶模式:

机器学习:感知机学习算法

发现亮点没?f(x)表达式包含了内积部分

机器学习:感知机学习算法

,所以尽情的用核函数吧!因此,感知机也能实现非线性分类。

4. 总结

感知机算法有两个点需要引起重视:(1)感知机算法用点到平面的距离作为损失函数,稍微修改下就和支持向量机一样。(2)感知机算法可以写成对偶形式,所以也能通过核函数实现非线性分类。

相关推荐