摘要:本文主要向大家介绍了机器学习入门之【机器学习基础】从感知机模型说起,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助。
本文主要向大家介绍了机器学习入门之【机器学习基础】从感知机模型说起,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助。
感知机(perceptron)
感知器(perceptron)1957年由Rosenblatt提出,是神经网络与支持向量机的基础。感知器是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面。
分离超平面分类法
分离超平面进行分类的过程是构造线性判定边界,试图显示地、尽可能好地将数据分到不同的类。
超平面分离定理
超平面分离定理是应用凸集到最优化理论中的重要结果,这个结果在最优化理论中有重要的位置。所谓两个凸集分离,直观地看是指两个凸集合没有交叉和重合的部分,因此可以用一张超平面将两者隔在两边。
感知机定义
感知机几何解释
感知机学习算法(perception learning algorithm)
下面的图片给出了感知机的原始学习过程:
pla_process
pla_process
从图中可以看出,如果2D平面中向量w与向量x呈钝角,而x为正例,这说明w·x的角度太大了,这样,将w调整成w+y·x,即将w向x转动一下,接近x向量;同理,如果分离超平面错将正例数据分成负例数据时(2D平面中,向量w与向量x呈锐角),那么将w调整成w+y·x,实际上是向量w-x,则w要远离x一点。
2D感知机学习算法演示
初始情况下,分类器认为所有数据都是错误的,所以任意找一个数据进行修正。
step_initial
step_initial
这里,w为分离平面的法向量,分离平面垂直于法向量。
step1
step1
xg是被错分的数据,所以将原来的法向量和数据的向量相加,得到一个旋转之后的法向量。
step2
step2
如此,进行下去,不断地修正,直到所有的数据都被正确的分类。
step3
step3
step4
step4
step5
step5
step6
step6
step7
step7
step8
step8
step9
step9
step_final
step_final
最后,找到了“完美”分类的线。
PLA会不会停下来
在线性可分的条件下,我们如何保证PLA算法能停下来呢?我们可以用wf和wt的内积来表示它们是不是越来越接近。
我们可以看出wf和wt的内积随着更新不断变大,这在一定程度上说明wf和wt越来越相似了,但由于没有考虑到向量的长度,所以还不完备。
接下来的说明,wt每次最多增长xn的长度。
最后我们对wf和wt进行正规化,得到一个乘积,其实就是wf和wt的夹角的cosine值。这代表,每次更新,wf和wt的角度就靠近一点点,并且不可能无限的增长,因为这个值不可能大于1。所以这就证明了,PLA算法会停下来。
本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标人工智能机器学习频道!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号