扣丁学堂大数据培训简述如何选择机器学习算法

本篇文章扣丁学堂大数据培训小编给读者们分享一下关于大数据开发的一些内容，那就是如何选择机器学习算法，对大数据开发感兴趣的小伙伴就随小编一起来了解一下吧。

扣丁学堂大数据培训

如何针对某个分类问题决定使用何种机器学习算法? 当然，如果你真心在乎准确率，最好的途径就是测试一大堆各式各样的算法(同时确保在每个算法上也测试不同的参数)，最后选择在交叉验证中表现最好的。倘若你只是想针对你的问题寻找一个“足够好”的算法，或者一个起步点，这里给出了一些我觉得这些年用着还不错的常规指南。

训练集有多大?

如果是小训练集，高偏差/低方差的分类器(比如朴素贝叶斯)要比低偏差/高方差的分类器(比如k最近邻)具有优势，因为后者容易过拟合。然而随着训练集的增大，低偏差/高方差的分类器将开始具有优势(它们拥有更低的渐近误差)，因为高偏差分类器对于提供准确模型不那么给力。

你也可以把这一点看作生成模型和判别模型的差别。

一些常用算法的优缺点：

朴素贝叶斯：这个简单，你只要做些算术就好了。倘若条件独立性假设确实满足，朴素贝叶斯分类器将会比判别模型，譬如逻辑回归收敛得更快，因此你只需要更少的训练数据。就算该假设不成立，朴素贝叶斯分类器在实践中仍然有着不俗的表现。如果你需要的是快速简单并且表现出色，这将是个不错的选择。其主要缺点是它学习不了特征间的交互关系。

逻辑回归：有很多正则化模型的方法，而且你不必像在用朴素贝叶斯那样担心你的特征是否相关。与决策树与支持向量机相比，你还会得到一个不错的概率解释，你甚至可以轻松地利用新数据来更新模型(使用在线梯度下降算法)。如果你需要一个概率架构(比如简单地调节分类阈值，指明不确定性，或者是要得得置信区间)，或者你以后想将更多的训练数据快速整合到模型中去，使用它吧。

决策树：易于解释说明，它可以毫无压力地处理特征间的交互关系并且是非参数化的，因此你不必担心异常值或者数据是否线性可分(举个例子，决策树能轻松处理好类别A在某个特征维度x的末端 ，类别B在中间，然后类别A又出现在特征维度x前端的情况 )。它的一个缺点就是不支持在线学习，于是在新样本到来后，决策树需要全部重建。另一个缺点是容易过拟合，但这也就是诸如随机森林(或提升树)之类的集成方法的切入点。另外，随机森林经常是很多分类问题的赢家(通常比支持向量机好上那么一点，我认为)，它快速并且可调，同时你无须担心要像支持向量机那样调一大堆参数，所以最近它貌似相当受欢迎。

支持向量机：高准确率，为避免过拟合提供了很好的理论保证，而且就算数据在原特征空间线性不可分，只要给个合适的核函数，它就能运行得很好。在动辄超高维的文本分类问题中特别受欢迎。可惜内存消耗大，难以解释，运行和调参也有些烦人，所以我认为随机森林要开始取而代之了。

然而。。。

尽管如此，回想一下，好的数据却要优于好的算法，设计优良特征是大有裨益的。假如你有一个超大数据集，那么无论你使用哪种算法可能对分类性能都没太大影响(此时就根据速度和易用性来进行抉择)。

再重申一次我上面说过的话，倘若你真心在乎准确率，你一定得尝试多种多样的分类器，并且通过交叉验证选择最优。要么就从Netflix Prize(和Middle Earth)取点经，用集成方法把它们合而用之，妥妥的。

想要了解更多关于大数据开发方面内容的小伙伴，请关注扣丁学堂大数据培训官网、微信等平台，扣丁学堂IT职业在线学习教育有专业的大数据讲师为您指导，此外扣丁学堂老师精心推出的大数据视频教程定能让你快速掌握大数据从入门到精通开发实战技能。

Pyhon基础课程：https://ke.qq.com/course/327534?flowToken=1008607 【扫码进入Python全栈开发免费公开课】

H5进阶课程：https://ke.qq.com/course/387348?flowToken=1008605【扫码进入前端H5架构师进阶VIP体验课】

注：点击(了解更多)进入课程直播间