机器学习:新手入门概览(一)

机器学习:新手入门概览(一)

定义

百度百科定义:

机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。

分类

通常分为有监督学习(supervised Learning)和无监督学习(unsupervised Learning)。从 Andrew Ng 与 Geoffrey Hinton 的访谈录像中,Hinton 提到无监督学习一直是科学家们所追逐的最终目标,但目前困难重重,仅就当前来看,监督学习发展的更为迅速,所涌现的科研成果也更为丰富。

应用领域

最主要的应用领域有:专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、自然语言理解、机器人和博弈等领域。

其中图像识别属于计算机视觉(Computer Vision, CV)领域,当前流行的卷积神经网络(Convolutional Nerual Network, CNN)等深度学习算法并非 CV 领域一直使用的算法,而是在深度神经网络 AlexNet 等模型表现极为出色之后,才被众人认可。自此,机器学习在 CV 领域的应用才全面发展起来。

博弈领域的问题以增强学习(Reinforcement Learning, RL)为主要算法,著名模型为 AlphaGO。其中涉及的算法有深度神经网络(Deep Neural Network, DNN)(其中包含 CNN 和其它类型的深度神经网络),蒙特卡洛方法,Q-learning等,其中前两者在有大量数据的情况下表现突出。

自然语言处理(Natural Language Processing, NLP)中包含自动分词,句法/词性分析,自然语言生成,机器翻译等领域,其中循环神经网络(Recurrent Neural Network, RNN)在机器翻译中表现出了强大的能力。

学术

由于近年机器学习发展速度极快,相对于学术期刊,国际学术会议中的各类论文更新更快,因此各类与机器学习相关的会议非常值得关注。

顶级或者高水平会议:
机器学习领域:ICML, NIPS,COLT,ECML
计算机视觉与机器学习混合:CVPR,ICCV,ECCV
机器学习与数据挖掘大杂烩:AAAI,IJCAI
主要是数据挖掘领域:KDD,SDM,ICDM
其他机器学习领域比较知名的:UAI,AISTATS
其他数据挖掘领域比较知名的:CIKM,PKDD
主要是数据库方向的,部分包含机器学习与数据挖掘:SIGMOD,VLDB,ICDE
交叉领域:WWW,SIGIR
顶级或者高水平期刊:
机器学习相关领域:
TPAMI, IJCV,JMLR
数据挖掘相关领域:
TKDE,TKDD,TIST,TODS,TOIS,KIS
作者:知乎用户
链接:https://www.zhihu.com/question/20224890/answer/136485243
来源:知乎

常用模型

这里提到的只是其中一部分机器学习模型及算法,主要是监督学习的模型。

线性回归 Linear Regression

计算与目标函数的误差,通过不断调整参数来减小误差。通常分为两个主要函数:

  1. 误差(损失)函数(loss function):常用的函数为 mse(mean squared error function)
  2. 优化函数(optimizer):包括梯度下降算法(Gradient Descent),牛顿法,以及衍生出的如 sgd(Stochastic Gradient Descent),Levenberg–Marquardt算法等等。

而在梯度下降算法等优化函数中,需要根据具体问题进行超参数(Hyperparameter)的调整,如学习速率(Learning Rate)决定了算法下降的快慢以及能否找到全局最优值。这一点在之后的神经网络中有更多相关的算法与讨论,但并没有可靠的公式可以依赖,多数依靠经验来做出判断和调整,这也是机器学习有时被称为“炼丹”的原因之一。

逻辑回归 Logistic Regression

在线性回归的基础上进行改造,总体上架构类似,只是在最后的输出时加入激活函数(Activation Function)。在最后的输出效果上,二项分类中最后输出的是 1 或 0,表示是否。而多项分类输出的是一个维度为类别数量 n 的(或 n+1 多出的一个元素在目标不属于任何类别时为 1)向量,如[0 0 1 0 0]。

  1. 损失函数: 交叉熵损失函数(cross entropy loss function)
  2. 激活函数: 常用的激活函数有 sigmoid 函数(用于二项分类),softmax 函数(用于多项分类)。

多项分类有时也称为 softmax 回归

sigmoid 函数图像——引用来源:百度百科

机器学习:新手入门概览(一)

支持向量机 Support Vector Machine

简单来讲即为将低维度中看起来不可分的样本,映射至高维度空间之中,然后使得样本变得可分。而在向高维度的映射过程中,SVM 借助核函数的特性在映射的同时避免了随着而来的高计算代价,因而在分类问题中表现良好。
在知乎的回答中,很多人的图例解释的很清楚。

图片引用来源:知乎 https://www.zhihu.com/question/21094489

机器学习:新手入门概览(一)

决策树 Decision Tree

决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。——百度百科

其中改进的算法还有随机森林(Random Forest) 算法等,其中随机森林由多个决策树组成,依旧是一种预测分类器。

神经网络 Neural Network

机器学习中的神经网络指的实际上是前馈神经网络(Feedforward Neural Network),所谓前馈,是指在模型的运算过程中,后层的神经元只接收前面神经元的输入信息,而不会立即给予反馈。神经网络由三个部分组成:输入层,隐藏层和输出层。而其中最为复杂多变的是隐藏层,通过隐藏层中不同的连接方式,组成了各类复杂的神经网络。神经网络本身的厉害之处,笔者认为,是特征的自行提取,随着网络的一步步深入,所提取的特征也从低级特征逐渐变为高级特征,这也是不少的 CNN 网络可以用来迁移学习的原因之一。

例如,当神经网络识别一只猫的图像时,低层神经层提取的是猫的颜色、边沿等低级特征,往上一层之后,这些特征会进行组合,变为了三角形、四边形,再往上,会逐渐变成眉毛、嘴巴等人类可识别的特征。在真实情况中可能与例子不完全一样,但性质是类似的。

更多关于神经网络的例子与解释,还可以参考我的另一篇文章。

图片来源:https://user-gold-cdn.xitu.io/2018/1/10/160e06eadc4d24f8?w=500&h=274&f=png&s=65767

机器学习:新手入门概览(一)

神经网络的深浅

关于神经网络的层数与深度,据笔者所知,暂时没有一个较为明确的定义。但一般来讲,深度神经网络的隐藏层至少在两层以上,随之而来的各种技巧与最初的神经网络也有较大的不同,整体来说,无需纠结于深浅的区分。

神经网络的组成

通常来讲,最基本的神经网络的公式中有三个基本参数, a, w 与 b。其中 a 是指的神经元的值, w 为权重(weights), 而 b 是偏置参数(bias)。除了这三个重要参数之外,还有 g 表示激活函数,所以后一层的值可通过 g(aw + b) 得到。

神经网络的反向传播算法

正是反向传播(Back Propogation, BP)算法的出现,解决了多层神经网络的隐含层权重等问题。BP 算法的基本原理为根据计算得出的损失函数(loss function) ,使用优化函数(optimize function)对各个神经元的权重进行调整,进而使得输出结果拟合最终结果。

神经网络的激活函数

激活函数的意义: 常常有人说,没有激活函数的神经网络就是个悲剧。是因为神经网络模型本身,在没有激活函数时,只能解决线性问题,而对于非线性分类,则是无能为力的。而在加入了激活函数之后,模型具有了解决非线性问题的能力,能够处理的问题也大大增多。

常见激活函数: 有之前提到的sigmoid函数,softmax函数,以及tanh函数,还有著名的 ReLu函数,它的出现大大加快了深度神经网络训练的速度。还有 RMSprop函数以及 Adam 函数,它们的出现在一定程度上消除了优化过程中算法来回摆动的问题。之后还有Adam衍生出的其他激活函数。

激活函数在神经网络中的表示: 激活函数本身,在神经网络中也是一层神经层,只不过只是对前面一层的结果套用激活函数进行处理,然后将结果直接传入下一层。

相关推荐