a brief introduction of deep learning

a brief introduction of deep learning

 three steps for deep learning

a brief introduction of deep learning

  • Step1:神经网络(Neural network)
  • Step2:模型评估(Goodness of function)
  • Step3:选择最优函数(Pick best function)

  neural network

a brief introduction of deep learning

手动连接神经元

a brief introduction of deep learning

 如: 1*1+(-1)*(-2)+1=4   1/(1+e^(-4))=0.98

a brief introduction of deep learning

不同的参数,就是一个function

a brief introduction of deep learning

不同模型的层数

a brief introduction of deep learning

a brief introduction of deep learning

 矩阵运算表示网络结构

a brief introduction of deep learning

a brief introduction of deep learning

最后一组x是由输入x经过复杂运算抽出的feature

本质:通过隐藏层进行特征转换

a brief introduction of deep learning

一个手写数字识别的例子

a brief introduction of deep learning

 a brief introduction of deep learning

你可能要问的问题

 a brief introduction of deep learning

接下来有几个问题:
多少层? 每层有多少神经元? 我们需要用尝试加上直觉的方法来进行调试。对于有些机器学习相关的问题,我们一般用特征工程来提取特征,但是对于深度学习,我们只需要设计神经网络模型来进行就可以了。对于语音识别和影像识别,深度学习是个好的方法,因为特征工程提取特征并不容易。
结构可以自动确定吗?有很多设计方法可以让机器自动找到神经网络的结构的,比如进化人工神经网络(Evolutionary Artificial Neural Networks)但是这些方法并不是很普及 。
我们可以设计网络结构吗?可以的,比如 CNN卷积神经网络(Convolutional Neural Network )

对于模型的评估,我们一般采用损失函数来反应模型的好差,所以对于神经网络来说,我们采用交叉熵(cross entropy)函数来对y?y^??的损失进行计算,

接下来我们就是调整参数,让交叉熵越小越好。

a brief introduction of deep learning

 对于所有训练数据的loss

a brief introduction of deep learning

利用梯度下降来最小化total loss

a brief introduction of deep learning

 方向传播进行梯度下降

a brief introduction of deep learning

 越深越好?

a brief introduction of deep learning

 普遍性定理

a brief introduction of deep learning

相关推荐