机器学习——神经网络

一、神经网络:

1.1非线性假设:

无论是线性回归还是逻辑回归都有这样一个缺点,即:当特征太多时,计算的负荷会非常大

使用非线性的多项式项,能够帮助我们建立更好的分类模型 ,但与此同时他们的特征组合就有很多。普通的线性模型无法处理,就需要神经网络。

1.2模型表示1

每一个神经元都可以被认为是一个处理单元/神经核(processing unit/Nucleus),它含有许多输入/树突(input/Dendrite),并且有一个输出/轴突(output/Axon).神经网络是大量神经元相互链接并通过电脉冲来交流的一个网络。

每一个神经元又是一个学习模型。这些神经元(也叫激活单元,activation unit)采纳一些特征作为输出,并且根据本身的模型提供一个输出。

神经元图:

机器学习——神经网络

神经网络图:
机器学习——神经网络

其中:第一层成为输入层(Input Layer),最后一层称为输出层(Output Layer),中间一层成为隐藏层(Hidden Layers) 。

一般我们为每一层都增加一个偏差单位(bias unit)然后每层的一个节点都有自己的权重,这样其实就是等价于一个线性模型:y=kx+b;

机器学习——神经网络

\(a_i^{(j)}\) 代表第j层的第i个激活单元,\(\theta^{(j)}\) 代表从第j层映射到第j+1层时的权重矩阵。

对于

机器学习——神经网络

特征矩阵的一行给了神经网络,得到\(\theta*X=a\);

1.3模型表示2

利用向量化的方法会使得计算更方便:\(a^{(i)}=g(\theta^{(i-1)}a^{(i-1)})\) (其中每次计算完,都要在后面加一个\(a_0^{(i)}=1\),其中\(a^{(0)}=x\) )

如果是整个训练集的话:\(a^{(i)}=g(\theta^{(i-1)}a^{(i-1)}) 其中a^{(0)}=X^T\) (需要使得每一列是特征)

如果遮住左半部分,其实就是逻辑回归;(别忘了加个\(a_0^{(2)}\) =1),其实\(a^{(2)}\) 是更高级的特征,他们是X决定的,这些特征值比x次方厉害很多,也能更好地预测新数据。

机器学习——神经网络

1.4多类分类

当我们有不止两种分类时(也就是y=1,2,3...k),输出就是k个维度,是哪一类,哪一个位置就是1,其余全为1.

\(\left [ \begin{matrix}1\\0\\0\\0\end{matrix}\right]\)

二、神经网络的学习

2.1代价函数

符号说明:

m:样本个数

(x,y):一组输入输出

L:神经网络层数

\(L_l\): 每层的神经元个数

\(S_L\) :最后一层中处理单元的个数

二分类:\(S_L=1\) ,y=0 or 1代表哪一类;

K 类分类 :\(S_L=k\) ,\(y_i=1\) 表示分到第i类;

代价函数:
\[J(\theta)=-\frac{1}{m}[\sum_{i=1}^m\sum_{k=1}^ky_k^{(i)}log(h_\theta(x^{(i)}))_k+(1-y_k^{(i)})log(1-(h_\theta(x^{(i)}))_k)+\frac{\lambda}{2m}\sum_{l=1}^{L-1}\sum_{i=1}^{s_l}\sum_{j=1}^{s_{l+1}}(\theta_{ji}^{(l)})^2]\]

2.2反向传播算法

2.2.1算法概述:

为了计算代价函数的偏导数\(\frac{\partial}{\partial\theta_{ij}^{(l)}}J(\theta)\) ,需要从后面一层一层反向求出各层的误差。

假设:\(K=4,S_L=4,L=4;\)

那么:\(\delta^{(4)}=a^{(4)}-y;\\\delta^{(3)}=(\theta^{(3)})^T\delta^{(4)}g'(z^{(3)}),其中g'(z^{(3)})=a^{(3)}*(1-a^{(3)})\)

如果不做任何正则化处理,那么\(\frac{\partial}{\partial\theta_{ij}^{(l)}}J(\theta)=a_j^{(l)}\delta_i^{l+1}\)

\(l\):目前所计算的是第几层;

j:目前计算层中的激活单元的下标,也将是下一层的第j个输入变量的下标

i:代表下一层中误差单元的下标,是收到权重矩阵中的第i行影响的下一层中的误差单元的下标

训练集为矩阵:

机器学习——神经网络

\(D_{ij}^{(l)}=\frac{\partial}{\partial\theta_{ij}^{(l)}}J(\theta)\)就是要计算的偏导数;

2.2.2反向传播的直观理解:

参考网站:

http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

2.3梯度检验:

模型较为复杂时,可能存在不易察觉的错误。我们用梯度的数值检验这样的错误。

通过计算\(\theta\)两边很近的代价值构成的直线的斜率来估计该点的梯度值。

如对\(\theta_1进行检验\)

机器学习——神经网络

2.4神经网络流程:

我们真正要决定的是隐藏层的层数和每个中间层的单元数。

训练神经网络:

  1. 参数的随机初始化
  2. 利用正向传播方法计算所有的 \(h_\theta(x)\)
  3. 编写计算代价函数\(J\)的代码
  4. 利用反向传播方法计算所有偏导数
  5. 利用数值检验方法检验这些偏导数
  6. 使用优化算法来最小化代价函数!