神经网络简介

简单解释神经网络是如何工作的,以及如何在Python中从头实现一个。

这句话可能会让你大吃一惊:神经网络并没有那么复杂!“神经网络”这个词经常被用作流行语,但实际上它们往往比人们想象的要简单得多。

这篇文章是完全针对初学者准备的,我们假设你没有任何机器学习的知识。我们将了解神经网络如何工作,同时在Python中从零开始实现一个。

让我们开始吧!

1. 构建块:神经元

首先,我们必需讨论神经元,神经网络的基本单位。一个经元接受输入,对它们进行一些数学运算,然后产生一个输出。这里是一个2输入神经元的样子:

神经网络简介

这里发生了三件事。首先,每个输入被乘以一个权重:

神经网络简介

接下来,将所有加权后的输入与一个偏差b相加:

神经网络简介

最后,总和被传入一个激活函数:

神经网络简介

激活函数用于将一个无界输入转换为一个具有良好的、可预测形式的输出。一个常用的激活函数是sigmoid函数:

神经网络简介

sigmoid函数只输出(0,1)范围内的数字。你可以认为它是把(−∞,+∞) 压缩到(0,1)——大负数变成~0,大正数变成~1。

一个简单的例子

假设我们有一个使用sigmoid激活函数的2输入神经元,并带有以下参数:

神经网络简介

w =[0,1]就是向量形式的w1 =0,w2 =1。现在,我们给这个神经元提供一个x=[2,3]的输入 。我们用点积来写得更简洁一些:

神经网络简介

给定输入x=[2,3] ,神经元会输出0.999。就是这样!这个将输入向前传递以获得输出的过程称为前馈。

编写一个神经元

是时候实现一个神经元了!我们将使用NumPy,一个流行而强大的Python计算库,来帮助我们处理数学运算:

神经网络简介

认出这些数了吗?这就是我们刚才举的例子!我们得到了相同的答案0.999。

2. 将神经元组合成一个神经网络

一个神经网络只不过是一群连接在一起的神经元。下面是一个简单的神经网络的样子:

神经网络简介

这个网络有2个输入,一个带有2个神经元(h1和h2)的隐藏层,一个带有1个神经元(σ1)的输出层。注意σ1的输入是来自h1和h2的输出——这就是一个网络的组成。

隐藏层是在输入(第一个)层和输出(最后一个)层之间的任何层。可以有多个隐藏层!

一个例子:前馈

我们来使用上图所示的网络,假设所有的神经元都具有相同的权重w=[0,1] ,相同的偏差b= 0,以及相同的sigmoid激活函数。让h1、h2、σ1表示它们所表示的神经元的输出。

如果我们传入输入x=[2,3] 会发生什么?

神经网络简介

该神经网络对输入x=[2,3] 的输出为0.7216。很简单,对吧?

一个神经网络可以有任意数量的层,每个层可以包含任意数量的神经元。其基本思想是相同的: 通过网络中的神经元向前反馈输入以便最终得到输出。为了简单起见,我们将在本文的其余部分继续使用上面所示的网络。

编写一个神经网络: 前馈

我们来实现我们神经网络的前馈。这里是该网络的图片,再次供参考:

神经网络简介

神经网络简介

我们又得到了0.7216 !看起来它可以工作。

3.训练神经网络,第1部分

假设我们有以下测量值:

神经网络简介

我们来训练我们的网络,并根据一个人的体重和身高来预测他的性别:

神经网络简介

我们将用0表示男性,用1表示女性,我们还将对数据进行移位,使其更容易使用:

神经网络简介

我随意选择了移位量(135和66)来使数字看起来漂亮一些。一般情况下,你应该使用平均值来移位。

损失

在训练我们的网络之前,我们首先需要一种方法来量化它做得有多“好”,这样它就可以尝试做得“更好”。这种方法就是损失。

我们将使用均方误差(MSE)损失:

神经网络简介

让我们来分解一下:

  • n是样本的个数,这里是4 (Alice、 Bob、 Charlie、 Diana)。
  • y表示要预测的变量,即性别。
  • ytrue是变量(“正确答案”)的真值。例如,对于Alice来说,ytrue是1(女性)。
  • ypred是变量的预测值。它是我们网络的输出。

(ytrue - ypred)2称为平方误差。我们损失函数只是取所有平方误差的平均值(因此得名均方误差)。我们的预测越好,我们的损失就会越低!

更好的预测=更低的损失。

训练一个网络=尽量减少它的损失。

一个损失计算例子

假设我们的网络总是输出0,换句话说,它确信所有的人类都是男性。那我们的损失是多少?

神经网络简介

代码: 均方误差损失

下面是一些计算损失的代码:

神经网络简介

如果你不理解这段代码的工作原理,请阅读NumPy数组操作快速入门。

好了。开始!

4.训练神经网络,第2部分

我们现在有了一个明确的目标: 最小化神经网络的损失。我们知道我们可以改变网络的权重和偏差来影响它的预测,但我们如何才能以一种减少损失的方式做到这一点呢?

本节使用了一些多变量微积分。如果你对微积分不熟悉,你可以跳过数学部分。

为了简单起见,假设我们的数据集中只有Alice:

神经网络简介

那么均方误差损失就是Alice的平方误差:

神经网络简介

另一种考虑损失的方法是将损失看作是一个权重和偏差的函数。我们来标记我们的网络中的每个权重和偏差:

神经网络简介

然后,我们可以将损失写成一个多元函数:

神经网络简介

假设我们想调整w1。如果我们改变w1,损失L将如何变化? 偏导数∂L/∂w1可以回答这个问题。我们如何计算它?

这就是数学开始变得更加复杂的地方。不要气馁!我建议你带一支笔和一张纸来跟着计算,它们可以帮助你理解。

首先,我们用∂ypred/∂w1来重写偏导数代替:

神经网络简介

由于我们上边计算出了L=(1-ypred)2,因此,我们可以计算∂L/∂ypred:

神经网络简介

现在,让我们算出∂ypred/∂w1的值。就像之前一样,假设h1、 h2 、σ1是它们所代表的神经元的输出。那么

神经网络简介

由于w1只影响h1(不影响h2),因此,我们可以写

神经网络简介

我们对∂h1/∂w1做相同的事情:

神经网络简介

这里的x1 是体重 , x2是身高。现在已经是我们第二次看到f'(x)(sigmoid函数的推导式)了!我们对它进行推导:

神经网络简介

我们稍后将使用f'(x)这个漂亮的形式。

我们完成了!我们已经将∂L/∂w1分解成了几个我们可以计算的部分:

神经网络简介

这种通过逆向运行计算偏导数的系统称为反向传播,或者“backprop”。

哦。这里有很多符号——如果你仍然有点困惑,也没关系。让我们举一个例子来实际看一下!

例子: 计算偏导数

我们将继续假设我们的数据集中只有Alice:

神经网络简介

我们初始化所有的权重为1,所有的偏差为0。如果我们执行一个前馈通过网络,我们得到:

神经网络简介

该网络输出 ypred =0.524,这并没有特别偏向男性(0)或女性(1)。我们来计算∂L/∂w1:

神经网络简介

提醒: 我们在前面为我们的 sigmoid函数推导出了f'(x) = f(x) * (1 - f(x))。

我们做到了!这告诉我们,如果我们增加w1,L就会相应地增加一点点。

训练:随机梯度下降法

我们现在有了训练神经网络所需的所有工具! 我们将使用一种称为随机梯度下降(SGD)的优化算法,它告诉我们如何改变权重和偏差以最小化损失。它基本上就是这个更新方程:

神经网络简介

η是一个称为学习率的常数,它控制我们训练的速度。我们所做的就是从w1中减去η∂L/∂w1:

  • 如果∂L/∂w1是正数,w1会减小,从而使得L也减小。
  • 如果∂L/∂w1 是负数,w1会增加,从而使得L也减小。

如果我们对网络中的每一个权重和偏差都这样做,损失就会慢慢减小,我们的网络就会改善。

我们的训练过程如下:

  1. 从数据集中选择一个样本。这就是称其为随机梯度下降的原因——我们一次只对一个样本进行操作。
  2. 计算所有关于权重或偏差的损失的偏导数(例如∂L/∂w1、∂L/∂w2等等)。
  3. 使用更新方程来更新每个权重和偏差。
  4. 回到步骤1。

让我们实际看一下!

代码: 一个完整的神经网络

终于是时候实现一个完整的神经网络了:

神经网络简介

神经网络简介

神经网络简介

神经网络简介

神经网络简介

你可以自己运行/测试这段代码(https://repl.it/@vzhou842/An-Introduction-to-Neural-Networks )。你也可以在Github上找到它。(https://github.com/vzhou842/neural-network-from-scratch )

随着网络的学习,我们的损失逐渐减小:

神经网络简介

我们现在可以用这个网络来预测性别:

神经网络简介

现在怎么办?

你成功了!现在来快速回顾一下我们所做的:

  • 介绍了神经元——神经网络的构建块。
  • 在我们的神经元中使用了sigmoid激活函数。
  • 看到了神经网络只是连接在一起的神经元。
  • 创建了一个带有体重和身高的数据集,并将其作为输入(或特征),性别作为输出(或标签)。
  • 学习了损失函数和均方误差(MSE)损失。
  • 意识到训练一个网络只是最小化它的损失。
  • 使用反向传播计算偏导数。
  • 利用随机梯度下降法(SGD)对网络进行训练。

还有很多事情要做:

  • 使用合适的机器学习库(如Tensorflow、Keras和PyTorch)来测试更大/更好的神经网络。
  • 使用Keras构建你的第一个神经网络。
  • 在你的浏览器中修补一个神经网络。
  • 发现除了sigmoid之外的其它激活函数,如Softmax。
  • 发现除了SGD之外的其它优化器。
  • 阅读我的《卷积神经网络(CNNs)介绍》。CNNs给计算机视觉领域带来了革命性的变化,其功能非常强大。
  • 阅读我的《递归神经网络(RNNs)介绍》。RNNs经常用于自然语言处理(NLP)。

我可能会在将来写这些主题或类似的主题,所以如果你想获得关于新文章的通知,请订阅我吧。

感谢阅读!

英文原文:https://victorzhou.com/blog/intro-to-neural-networks/ 译者:Nothing

相关推荐